BigQuery 【BigQuery】LAG関数，LEAD関数で前後のデータを同じ行に持ってくる
こんにちは、ミナピピン(@python_mllover)です。ソシャゲの分析をしているとユーザの課金前後の行動を分析したいときなんかがあります。そんなときに使うのがlag/lead関数です。今回はこれについてメモとしてまとめておきま...
BigQuery
BigQuery BigQuery 【SQL/BigQuery】ユーザー単位のN日後継続率を集計する
こんにちは、ミナピピン(@python_mllover)です。たまに仕事でN日後継続率を集計することがあるので、次からコピペですぐできるようにメモしておきます。
データを用意
<table1>...
BigQuery 【BigQuery】日付データの加算・減算処理
こんにちは、ミナピピン(@python_mllover)です。今回はBigQueryでの日付データの加算・減算の関数について自分用にまとめておこうと思います。日付の加算・減算は、UTC⇒日本時間への変換やN日後継続率などのK...
BigQuery 【Python】pandas-gbqを使ってbigqueryのテーブルを呼び出す
こんにちは、ミナピピン(@python_mllover)です！
前回以下の記事でPythonからBigqueryでのテーブル操作のやり方について紹介したのですが、ちょっと使い勝手が悪く、もっといい方法はないか探したとこ...
BigQuery 【Python】GCPのBigQueryを「google-cloud-bigquery」を使って操作する
こんにちは、ミナピピン(@python_mllover)です。今回はPythonからGCPのBigqueryにアクセスしてテーブルの作成からデータの挿入、呼び出すまでを一通り紹介していきたいと思います。
PythonからG...
BigQuery 【SQL/BigQuery】ROW_NUMBERでグループごとに順番・順位を付ける
こんにちは、ミナピピン(@python_mllover)です。今回は分析関数を使用したSQLによる高度な集計方法について解説していきたいと思います。これができればわざわざPythonとかRでデータフレームを処理しなくていいのが大きな...
BigQuery 【SQL】横持ち⇔縦持ちのテーブル変換のやり方をまとめてみた
こんにちは、ミナピピン(@python_mllover)です。今回はBigquery(SQL)で横持ちデータを縦持ちに変換する方法を紹介していきたいと思います。
縦持ちと横持ち
縦持ちデータ
縦持ちデータと...
BigQuery 【BigQuery】分析関数で連続ログイン日数を集計する
こんにちは、ミナピピン(@python_mllover)です。今回は業務で「ユーザーごとの連続ログイン日数」を集計したので、その時に使ったコードを保存しておこうと思います。
分析関数とは？
まず分析関数と...
BigQuery 【BigQuery】日ごとのログインユーザー（DAU）をGROUP BYで集計する
GROUP BYで日ごとのユーザーを集計する
テーブル名：login_table
user_id
timestamp
101
2019-01-01 00:10:00
101
2019...
BigQuery 【BigQuery】UDFを使って多次元のJSON配列の要素数を取得する
UDFとは何か？
UDFとはCREATE FUNCTION ステートメントを使用して定義、作成、および登録を行うユーザー定義関数のことです。UDFはSQLだけでなくJavascriptとかも書けます、これが何に役に立つのかとい...
