BigQuery 【SQL/BigQuery】ROW_NUMBERでグループごとに順番・順位を付ける
こんにちは、ミナピピン(@python_mllover)です。今回は分析関数を使用したSQLによる高度な集計方法について解説していきたいと思います。これができればわざわざPythonとかRでデータフレームを処理しなくていいのが大きな...
BigQuery 
Python 【Python】元最強アルゴリズム「XGBoost」で機械学習をやってみた
こんにちはミナピピン(@python_mllover)です！今日はかつてKaggleの機械学習系アルゴリズムで、最強の座にもっとも近かった「XGBoost」について紹介していきたいと思います
XGBoostとは？
...
Python Jupyter-labのデフォルトの作業ディレクトリを変更する(Windows版)
会社のPCにデフォルトでインストールされていたanacondaからJupyer-labを起動させようとしたところ、rootにpathを通していないせいかcmdを「管理者として実行」で起動して$jupyter-labをしないと起動しな...
BigQuery 【SQL】横持ち⇔縦持ちのテーブル変換のやり方をまとめてみた
こんにちは、ミナピピン(@python_mllover)です。今回はBigquery(SQL)で横持ちデータを縦持ちに変換する方法を紹介していきたいと思います。
縦持ちと横持ち
縦持ちデータ
縦持ちデータと...
Python pandas_gbqがpyarrowのエラーで動かない時の解決法
こんにちは、ミナピピン(@python_mllover)です。先日「pandas_gbq」というPythonからGoogleBigquery を操作できるライブラリを触っていたのですが、サンプルをコードを触っていると以下のようなエラ...
ITまとめ ワイ新卒SES、派遣先で何もわからない作業を振られて無事死亡する
1 エンジニア名無しさん 2020/09/16 5 ID:zaZ2BDqlM
もうやだ
2 エンジニア名無しさん 2020/09/16 7 ID:8nmZlR8Ba
聞けよ
(adsbygoogle = windo...
Python 【Python】TwitterAPIを使って特定アカウントのツイートをまとめて取得する
今回は前回紹介したTwitterのapiをPythonで叩けるようにラッピングした「tweepy」について紹介しました
関連記事：【Python】TwitterのAPIを簡単操作できる「Tweepy」の使い方
...
Python 【Python】主成分分析(PCA)でクラスタリング結果をプロットする
こんにちは、ミナピピン(@python_mllover)です。今回はデータ分析の業務でよく行う「クラスタリング」の手法の1つである「主成分分析(PCA)」について解説していきます。
主成分分析（PCA）とは
...
BigQuery 【BigQuery】分析関数で連続ログイン日数を集計する
こんにちは、ミナピピン(@python_mllover)です。今回は業務で「ユーザーごとの連続ログイン日数」を集計したので、その時に使ったコードを保存しておこうと思います。
分析関数とは？
まず分析関数と...
BigQuery 【BigQuery】日ごとのログインユーザー（DAU）をGROUP BYで集計する
GROUP BYで日ごとのユーザーを集計する
テーブル名：login_table
user_id
timestamp
101
2019-01-01 00:10:00
101
2019...