BigQuery 【BigQuery】日付データの加算・減算処理
こんにちは、ミナピピン(@python_mllover)です。今回はBigQueryでの日付データの加算・減算の関数について自分用にまとめておこうと思います。日付の加算・減算は、UTC⇒日本時間への変換やN日後継続率などのK...
BigQuery 
Python 【Python】Youtubeの再生数・コメント数・高評価数をスクレイピングで取得する
こんにちは、ミナピピン(@python_mllover)です。
今回はYoutubeの提供しているAPIを使用して、特定のワードでの検索結果と再生回数を取得し、そこに加えて高評価数とコメント数も一緒に取得していきたいと...
Python 【Python】scipyでの統計的仮説検定の実装とP値での結果解釈
こんにちは、ミナピピン(@python_mllover)です。この前の記事でP値について解説したので、今回はは実際にPythonでscipyというライブラリを使って、仮説検定を行いP値を計算し結果の解釈したいと思います。
...
Python Youtubeの動画コメントをAPIで全件取得してCSV保存
こんにちは、ミナピピン(@python_mllover)です。今回はMENTAでYoutubeの特定の動画に紐づいているコメントを全件取得してほしいという依頼を受けたので調べた結果をまとめておこうかなと思います。
...
Python 【Python】Scikit-learnで作成した決定木のモデルを可視化する
こんにちは、ミナピピン(@python_mllover)です。
先日クラウド環境でデータ分析を行って決定木の結果を可視化したいと思ったのですが、graphvizがインストールできないという自体に遭遇しました。その回避法...
Flask 【Python】Heroku+FlaskでサーバレスWebアプリをデプロイする
こんにちは、ミナピピン(@python_mllover)です。今回は前回使用したHerokuを使ってPythonのwebアプリケーションフレームワークであるFlaskを使ったサーバレスアプリをデプロイしたいと思います。
H...
Python 【Python】「CATBoost」を使ってタイタニックの機械学習をやってみた
こんにちは、ミナピピン(@python_mllover)です。これまで「XGBoost」と「LightGBM」について紹介しましたが、今回は同じ勾配ブースティングのアルゴリズムである「CATboost」について紹介したいと思...
pandas pandasでcsv読み込み時にインデックスや列がズレる原因と対処法
こんにちはミナピピン(@python_mllover)です。
仕事でPythonを触っていたのですが、クライアントからもらったcsvをpandasで読み込むと列がズレて先頭列のデータが勝手にインデックスになるという謎の...
Python Python製プログラムを「Heroku scheduler」を使って無料で定期実行する
こんにちは、ミナピピン(@python_mllover)です。今回はローカルで作ったPythonとかで書いたスクリプトを定期的に実行する方法について紹介していきたいと思います。
自作のスクリプトを定期実行する環境
...
pandas Pandasの列データをapplyとlambdaで条件分岐して置換する
データの前処理でpandasのデータフレームで特定の列に対して、その数値を2倍にするなど同じような処理を実施したい、特定条件で1、0に置換してフラグにしたい・・・なんて時があります。データフレームの列に対してfor文を回すことでも実...