ミナピ@データアナリスト

Python

【Python】WordPressにAPI経由で記事を投稿すると「500 db insert error」が返される

こんにちは、ミナピピン(@python_mllover)です。 特定のサイトの情報をスクレイピングして投稿するプログラムを作成したのですが、時々、投稿がDBに登録されず、ずっと悩んでいたのですが、ようやく原因が見つかり...
Python

【Python】ウマ娘のアプリレビューをスクレイピングしてワードクラウドを作ってみた

こんにちは、ミナピピン(@python_mllover)です。 今回はウマ娘のレビューをスクレイピングしてワードクラウドにしてみましたので結果の紹介になります。 # ライブラリのインストール ! pip insta...
BigQuery

【SQL/BigQuery】分析関数で移動平均を集計する

SELECT 日付, 値, AVG(値) OVER (ORDER BY 日付 ROWS BETWEEN 3 PRECEDING AND 3 FOLLOWING) AS 移動平均 FROM (日付ごとに値...
Python

【Python】spacyのload()でja_ginzaがPATHエラーを吐くときの対処法

こんにちは、ミナピピン(@python_mllover)です。spacyで日本語の形態素解析をしようとしたら以下のようなエラーに遭遇したので解決法をメモしておきます !pip install -U ginza impor...
Anaconda

【Python】MacでSeleniumを使う際に「chromedriver permission mac python」が出た話

こんにちは~ この前案件で、MACでPythonのコードでSeleniumを実行する際に少しハマったので、メモがてらまとめておこうと思います。 Sleniumの初期設定 他のサイトに山ほど書かれていますが、...
Python

requestsでurlにアクセスするとSSLエラーが発生する時の対処法

こんにちは、ミナピピン(@python_mllover)です。 今回はクラウドワークスでスクレイピングの依頼を受けた際にレンタルサーバー経由でrequestsを叩くとサイトによってSSLエラーになるときがあったので対処...
Python

【Python】TwitterのAPI経由で複数の画像ファイルをアップロードする

こんにちは、ミナピピン(@python_mllover)です! 今回はPythonでTwitterのAPIを使って複数の画像ファイルをアップロードする方法についてメモっておきます。 関連記事:【Python】Tw...
Python

【Python】機械学習で作成した学習モデルをjoblibで出力保存したり読み込む

こんにちは、ミナピピン(@python_mllover)です。 今回はPythonのScikit-learnで学習したモデルを出力して別のファイルで読み込んで、そのモデルに数値を入力して予測を行う手順を紹介した...
Beautiful Soup

【Python】requestsでimgタグにバイナリでデータが埋め込まれている画像ファイルをスクレイピングする

今回はバイナリファイルになっている画像の取得方法について紹介したいと思います。 Google検索画面や個人サイトなどをスクレイピングをしているとたまに<img src=' data:image/jpeg;...
BigQuery

【BigQuery】日付型データを月単位、年単位に変換するサンプル

こんにちは、ミナピピン(@python_mllover)です。今回は自分用のBigqueryで日付のデータを月単位や年単位で集計したいときのメモになります。 データ準備 WITH sample_data AS( ...
タイトルとURLをコピーしました