ミナピ@データアナリスト

Python

【WordPress】Warning: Declaration of Jetpack_IXR_Client::query()~の原因と解消法

先日WPのAPIを使用して画像をアップロードするプログラムが動かなくなったとメールが届いたので、エラーログを調査していたのですが以下のようなエラーを吐いていました。 Expecting value: line 1 ...
スクレイピング

kotoriatokoでAPIでは取得できない高頻度のツイートをスクレイピングする

こんにちは、ミナピピン(@python_mllover)です。mentaの案件でkotoriotokoなるスクレイピングツールを紹介されて調査したのですが、まあまあ使えたのでメモがてら紹介しておきます。 ちなみにこのツ...
Python

【Python】pykakasiで日本語文字列をローマ字に変換する

日本語をローマ字にする処理を自動化する必要がありライブラリを調べていたのですが、その際に「pykakasi」というPythonで日本語をローマ字に変換できる非常に便利なライブラリを見つけたので紹介したいと思います pyka...
Python

【Python】VPSサーバーでSelenium+GoogleChromeのスクレイピング環境を構築した時に遭遇したエラーまとめ

centOS8でChromeDriverのエラーと戦い、解決したのでまとめていきます。 動作環境 さくらのVPS CentOS8 Python 3.8.3 記事の内容 Chr...
heroku

【Heroku】sqlalchemyのcreate_engineがエラーになった話

~~~~ from sqlalchemy import create_engine ~~~~ engine = create_engine('postgres://~~~', echo = False) <...
Python

【Python】ヤフーファイナンスから日本株個別銘柄の株価データをスクレイピングする

こんにちは、ミナピピン(@python_mllover)です! 今回はPythonを使ってヤフーファイナンスの株価データをスクレイピングで取得したいと思います。 ヤフーファイナンスから株価データをスクレイピン...
Python

WordPressのREST APIで画像アップロードを自動化する

こんにちは、ミナピピン(@python_mllover)です 前回はワードプレスのRESTAPIでブログへの記事投稿を自動化しました。その際に画像のアップロードについては紹介していなかったので今回は画像のアップロード方...
Python

【2021年版】Python+Seleniumでツイッターに自動でログインしてツイートする

こんにちは、ミナピピン(@python_mllover)です 久しぶりにTwitterに自動ログインする必要があったので昔に書いたコードを実行したところ案の定HTML要素が変わっていてエラーを吐いたので2021年版とし...
BigQuery

【BigQuery】DATE_DIFF()で日付の差分を計算する

今回はBigqueryで日付の差分を計算して、経過日数を計算する処理を紹介したいと思います。 BigQueryで日数を計算する bigqueryでは「DATE_DIFF」という関数で第1引数と第2引数の差を日/月...
pandas

エクセルの複数シートにデータフレームを出力・追記する

こんにちは、ミナピピン(@python_mllover)です。 今回は案件でスクレイピングしたデータをエクセル(.xlsx) のシートにまとめるということを行ったのですが、まずPythonではpandasのdf.to_...
タイトルとURLをコピーしました