ミナピ@データアナリスト

Python

【Python】TwitterのAPIから動画・画像をアップロードする

今回はTwitterのAPIを経由して動画ファイルをアップロードする方法について調べた結果をメモしておこうと思います。 投稿やユーザー情報の取得についてはラッピングライブラリも結構ありますし簡単に行えるので、動画投稿も...
GCP

【GCP】VPSサーバーでのgcloudコマンドのインストールと初期認証の設定方法

案件でGCPのDBとVPSサーバーを接続する作業を行ったので記録としてメモしておきます。基本的にはQiitaの記事の通りですが少し変わっていたのでその部分をメモ。 【環境】 サーバー:さくらVPS OS:C...
Python

【Python】os.remove()でPermission deniedが起こる原因と解決法まとめ

ファイル削除でPermission deniedが起こる原因と解決法 ①  ディレクトリを指定している os.remove()はファイルを対象とする関数なので、ディレクトリを削除する場合はshutil.rmtree()と...
GCP

【Python】Custom Search APIを使ってGoogle検索結果をスクレイピングで自動取得する

こんにちは、ミナピピン(@python_mllover)です。 今回はCustom Search APIを用いてGoogle検索をPythonを使用してAPI経由で行う方法について紹介したいと思います。 ...
Python

【Python】TwitterAPIで取得したツイートから@メンション・リツイート・URLを正規表現で除去する

こんにちは、ミナピピン(@python_mllover)です。 今回はTwitterAPIで取得したツイートデータからメンションやURLを除去して自然言語処理を行う前処理のコードに書いたのでメモとして残しておきます。 ...
Python

【Python】pd.read_excel()でxlsx読み込みの際にXLRDErrorが起きた件

エラーメッセージ raise XLRDError(FILE_FORMAT_DESCRIPTIONS+'; not supported') xlrd.biffh.XLRDError: Excel xlsx file; not...
Python

【WordPress】Warning: Declaration of Jetpack_IXR_Client::query()~の原因と解消法

先日WPのAPIを使用して画像をアップロードするプログラムが動かなくなったとメールが届いたので、エラーログを調査していたのですが以下のようなエラーを吐いていました。 Expecting value: line 1 ...
スクレイピング

kotoriatokoでAPIでは取得できない高頻度のツイートをスクレイピングする

こんにちは、ミナピピン(@python_mllover)です。mentaの案件でkotoriotokoなるスクレイピングツールを紹介されて調査したのですが、まあまあ使えたのでメモがてら紹介しておきます。 ちなみにこのツ...
Python

【Python】pykakasiで日本語文字列をローマ字に変換する

日本語をローマ字にする処理を自動化する必要がありライブラリを調べていたのですが、その際に「pykakasi」というPythonで日本語をローマ字に変換できる非常に便利なライブラリを見つけたので紹介したいと思います pyka...
Python

【Python】VPSサーバーでSelenium+GoogleChromeのスクレイピング環境を構築した時に遭遇したエラーまとめ

centOS8でChromeDriverのエラーと戦い、解決したのでまとめていきます。 動作環境 さくらのVPS CentOS8 Python 3.8.3 記事の内容 Chr...
タイトルとURLをコピーしました