Python 【Python】Seleniumでのスクレイピングでよく使うサンプルコードまとめ
こんにちは、ミナピピン(@python_mllover)です！
今回は案件でseleniumを使ったスクレイピングコードを作成する際によく使用するメソッドなどを自分用にまとめておきます。
Webページ上のaタ...
スクレイピング
Python Python Seleniumの.textで要素内のテキスト内容が取得できない原因
Seleniumの.textで要素のテキスト内容が取得できない
element = driver.find_elements_by_xpath('対象のXpath')
.textを付ければいいだけと思いelement.t...
Python requestsでのスクレイピング時に403エラーが返された場合の解決策
こんにちは、ミナピピン(@python_mllover)です。
ECサイトなどのスクレイピング対策が厳しいサイトをPythonでスクレイピングする際にrequestsでURLを叩いていつも通りにスクレイピングし...
Beautiful Soup 【Python】BeautifulSoupでスクレイピングしたhtmlが文字化けしたときの解消法
こんにちは、ミナピピン(@python_mllover)です。この前案件で某ECのサイトの商品情報をスクレピングしていたのですが、いつも通りのやり方でスクレピングするとテキストが文字化けしていました。
import req...
Selenium 【Selenium】Webdriverのバージョン管理を簡単に自動化する方法
こんにちは、ミナピピン(@python_mllover)です！
今回は案件で作成したseleniumのコードが使用しているwebdriverのchromeがバージョン更新で定期的に使えなくなるエラーについて相談を受けた...
Python 【Python】TwitterのDM送信をTweepyで自動化する
こんにちは、ミナピピン(@python_mllover)です。
今回はTweepyでDMを自動で送信する処理を実装していきたいと思います。
認証周りの確認
DMを送信する際にはAPIの権限をまず確認...
Python 【Python】TwitterAPIを使って特定アカウントのツイートをまとめて取得する
今回は前回紹介したTwitterのapiをPythonで叩けるようにラッピングした「tweepy」について紹介しました
関連記事：【Python】TwitterのAPIを簡単操作できる「Tweepy」の使い方
...
Python 【Python】ニコニコ動画のAPIを使って動画情報を取得する
getthumbinfoでニコニコ動画の情報をAPIで取得
getthumbinfoの使い方は以下のURLに動画番号を入れてリクエストを送るだけ。ユーザー登録してAPI鍵を取得する必要などはないので簡単で叩ける
～
...
Beautiful Soup 【Python】世界各国の人口データをスクレイピングして取得する
Pythonで世界各国の人口データを取得する
先日株価分析に人口データを用いたいと思いまして、pandas-datareaderとかでうまいこと取得できないかなーと色々検索していたのですが、国別にうまく取得できるサイトが中々見...
Python 【Python】Quandlから上場企業の株価データを取得する
quandlとは？
公式サイト⇔
一部有料ですが、ほとんどのデータが無料でダウンロードできます。ダウンロードどころかAPIとか各言語のライブラリまで完備しています。データの取得方法はこの辺りを見ればわかるかと思い...