今回はPythonでAmazonの売上ランキングをスクレイピングするサンプルコードを紹介したいと思います。
取得にはSeleniumというPythonからWebブラウザを自動操作できるライブラリを使用しています。バージョンは4.7を使用している前提です。
関連記事：requestsでhtmlが取得できないWebサイトをSeleniumでスクレイピングする
前準備
以下のライブラリをpipでインストールします
$ pip install selenium==4.7.0 $ pip install beautifulsoup4 $ pip install webdriver-manager
PythonでAmazonの売上ランキングをスクレイピングするサンプルコード
# ライブラリの読み込み
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from subprocess import CREATE_NO_WINDOW
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
import datetime
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
d = DesiredCapabilities.CHROME
d['goog:loggingPrefs'] = { 'performance': 'ALL' }
driver = webdriver.Chrome(ChromeDriverManager().install(),desired_capabilities=d)
# driver.set_window_size('600','500')
driver.get(url)
driver.set_window_size(800,500)
url = "https://www.amazon.co.jp/gp/bestsellers/dvd/2147354051"
driver.get(url)
time.sleep(5)
soup = BeautifulSoup(driver.page_source, 'lxml')
time.sleep(2)
driver.close()
for i in soup.find_all('div',id='gridItemRoot'):
print(i.text)
print('------------------------------------------------')
実行すると以下のような感じでランキングを取得することができます
<実行結果>
#1劇場版 ソードアート・オンライン -プログレッシブ- 冥き夕闇のスケルツォ(完全生産限定版) [Blu-ray]戸松 遥Blu-ray￥9,90099ポイント(1%) ------------------------------------------------ #2シン・エヴァンゲリオン劇場版 EVANGELION:3.0+1.11 THRICE UPON A TIME <通常版>(Blu-ray) [Blu-ray]庵野秀明, 鶴巻和哉, 中山勝一, 前田真宏5つ星のうち3.3 39Blu-ray￥6,62766ポイント(1%) ------------------------------------------------ #3ぼっち・ざ・ろっく！ 3(完全生産限定版) [Blu-ray]青山吉能5つ星のうち5.0 1Blu-ray￥5,93559ポイント(1%) ------------------------------------------------ #4シン・エヴァンゲリオン劇場版 EVANGELION:3.0+1.11 THRICE UPON A TIME <初回限定版>(Blu-ray+4K Ultra HD Blu-ray) [Blu-ray]庵野秀明, 鶴巻和哉, 中山勝一, 前田真宏5つ星のうち3.3 39Blu-ray￥8,32783ポイント(1%) ------------------------------------------------ #5映画『ゆるキャン△』 Blu-ray 【コレクターズ版】 [Blu-ray]花守ゆみり,東山奈央,原紗友里5つ星のうち5.0 1Blu-ray￥10,174102ポイント(1%) ------------------------------------------------ #6ラブライブ！サンシャイン!! Aqours 6th LoveLive! ～KU-RU-KU-RU Rock 'n' Roll TOUR～ ＜WINDY STAGE＞ Blu-ray Memorial BOXAqours5つ星のうち4.8 6Blu-ray￥15,261153ポイント(1%) ------------------------------------------------ #7【Amazon.co.jp限定】天地無用！GXP パラダイス始動編 Blu-ray第1巻 特装版 (1巻早期予約特典:オリジナルミニ色紙)(全巻購入特典:梶島正樹描き下ろし B2タペストリー/撮り下ろしドラマCD/『天地無用！GXP パラダイス始動編』原案プロット小説 引換シリアルコード付) [Blu-ray]梶島正樹Blu-ray￥7,70077ポイント(1%) ------------------------------------------------ #8劇場版 ソードアート・オンライン -プログレッシブ- 冥き夕闇のスケルツォ(通常版) [Blu-ray]戸松 遥Blu-ray￥4,91749ポイント(1%) ------------------------------------------------ #9【Amazon.co.jp限定】天地無用！GXP パラダイス始動編 Blu-ray第2巻 特装版 (全巻購入特典:梶島正樹描き下ろし B2タペストリー/撮り下ろしドラマCD/『天地無用！GXP パラダイス始動編』原案プロット小説 引換シリアルコード付) [Blu-ray]梶島正樹Blu-ray￥7,70077ポイント(1%) ------------------------------------------------ #10【Amazon.co.jp限定】天地無用！GXP パラダイス始動編 Blu-ray第3巻 特装版 (全巻購入特典:梶島正樹描き下ろし B2タペストリー/撮り下ろしドラマCD/『天地無用！GXP パラダイス始動編』原案プロット小説 引換シリアルコード付) [Blu-ray]梶島正樹Blu-ray￥7,70077ポイント(1%) ------------------------------------------------ #11【Amazon.co.jp限定】天地無用！GXP パラダイス始動編 Blu-ray第4巻 特装版 (全巻購入特典:梶島正樹描き下ろし B2タペストリー/撮り下ろしドラマCD/『天地無用！GXP パラダイス始動編』原案プロット小説 引換シリアルコード付) [Blu-ray]梶島正樹Blu-ray￥7,70077ポイント(1%) ------------------------------------------------ #12リコリス・リコイル 6(完全生産限定版) [Blu-ray]安済知佳5つ星のうち4.4 5Blu-ray￥5,93559ポイント(1%) ------------------------------------------------ #13【Amazon.co.jp限定】天地無用！GXP パラダイス始動編 Blu-ray第5巻 特装版 (全巻購入特典:梶島正樹描き下ろし B2タペストリー/撮り下ろしドラマCD/『天地無用！GXP パラダイス始動編』原案プロット小説 引換シリアルコード付) [Blu-ray]梶島正樹Blu-ray￥7,70077ポイント(1%) ------------------------------------------------ #14【Amazon.co.jp限定】天地無用！GXP パラダイス始動編 Blu-ray第6巻 特装版 (全巻購入特典:梶島正樹描き下ろし B2タペストリー/撮り下ろしドラマCD/『天地無用！GXP パラダイス始動編』原案プロット小説 引換シリアルコード付) [Blu-ray]梶島正樹Blu-ray￥7,70077ポイント(1%) ------------------------------------------------ #15ぼっち・ざ・ろっく！ 2(完全生産限定版) [Blu-ray]青山吉能5つ星のうち4.9 35Blu-ray￥5,93559ポイント(1%) ------------------------------------------------ #16「勇者特急マイトガイン」Blu-ray BOX II [4Blu-ray]高松信司Blu-ray￥25,551256ポイント(1%) ------------------------------------------------ #17舞台『刀剣乱舞』禺伝 矛盾源氏物語 （法人特典なし） [Blu-ray]末満健一Blu-ray￥8,30883ポイント(1%) ------------------------------------------------ #18ワルキューレ LIVE 2022 ～Walkure Reborn!～ at 幕張メッセ [Blu-ray]ワルキューレ5つ星のうち4.8 42Blu-ray￥6,24062ポイント(1%) ------------------------------------------------ #19にじよん あにめーしょん Blu-ray BOX 【特装限定版】ほりうちゆうや5つ星のうち5.0 1Blu-ray￥8,47885ポイント(1%) ------------------------------------------------ #20映画『ゆるキャン△』 Blu-ray 【通常版】 [Blu-ray]花守ゆみり,東山奈央,原紗友里5つ星のうち5.0 1Blu-ray￥7,63076ポイント(1%) ------------------------------------------------ #21ぼっち・ざ・ろっく！ 1(完全生産限定版) [Blu-ray]青山吉能5つ星のうち4.9 146Blu-ray￥6,12061ポイント(1%) ------------------------------------------------ #22ジブリがいっぱいSPECIAL ショートショート 1992-2016 [Blu-ray]スタジオジブリ5つ星のうち4.5 412Blu-ray￥3,64536ポイント(1%) ------------------------------------------------ #23リコリス・リコイル 5(完全生産限定版) [Blu-ray]安済知佳5つ星のうち4.7 30Blu-ray￥5,50055ポイント(1%) ------------------------------------------------ #24劇場版『Ｇのレコンギスタ Ⅳ』「激闘に叫ぶ愛」【Blu-ray特装限定版】富野由悠季5つ星のうち4.5 51Blu-ray￥7,46175ポイント(1%) ------------------------------------------------ #25ちいかわ 豪華版 1 フロッキーフィギュア6体セット付き [Blu-Ray]青木遥,田中誠人,小澤亜李,井口裕香,杉田智和Blu-ray￥9,74997ポイント(1%) ------------------------------------------------ #26ミニオンズ フィーバー ブルーレイ+DVD [Blu-ray]スティーヴ・カレル5つ星のうち4.5 645Blu-ray￥4,00040ポイント(1%) ------------------------------------------------ #27ウマ娘 プリティーダービー 4th EVENT SPECIAL DREAMERS!! Blu-rayV.A.5つ星のうち3.4 3Blu-ray￥29,673297ポイント(1%) ------------------------------------------------ #28Animelo Summer Live 2022 -Sparkle- DAY2 (Blu-ray) (特典なし)ヴァリアスBlu-ray￥8,32783ポイント(1%) ------------------------------------------------ #29Animelo Summer Live 2022 -Sparkle- DAY3 (Blu-ray) (特典なし)ヴァリアスBlu-ray￥8,32783ポイント(1%) ------------------------------------------------ #30天地無用！魎皇鬼 第伍期 Blu-ray SET [Blu-ray]梶島正樹Blu-ray￥8,47885ポイント(1%) ------------------------------------------------
コメント
[…] 関連記事:SeleniumでAmazonの売上ランキングをスクレイピングするサンプルコード […]