Python Selenium

【Python】Seleniumをheadlessモードで実行してブラウザを表示させることなくスクレイピングする

この記事は約3分で読めます。

 

 

こんにちは、ミナピピン(@python_mllover)です。

 

今回はブラウザ操作ツールであるSeleniumを、ブラウザを起動させることなくバックエンドで起動&操作する方法について紹介したいと思います。

 

下準備

 

ライブラリをインストールします。

 

$ pip install chromedriver_binary
$ pip install selenium

 

参考:【Python】Seleniumで使用するWebDriverの更新を自動化してコードの挙動を安定させる

 

chromedriver_binaryはheadlessモードでブラウザを起動させるために必要なライブラリになります。

 

 

スポンサーリンク
スポンサーリンク

Seleniumをheadlessモードで実行する

 

<サンプルコード>

from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager 
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import chromedriver_binary 
import subprocess

cmd = 'pip install --upgrade chromedriver_binary' 
res = subprocess.call(cmd, shell=True) 

chrome_options = webdriver.ChromeOptions()
prefs = {"profile.default_content_setting_values.notifications" : 2}
chrome_options.add_experimental_option("prefs",prefs)
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(ChromeDriverManager().install(), chrome_options=chrome_options)
driver.get('https://www.google.co.jp/')

 

これでブラウザが立ち上がることなくSELENIUMでスクレイピングを行うことができます。

 

 

関連記事:【Python】Seleniumの.textで要素内のテキスト内容が取得できない原因

関連記事:【Python】SeleniumでHTMLをPDF出力して保存する

関連記事:【Python】Seleniumで使用するWebDriverの更新を自動化してコードの挙動を安定させる

 

 

 


プログラミング・スクレイピングツール作成の相談を受け付けています!

クラウドワークス・ココナラ・MENTAなどでPython・SQL・GASなどのプログラミングに関する相談やツール作成などを承っております!

過去の案件事例:

  • Twitter・インスタグラムの自動化ツール作成
  • ウェブサイトのスクレイピングサポート
  • ダッシュボード・サイト作成
  • データエンジニア転職相談

これまでの案件例を見る

キャリア相談もお気軽に!文系学部卒からエンジニア・データサイエンティストへの転職経験をもとに、未経験者がどう進むべきかのアドバイスを提供します。


スポンサーリンク
/* プログラミング速報関連記事一覧表示 */
ミナピピンの研究室

コメント

タイトルとURLをコピーしました