【Python】VPSサーバーでSelenium+GoogleChromeのスクレイピング環境を構築した時に遭遇したエラーまとめ

centOS8でChromeDriverのエラーと戦い、解決したのでまとめていきます。

動作環境

さくらのVPS CentOS8
Python 3.8.3

記事の内容

ChromeDriverのエラーまとめ
追加したコード

ChromeDriverのエラーまとめ

unknown error: no chrome binary at /opt/scripts/google-chrome

selenium.common.exceptions.WebDriverException: Message: unknown error: no chrome binary at /opt/scripts/google-chrome

これはchromedriverのバイナリファイルがインストールされていないことが原因です。

unknown error: Chrome failed to start: exited abnormally.

selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.

  (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)
「プロセスはもう実行されていないので、ChromeDriverはChromeがクラッシュしたとみなしています」

日本語訳すると、
「不明なエラーです。Chromeの起動に失敗しました。異常終了。」

調べまくったところ、webdriverにオプション引数を追加すれば大丈夫みたいでした。

from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
options.add_argument("--no-sandbox")
web_driver(execute_path = 'path/to/chromedriver', options=options)

AWS Lambda(Python3)でSelenium + Chrome Headless + でwebスクレイピングする