ColaboratoryでSeleniumを簡単に動かす"Google-Colab-Selenium"

Google Colaboratory上でSeleniumを使ってスクレイピングする場合、アップデートにだいたい悩まされて、以前動いたものが動かないとかが起きる。

2023年5月には動いていたが今は動かない

たまたまググってたらこう言うのを見つけた

The best way to use Selenium in Google Colab Notebooks!

Simple setup of Selenium and ChromeDriver.
Seamless integration with Google Colab.
Support for undetected ChromeDriver for more advanced use cases.

良さげ。ということで試してみる。

kun432

インストール

!pip install google-colab-selenium

こんな感じで。

import google_colab_selenium as gs
from selenium.webdriver.chrome.options import Options

# このページのURL
URL = "https://zenn.dev/kun432/scraps/c467e62f39dd92"

options = Options()
options.add_argument("--headless")
options.add_argument('--disable-dev-shm-usage')
options.add_argument("--no-sandbox")
options.add_argument("--lang=ja")

driver = gs.Chrome(options=options)

driver.get(URL)
print(driver.title)
driver.quit()

実行すると、初回はChromeのダウンロードが行われ、あとは普通にスクレイピングが行われる。

kun432

このイタチごっこを終了させるものになるのかはわからないけど、しばらく使ってみる。