ColaboratoryでSeleniumを簡単に動かす"Google-Colab-Selenium"

Google Colaboratory上でSeleniumを使ってスクレイピングする場合、アップデートにだいたい悩まされて、以前動いたものが動かないとかが起きる。

以前動かなくなって参考にしたやつ、今は動かない
https://askubuntu.com/questions/1204571/how-to-install-chromium-without-snap

2023年5月には動いていたが今は動かない
https://dev.classmethod.jp/articles/google-colaboratory-use-selenium/

戦いがつらい
https://zenn.dev/cbcloud_blog/articles/4f2898abb4c396

たまたまググってたらこう言うのを見つけた

https://github.com/jpjacobpadilla/Google-Colab-Selenium

The best way to use Selenium in Google Colab Notebooks!

Simple setup of Selenium and ChromeDriver.
Seamless integration with Google Colab.
Support for undetected ChromeDriver for more advanced use cases.

良さげ。ということで試してみる。

インストール

!pip install google-colab-selenium

こんな感じで。

import google_colab_selenium as gs
from selenium.webdriver.chrome.options import Options

# このページのURL
URL = "https://zenn.dev/kun432/scraps/c467e62f39dd92"

options = Options()
options.add_argument("--headless")
options.add_argument('--disable-dev-shm-usage')
options.add_argument("--no-sandbox")
options.add_argument("--lang=ja")

driver = gs.Chrome(options=options)

driver.get(URL)
print(driver.title)
driver.quit()

実行すると、初回はChromeのダウンロードが行われ、あとは普通にスクレイピングが行われる。

このイタチごっこを終了させるものになるのかはわからないけど、しばらく使ってみる。