ラズパイ、Python、seleniumでスクレイピング

実行環境

使用したラズパイのモデルは3B+です。

uname -a

出力

Linux ホスト名 5.15.61-v8+ #1579 SMP PREEMPT Fri Aug 26 11:16:44 BST 2022 aarch64 GNU/Linux

python3 -V

出力

Python 3.9.2

chromium-browser --version

出力

Chromium 104.0.5112.105 Built on Debian , running on Debian 11

seleniumのインストール

aptを使う場合

sudo apt install python3-selenium

pipを使う場合

pip install selenium

seleniumのバージョン確認

python3を実行し、以下のように入力する。今回の場合4.5.0であることが確認できた。
Ctrl+Dで抜ける。

python3

Python 3.9.2 (default, Feb 28 2021, 17:03:44) 
[GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import selenium
>>> selenium.__version__
'4.5.0'
>>> 

Chromiumドライバのインストール

sudo apt install chromium-chromedriver

バージョン確認

chromedriver --version

出力

ChromeDriver 104.0.5112.105 (f41489f8f9695e9da8b096b700413afb03204129-refs/branch-heads/5112@{#1482})

雑なサンプルコード

googleの検索ボックスで「あいうえお」と検索し、Wikipediaに飛んで「あいうえお」
の説明を表示するプログラム。

selenium_test.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome import service as fs
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import WebDriverException

CHROMEDRIVER = "/usr/lib/chromium-browser/chromedriver"
CHROME_SERVICE = fs.Service(executable_path=CHROMEDRIVER)

try:
    # GUIが使える場合
    browser = webdriver.Chrome(service=CHROME_SERVICE)
except WebDriverException:
    # GUIが使えない場合
    options = Options()
    options.add_argument("--headless")
    browser = webdriver.Chrome(service=CHROME_SERVICE, options=options)

browser.get("https://www.google.com/")

q = browser.find_element(By.NAME, "q")
q.send_keys("あいうえお\n")

time.sleep(0.1)
element_list = browser.find_elements(By.CLASS_NAME, "LC20lb.MBeuO.DKV0Md")
for el in element_list:
    if "Wikipedia" in el.get_attribute("innerText"):
        el.click()
        break

time.sleep(0.1)
element_list = browser.find_elements(By.CLASS_NAME, "mw-parser-output")
for el in element_list:
    print(el.get_attribute("innerText"))

time.sleep(1)
browser.quit()

以下のように出力されれば成功…?

出力

あいうえお、アイウエオとは、五十音のこと。またその中のあ行のこと。日本語の母音。