Scrapingについてまとめる

import requests

r = requests.get('https://gihyo.jp/dp')
r.status_code # 200
r.headers['content-type'] # text/html; charset=UTF-8
r.encoding # UTF-8

# textでstr型にデコードしたレスポンスボディを取得できる
r.text

# contentでbytes型のレスポンスボディを取得できる
r.content

print('あ'.encode('utf-8'))      # b'\xe3\x81\x82'
print('あ'.encode('cp932'))     # b'\x82\xa0'
print('あ'.encode('euc-jp'))     # b'\xa4\xa2'

# HTTPヘッダーとしてUser Agentの情報を追加
r = requests.get('http://www.example.com',
                 headers={'user-agent': 'my-crawler/1.0 (+foo@exmaple.com)'})

# Basic認証の情報を追加
r = requests.get('http://www.example.com',
                 auth=('<ID>' : '<PASSWORD>')

# paramsでクエリパラメータの指定を行う
r = requests.get('http://www.example.com',
                 params={'Kye1' : 'Value1'})

s = requests.Session()
# HTTPヘッダーを設定して複数のリクエストで使い回す
s.headers.update({'user-agent': 'my-crawler/1.0 (+foo@exmaple.com)'})

# Sessionオブジェクトにはgetやpostなどのメソッドがあり、requests.getと同様に使える
r = s.get('https://gihyo.jp/')
r = s.get('https://gihyo.jp/dp')

# re.searchでマッチするのでMatchオブジェクトが返される
re.search(r'a.*c', 'abc123DEF') # <re.Match object; span=(0, 3), match='abc'>

# マッチしないのでNoneが返される
re.search(r'a.*d', 'abc123DEF') # None

# IGNORECADEで大文字小文字の違いを無視したため、マッチする
re.search(r'a.*d', 'abc123DEF', re.IGNORECASE) # <re.Match object; span=(0, 7), match='abc123D'>

# 正規表現での検索結果からgroupメソッドを使ってマッチした値を取得
m = re.search(r'a(.*)c', 'abc123DEF')
m.group(0) # abc

# 1を指定してキャプチャにマッチした値を取得
m.group(1) # b

# \w はUnicodeで単語の一部になり得る文字にマッチする。
# 以下は2文字以上の単語をすべて抽出している
re.findall(r'\w{2,}', 'This is a pen')

# 
re.sub(r'\w{2,}', 'That', 'This is a pen')

import lxml.html

tree = lxml.html.parse('dp.html')
html = tree.getroot()
# 引数のURLを基準として、全てのa要素のhrefを絶対URLに変換する
html.make_links_absolute('https://gihyo.jjp/')

# CSSセレクターでa要素のリストを取得して、個別のa要素(書籍の情報)に対して処理を行う
for a in html.cssselect('#listBook > li > a[itemprop="url"]'):
    # a要素のhref属性から書籍のURLを取得する
    url = a.get('href')

    # 書籍のタイトルは
    p = a.cssselect('p[itemprop="name"]')[0]
    title = p.text_content()

    print(url, title)
>>>
  https://gihyo.jjp/dp/ebook/2021/978-4-297-12236-2 無料で作る！ お店・会社のためのホームページ作成超入門
https://gihyo.jjp/dp/ebook/2021/978-4-297-12266-9 レシピ集 C#コードレシピ集
...

import csv
from typing import List

import requests
import lxml.html

def main():
    """
    メインの処理。fetch(), scrape(), save()の3つの関数を呼び出す。
    """
    url = 'https://gihyo.jp/dp'
    html = fetch(url)
    books = scrape(html, url)
    save('books.csv', books)


def fetch(url: str) -> str:
    """
    引数urlで与えられたURLのWebページを取得する。
    WebページのエンコーディングはContent-Typeヘッダーから取得する。
    戻り値: str型のHTML
    """
    r = requests.get(url)
    return r.text 

def scrape(html: str, base_url: str) -> List[dict]:
    """
    引数htmlで与えられたHTMLから正規表現で書籍の情報を抜き出す。
    引数base_urlは絶対URLに変換する際の基準となるURLを指定する。
    戻り値: 書籍(dict)のリスト
    """
    books = []
    html = lxml.html.fromstring(html)
    html.make_links_absolute(base_url) # 全てのa要素のhref属性を絶対URLに変換する

    # CSSセレクターでa要素のリストを取得して、個別のa要素(書籍の情報)に対して処理を行う
    for a in html.cssselect('#listBook > li > a[itemprop="url"]'):
        # a要素のhref属性から書籍のURLを取得する
        url = a.get('href')

        # 書籍のタイトルは
        p = a.cssselect('p[itemprop="name"]')[0]
        title = p.text_content()

        books.append({'url': url, 'title': title})
    
    return books

def save(file_path: str, books: List[dict]):
    """
    引数booksで与えられた書籍のリストをCSV形式のファイルに保存する。
    ファイルのパスは引数file_pathで与えられる。
    戻り値: なし
    """
    with open(file_path, 'w', newline='') as f:
        writer = csv.DictWriter(f, ['url', 'title'])
        writer.writeheader() # 1行目のヘッダーを書き出す
        # writerowsで複数の行を一度に書き出す
        writer.writerows(books)

if __name__ == '__main__':
    main()

# soupの要素を直接指定してその次の要素を取得
print(soup.p.next_sibling.next_sibling)

# findで条件を指定した要素の次の要素を取得
result = soup.find('h3', text='Sample').next_sibling.next_sibling

links = [{ "title": url.get_text(), "url": url.get('href')} for url in soup.find_all('a')]

# soup.get_text("|")
'\nI linked to |example.com|\n'

# soup.get_text("|", strip=True)
'I linked to|example.com'

[text for text in soup.stripped_strings]
# ['I linked to', 'example.com']

import urllib.parse

absolute_link = urllib.parse.urljoin(BASE_URL, relative_link)

res = requests.get('https://...')
with open('/tmp/metadata.pdf', 'wb') as f:
    f.write(res.content)

temp_path = 'data.pdf'
os.path.splitext(temp_path)
>>> ('data', '.pdf')

# 以下のようにして受け取ればOK
path, ext = os.path.splitext(file_path)

# Attributeの条件を指定して検索
item_divs = soup.select("div[data-cy='sample']")

<p class="ArticleContent__32L1P znc">...</p>
<p class="ArticleContent__2cL6D nc">...</p>
<p class="ArticleContent__9sL1F znc">...</p>
...

import re

soup.find_all('div', class_=re.compile("ArticleContent"))

data_soup = BeautifulSoup('<div data-foo="value">foo!</div>', 'html.parser')
data_soup.find_all(data-foo="value")
# SyntaxError: keyword can't be an expression

data_soup.find_all(attrs={"data-foo": "value"})
# [<div data-foo="value">foo!</div>]

# ページからHTMLを取得
html = driver.page_source

# 要素からHTMLを取得
element.get_attribute('innerHTML')

# 10秒まで待つ
driver.set_page_load_timeout(10)