🙌
PythonでWebスクレイピング
参考にした動画
-
ライブラリ
よく使う関数・機能を簡単にまとめたもの -
モジュール
関数やクラスなどを一つのPythonファイルにまとめたもの
PythonでのWebスクレイピングでよく使うライブラリ
- Selenium
ブラウザ操作を自動化できる(値をコピー、クリック、入力ボックスに値を入れる) - BeautifulSoup
HTMLを読み取る(ページのタイトルやURLを取得)
インポート
- jupyter labでselenium, time, pandasのインポートをする
from selenium import webdriver
import time
import pandas as pd
Pandas
Excelやcsv操作、グラフ化、データの集計や加工を行うライブラリ
- jupyter labでBeautifulSoup, urllibのインポート
from bs4 import BeautifulSoup
import urllib.request as req
urllib
URLを扱うPythonのライブラリ
Discussion