Open4
rairaitei-data-pipeline
hyamakawETL
Python --> Google Spread Sheet --> Tableau Public
Python
来来亭公式HPをスクレイピング。
店舗情報を抽出し、Google Drive Api で Google Spread Sheetに配置
Tableau Public
データコネクトからGoogle Spread Sheetと接続
ブラウザ上で「データの更新」を押すと最新のデータに置き換わる
Workflow管理
ローカルで立てたAirflowで行う。コンテナ上に立てる。
正直GASを使えばSpread SheetとTableauだけで済む。
今回はAirflowの勉強も目的の一つなので問題ない。
hyamakawTodo
Google Drive APIを使ってファイルをDriveに置く。
hyamakaw可視化は完了