Open1

dlt

YuichiYuichi

https://dlthub.com/devel/intro
https://dlthub.com/devel/dlt-ecosystem/destinations/bigquery

mkdir dlt  # project_nameというディレクトリを作成
cd dlt # プロジェクトフォルダに入る
python -m venv .venv  #.venvという仮想環境を作成
source .venv/bin/activate  #仮想環境の有効化
pip install --upgrade pip

pip install "dlt[bigquery]" # BigQuery 依存関係を持つ dlt ライブラリをインストール

dlt init rest_api bigquery
Looking up the init scripts in https://github.com/dlt-hub/verified-sources.git...
Cloning and configuring a verified source rest_api (Generic API Source)
Do you want to proceed? [Y/n]: y

Verified source rest_api was added to your project!
* See the usage examples and code snippets to copy from rest_api_pipeline.py
* Add credentials for bigquery and other secrets in ./.dlt/secrets.toml
* requirements.txt was created. Install it with:
pip3 install -r requirements.txt
* Read https://dlthub.com/docs/walkthroughs/create-a-pipeline for more information
pip install -r requirements.txt

OAuth 2.0 : gcloudの認証情報を準備

  • ~/.config/gcloudディレクトリに必要な認証情報が含まれていることを確認します。具体的には、application_default_credentials.jsonファイルが含まれている必要があります。
  • 認証設定
gcloud auth application-default login

設定確認(ファイルが確認できたらOK)

cat ~/.config/gcloud/application_default_credentials.json

application_default_credentials.jsonの内容を転記

open .dlt/secrets.toml