Open1
dlt
mkdir dlt # project_nameというディレクトリを作成
cd dlt # プロジェクトフォルダに入る
python -m venv .venv #.venvという仮想環境を作成
source .venv/bin/activate #仮想環境の有効化
pip install --upgrade pip
pip install "dlt[bigquery]" # BigQuery 依存関係を持つ dlt ライブラリをインストール
dlt init rest_api bigquery
Looking up the init scripts in https://github.com/dlt-hub/verified-sources.git...
Cloning and configuring a verified source rest_api (Generic API Source)
Do you want to proceed? [Y/n]: y
Verified source rest_api was added to your project!
* See the usage examples and code snippets to copy from rest_api_pipeline.py
* Add credentials for bigquery and other secrets in ./.dlt/secrets.toml
* requirements.txt was created. Install it with:
pip3 install -r requirements.txt
* Read https://dlthub.com/docs/walkthroughs/create-a-pipeline for more information
pip install -r requirements.txt
OAuth 2.0 : gcloudの認証情報を準備
- ~/.config/gcloudディレクトリに必要な認証情報が含まれていることを確認します。具体的には、application_default_credentials.jsonファイルが含まれている必要があります。
- 認証設定
gcloud auth application-default login
設定確認(ファイルが確認できたらOK)
cat ~/.config/gcloud/application_default_credentials.json
application_default_credentials.jsonの内容を転記
open .dlt/secrets.toml