Zenn
🕶️

Airbyte: Kick-off

2025/03/13に公開
tech
BigQuery
DataEngineering
ETL
Airbyte
tech

Airbyteとは

API、データベース、ファイルからデータベース、ウェアハウス、レイクへのELTパイプラインのためのデータ統合プラットフォーム

データエンジニアが既存のコネクタをカスタマイズできるようにする一方で、データソースのロングテールをカバーできるのは、データ移動に対するオープンソースのソリューションだけだと私たちは信じています。私たちの究極のビジョンは、あらゆるソースからあらゆる宛先へのデータ移動を支援することです。Airbyteはすでに、API、データベース、データウェアハウス、データレイクのための300以上のコネクタの最大のカタログを提供しています。

Getting Started

今回はSelf-Managed Communityでデプロイしていきます。

https://docs.airbyte.com/using-airbyte/getting-started/oss-quickstart

  1. abctlのインストール

    curl -LsfS https://get.airbyte.com | bash -

  2. Airbyteの実行

    abctl local install

  3. 認証のセットアップ

    下記コマンドでデフォルトパスワードを取得し、http://localhost:8000からAIrbyteにログイン

    abctl local credentials

Next Step

  • Slackに参加する
  • NotionからBigQueryにデータを抽出してみる

Discussion