Zenn
🙆

Airbyte Open Source QuickStart

2023/07/15に公開
Airbyte
tech

概要

いわゆるELTツールのなかで、新進気鋭の勢いありまくりのプロダクトですね。
このカテゴリでは、EmbulkってプロダクトがOSSとしては、結構使い勝手が良くて私もとても好きだったのですが、近年とても勢いのあるAirbyteについても試してみようと思ってやってみることにしました。

ELTツールといいますが、Data　Ingestionという領域ですね
近年、ELTのTを担うdbtやDataformが台頭してきていますが、こちらは、Data Transform/Data Modeling といっていますが、その対となるデータカテゴリかなと思っています。

https://docs.airbyte.com/category/airbyte-open-source-quickstart
こちらのQuick Startをやってみようと思います

Deploy Airbyte ( Airbyteを展開する）

まずは、OSS版のAirbyteをインストールする

  • まずは、Dockerをインストールする。docker-composeが細心であることを確認する。
% docker compose version
　　Docker Compose version v2.10.
  • Terminalで下記のコマンドを実行する
$ cd $GIT_HOME
$ git clone https://github.com/airbytehq/airbyte.git
Cloning into 'airbyte'...
remote: Enumerating objects: 453239, done.
remote: Counting objects: 100% (5525/5525), done.
remote: Compressing objects: 100% (2394/2394), done.
remote: Total 453239 (delta 2727), reused 4872 (delta 2267), pack-reused 447714
Receiving objects: 100% (453239/453239), 441.23 MiB | 2.76 MiB/s, done.
Resolving deltas: 100% (248206/248206), done.
Updating files: 100% (11827/11827), done.

~/git 2m 50s
$ cd airbyte
$ docker-compose up

※Macで動かしていますが、Docker Desktopを起動していなかったために、

ConnectionRefusedError: [Errno 61] Connection refused

みたいなエラーが出ていましたが、Docker Desktop を動かしたら

% docker-compose up                                                                                                     [master]
WARNING: The RUN_DATABASE_MIGRATION_ON_STARTUP variable is not set. Defaulting to a blank string.
WARNING: The DEPLOYMENT_MODE variable is not set. Defaulting to a blank string.
WARNING: The LOG_CONNECTOR_MESSAGES variable is not set. Defaulting to a blank string.
WARNING: The SECRET_PERSISTENCE variable is not set. Defaulting to a blank string.
WARNING: The JOB_ERROR_REPORTING_SENTRY_DSN variable is not set. Defaulting to a blank string.
WARNING: The NEW_SCHEDULER variable is not set. Defaulting to a blank string.
WARNING: The WORKER_ENVIRONMENT variable is not set. Defaulting to a blank string.
WARNING: The GITHUB_STORE_BRANCH variable is not set. Defaulting to a blank string.
WARNING: The REMOTE_CONNECTOR_CATALOG_URL variable is not set. Defaulting to a blank string.
WARNING: The TEMPORAL_HISTORY_RETENTION_IN_DAYS variable is not set. Defaulting to a blank string.
WARNING: The UPDATE_DEFINITIONS_CRON_ENABLED variable is not set. Defaulting to a blank string.
Creating network "airbyte_default" with the default driver
Creating volume "airbyte_workspace" with default driver
Creating volume "airbyte_data" with default driver
Creating volume "airbyte_db" with default driver
Pulling init (airbyte/init:0.40.12)...
0.40.12: Pulling from airbyte/init
90cda3b7c325: Pull complete
（以下略）

と動きました。


Docker Desktopでも動いてます。

http://localhost:8000
へアクセスします。

Specify your preferences : 好みを入力する

  • Your email
    • 自分のEmail
  • Anonymize usage data collection (利用データ収集の匿名化）
    • 製品改良のためのデータ収集で、データを匿名化して送信する　→　チェック（トグル）する
  • News and feature updates　：　最新情報や特集を受け取る？　→　チェック
  • Secirity Updates　セキュリティアップデートの情報をEmailで受け取る？　→　チェック


Welcome　　to Airbyte! のページへ

Discussion