Airbyteをmacにインストールしてみる
つい最近、技術書店オンラインマーケットで「Snowflakeの歩き方 ーSnowflakeで始めるデータ基盤ガイド！」という書籍を購入しました。
内容については別途記事にしたいと思いますが、Snowflakeやデータエンジニアとしてお仕事されている方にとっては最高の書籍と言えると思えます。
書籍の中でAitbbyteと呼ばれるデータパイプライン製品の紹介がありました。
どうやら自前でデータパイプラインを用意できるOSS製品で、導入障壁が低いためエンジニアから支持を集めている注目の製品の一つです。
どのような製品か実際にmac book proにOSS版のAirbyteをインストールして確認してみようと思います。
インストール
公式手順に則ってインスールします。
git clone https://github.com/airbytehq/airbyte.git
cd airbyte
docker compose up -d
※Airbyteのイメージが大きいのでgit cloneとdocker compose up は時間がかかると思います。
Airbyteにアクセスしてみる
http://localhost:8000
ログイン情報を求められるので以下の初期ログイン情報でログインします。
ユーザー名：airbyte
パスワード：password
適当なEメールアドレスを入力し、「Get started」をクリックします。
画面遷移し、 Airbyteのホーム画面が表示されます。
どのようなコネクターがあるのか確認します。
Create your first connectionをクリックします。
かなり豊富にコネクターが用意されています。
下図のスクリーンショットでは写りきらないですが、結構スクロールできます。
コネクターの種類が気になる方は以下公式をご参照ください。
まとめ
インストールは簡単だけど、イメージが大きくマシンスペックが低すぎると動かないことがありそうです。
とはいえ、OSS版もクラウド版もできることは同じはずなので、フル機能を使う為にイメージサイズが大きくなっていると思うと仕方ないですね。
次回はコネクターを作成して、データ取得から受け渡しまでやってみたいと思います。
Discussion