Cloud Data Fusionの導入の前にCDAPを構築してみる

Cloud Data Fusionとは

https://cloud.google.com/data-fusion?hl=ja

• GUIで完結できるETLツール
• 150以上のコネクタと変換がある
• Google Cloudのひとつのサービスとして利用可能
• オープンソースのETLツールCDAPをGoogleCloud上で動かせるようにしたもの
• Cloud Data Fusionを導入する前にローカル環境開発環境を用意してみました

CDAP Sandboxを利用しローカル環境で試してみる

CDAPとは

https://cdap.io/

• オープンソースETLツール
• ローカル環境でCDAP Sandboxをインストール可能
• ローカル環境で作成したパイプラインをGCP側にインポートできる

Dockerをインストールする

https://teachme.jp/90980/manuals/19146802

• WindowsでDockerを入れていない人はこちらの記事を参考に
• DockerDesktopは有料のため、上記方法にて環境を構築

DockerでCDAPを動かす

• wslでUbuntu、Dockerが入っている前提で下記コマンドを実行

docker pull caskdata/cdap-sandbox:6.8.1

• CDAPを起動

docker run -d --name cdap-sandbox -p 11011:11011 -p 11015:11015 caskdata/cdap-sandbox:6.8.1

• http://localhost:11011/　にアクセスして下記画面がでることを確認
  

感想

• cdapのバージョンによっては、すんなりと導入できなかったりします。（対応方法があったら、教えてください）結局6.8.1で動くようになりました。

参考

https://teachme.jp/90980/manuals/19146802
https://tech.rhythm-corp.com/create-a-cdap-pipeline-locally/