【イベントレポ】【6/26オンライン開催】dbt プロダクトローンチイベント
がく@ちゅらデータエンジニアです。
梅雨はどこにいったんでしょう・・・と思ったらめっちゃジメジメしてて湿度が半端ないですね><
概要
さて、先日、dbt showcase(英語)が開催されました
6月26日に上記のイベントの日本語でのウェビナーが開催されました。
に参加してきました。
※後日、録画が公開されるそうです。
dbt LabsのAsanoさんが紹介をなさっていたので、参加しました
ウェビナーの内容のダイジェストとQ&Aについてまとめてみたいと思います。
Q&A
たぶん、ウェビナーで気になるところはこちらではないでしょうか・・・
なので、掟破りのいきなりQ&A!!!!!!!!!!!
内容はAppendix的に書きます・・・・あぺぇぇぇぇ
ライセンスに関して
ライセンスに関しての質問がとても多かったです。
VS Code Extentionは、会社ごとに上限15名
ライセンスの制限として1社で15名までという制限が入っています。16名以上の場合の費用等はまだ決まっていないので、都度お問い合わせ頂けますと幸いです。
Q. VSCodeのExtensionのドメインあたりの人数制限、15人まででしたっけ?どこかに申請とか出したら上限解除可能ですか?
A.大変お手数をおかけしますが、担当営業まで都度お問い合わせをお願いします。15名は現状ハードリミットではありません。
Q. dbt extension のアカウント、gmail とかのフリーアドレスでも使ますか?
A. 利用は出来ますが、登録プロセスがあるので企業ドメインのメールでの登録をお願い致します。https://docs.getdbt.com/docs/install-dbt-extension#register-the-extension
Q.VS Code のExtentionのライセンスなのですが、申請するメールアドレスのドメイン単位という感じですか? (サブドメインは区別しなさそうですよね)
A. ドメインのオーナーをマッピングしているので、サブドメインを細かくきっても1社として判定されそうです。
対応について
Q.dbt-fusionのオンプレミスOracleへの対応予定はあるのでしょうか?
A.順次様々なDBに対応するロードマップはありますが、Oracleについて現時点で明確な対応予定日は明確になっておりません。
Q. Athenaへの対応は?
A. 最初は主要なSnowflake,Databricks、BigQuery。第2フェーズでAthenaがはいっていたはず。
Fusionの利用について
Q.dbt fusion(VS Code Extension)はdbt core , dbt platformに次ぐ3番目のプラン(有償で機能、料金的にはcoreとplatformの中間)という理解で合っていますか?
A. fusionはエンジンなので、coreの代替として無料でご利用頂けます。Platformでのみ利用可能なfusionの機能がございます(State-aware orchestration)など。
Q. dbt-fusionは無償で利用できるのでしょうか?
A. Fusionは無償でご利用頂けます。利用にはVS Code Extensionが必要になります。
→??????
機能について
Q. dbt canvasはdbt platformの機能でしょうか?
A. Canvasはdbt platformのEnterpriseプランのみ提供される機能となります
Q. dbt-fusionでもdocs generateでブラウザでドキュメントを見るみたいなことは出来るのでしょうか?
A. fusionでもdbt docsを生成して静的ページとして出力が可能です
Q.SCIM for Okta記載されていましたが、他のIdPには非対応でしょうか
A.SCIMはEntra IDやその他も順次対応予定となっています
このウェビナーについて
Q. 本日の資料は配布されますか?
A. 申し訳御座いませんが、本日の資料の配布は予定しておりません。録画のみとなります。
Q. 今日のセッションは、録画されていて後日視聴可能ですか?
A. 本日のセミナーは録画されており、後日視聴が可能です
Coreからのマイグレーションについて
Q.dbt-coreからdbt-fusionへのマイグレーション機能はあるのでしょうか?
A.マイグレーション手順
以下、上記ドキュメントから引用
移行手順
dbt Core v1.10に(dbt CloudのenviromentではLatest)移行していただき、この状態でプロジェクト内で発生するdeprecation warningsは解消して頂く必要があります。
多くのdeprecation warningsはauto-fix scriptで解消可能なので、大量に発生する場合は、利用をご検討ください。
v1.10へのアップグレードについて
まとめ
dbt-fusionは、セルフホストでの利用は無料
だが、マネージドサービスは勝手にやっちゃダメよ
dbt-fusionのVSCode Extentionは、一社15名まで無料。16名以上はまだ値付けはされてないので、問い合わせをしてほしい。
申請は会社のメールアドレスでやってくださいね(Gmailとかは避けてほしいっぽい感じ)
Appendix. 内容
今までできるようになったこと
- SQLが理解できるようになった
- VSCodeの新拡張
- 既存プロジェクトの互換性(まだ出来てない部分があるのでやっていく)
- 高速, Python→Rustでパース速度が30倍
- 時間が短縮できる
- Validationがローカルで完結するので、お金が節約できる(約10%ほどと言われている)
VSCodeExtensionでは、Jinjaのレンダリングが右ペインで確認できる(mdファイルのように)
CTEの中が確認できる
カラムリネージも見れる
普通のIDEぽく、宣言元に飛ぶことができる。利用箇所にも飛ぶことができる
静的チェックがparse(Syntax Only)
compilerは、型も見る
SAOの設定
「Sourceの2つが更新されたら」その下流が動く・・・みたいな制御も可能
dbt Canvas:MiroみたいなUI、最近大流行ですね
dbt Copilot のデモ、Order 1 とかをdbt Copilotが生成してくれる
こうして出来たモデルを専門(?)のエンジニアにレビューしてもらうことで品質担保などを
dbtはMCP対応
BIを使ったことのないビジネスユーザでもグラフ化可能
ER図とかカスタマイズしたリネージ図とかも生成できそう
アナリストライセンスが新設
- dbtを毎日使わないような人向け
- 想定するアクティブユーザ数で契約可能(全員契約する必要なし)
- →多分、同時アクセス数的なやつかな
Discussion