🙆‍♀️

DatabricksダッシュボードのAI予測機能ハンズオン

に公開
Databricks
tech

1. 事前準備

  • データファイルの準備: 予測の元データとなるParquetファイルを、公開されているWebサイトからダウンロードします。

2. 目的

Databricksプラットフォームに組み込まれたAI/BIダッシュボードの予測機能を試し、その手順を確認することを目的とします。
具体的には、以下の項目を試します。

  • ダッシュボード作成画面からの、外部データファイル（Parquet）の直接アップロードとテーブル化。
  • GUI操作と自然言語による指示（プロンプト）での時系列グラフの作成。
  • 作成したグラフに対するAI予測機能の適用と、将来予測グラフの自動生成。
  • 予測機能の裏側で、SQLのAI_FORECAST関数がどのように利用されているかの確認。

3. 実行環境

4. 試してみた

ステップ1: Parquetファイルのダウンロード

まず、可視化したいデータを外部サイトからPCにダウンロードします。

  1. NYC TLC Trip Record Data のページにアクセスします。
  2. 分析したい期間のデータ（例: Yellow Taxi Trip Recordsの最新3ヶ月分）を見つけ、.parquet 形式のファイルをPCにダウンロードします。

ステップ2: ダッシュボードの作成とデータのロード

次に、新しいダッシュボードを作成し、ダウンロードしたファイルをデータソースとして使用します。

2-1. 新しいダッシュボードの作成

  1. Databricksワークスペースの左側メニューから 「ダッシュボード」 をクリックします。
  2. 画面右上のボタンから新しいダッシュボードを作成します。

2-2. 「データ」タブからファイルをアップロードしテーブルを作成

  1. ダッシュボードが開いたら、まず画面上部にある 「データ」 タブをクリックします。
  2. 「ファイルをアップロード」 を選択します。
  3. 表示された領域に、ステップ1でダウンロードしたParquetファイルをドラッグ＆ドロップします。
  4. ファイルのアップロードが完了すると、テーブルの作成画面が表示されます。 ここで、データの保存場所と名前を設定します。
    • カタログ: データを保存するカタログを選択します。
    • スキーマ: カタログ内のスキーマ（データベース）を選択します。
    • テーブル名: 新しく作成するテーブルの名前を入力します。（例: yellow_tripdata_latest）
  5. 設定が完了したら、右下の青い 「テーブルを作成」 ボタンをクリックします。

ステップ3: 時系列グラフの作成

次に、アップロードしたデータを使って、予測の元となる時系列グラフを作成します。

  1. 「データ」タブの横にある 「＋」 をクリックして、新しいダッシュボードのページ（Canvas）を作成します。
  2. 画面右下の青いツールバーから 可視化アイコン（折れ線グラフのアイコン） をクリックして、新しいウィジェットをCanvasに追加します。
  3. アシスタントの入力欄に、作成したいグラフの内容を自然言語で入力します。（例: 「passenger_count の日ごとの合計の推移」）
  4. アシスタントが指示を解釈し、自動的に時系列の折れ線グラフを生成します。

ステップ4: AIによる将来予測の実行

作成したグラフに対して、ワンクリックでAIによる将来予測を適用します。

  1. ステップ3で作成した時系列グラフのウィジェットをクリックして選択します。
  2. 画面右側に表示される設定パネルを一番下までスクロールし、「予測」 という項目を見つけます。
  3. 「予測」 の横にある 「＋」 アイコンをクリックします。
  4. ポップアップウィンドウが表示されたら、「AI予測でクローンを作成」 ボタンをクリックします。
  5. この操作だけで、元のグラフを元に将来の予測値を計算し、予測結果が追加された新しいグラフが自動的に生成されます。

ステップ5: 予測の仕組みの確認

AI予測機能がどのように動作しているのか、その裏側の仕組みを確認します。

  1. ステップ4で生成された予測グラフのウィジェットを選択します。右側の設定パネルで、データセット名が 「(元のテーブル名) (Forecasted)」 のように、末尾に(Forecasted)が付与された新しいデータセットに変わっていることを確認します。
  2. 画面上部の 「データ」 タブに切り替えます。
  3. データセットの一覧に、先ほど確認した (Forecasted) が付いた新しいデータセットが自動で追加されています。
  4. この新しいデータセットを選択すると、その定義であるSQLクエリが表示されます。クエリの中に、時系列予測を行うための AI_FORECAST という関数が自動的に利用されていることが確認できます。

5. 最後に

今回のプロセスを通じて、DatabricksのAI/BIダッシュボードがいかに直感的かつ強力であるかを体験できました。

  • ノーコードでの予測: GUI上の簡単な操作だけで、専門的な知識を必要とせずに高度な時系列予測を実行できます。データファイルのアップロードから可視化、予測までが一つの画面で完結します。
  • 透明性の確保: 予測の裏側ではAI_FORECASTというSQL関数が自動的に生成されており、どのような処理が行われているかを確認・カスタマイズすることが可能です。
  • 迅速な意思決定支援: データアナリストやビジネスユーザーが、将来の傾向を即座に可視化し、データに基づいた迅速な意思決定を行うことを可能にします。

この機能は、複雑な機械学習モデルの構築やデプロイの手間を省き、誰もがAIの力を活用してデータからより深い洞察を得るための強力なツールとなります。

6. 参考資料

  1. データソース: NYC TLC Trip Record Data
  2. Databricks AI/BIダッシュボードの予測の生成

Discussion