はじめに
データマネジメントPF統括部の平尾です。
10/2にDatabricks GenieのThinking steps in responses機能がリリースされたため、実際に検証しながら、GenieがどのようにHuman-in-the-loop（HITL）を実現しているのかを整理しました。
Human-in-the-loop
Human-in-the-loop（HITL） とは、人間がAIの判断過程に介入し、修正・確認を行う仕組みです。完全自動化されたAI処理の中に人間の判断を取り入れることで、結果の精度・信頼性・透明性を高めることが可能です。Databricks Genie（自然言語でデータを操作できるAIアシスタント機能）では、これをThinking steps、Feedback、Knowledge miningといった機能で実現しています。
Thinking steps in responses
Thinking steps in responses（以降Thinking stepsと表記）は10/2にリリースされたDatabricks Genieの新機能です。
Thinking stepsはその名の通り、Genieが回答を生成する際の思考プロセスを可視化する機能です。
以前の記事でOrders SpaceというGenieスペースを作成していたので、これを使って早速検証してみました。
Analysis Completeという項目内に、上記の通りGenieの思考プロセスが表示されています。
質問に回答するためにどのようなデータを参照し、どのように解釈し、どのようなクエリを実行したのかを確認することができます。
次はもう少し曖昧な質問をしてみます。
「半年前の売上の推移」を、「半年前から現在までの売上の変化を示すために、各日付ごとの売上合計を求めている」と解釈していることがわかります。
現在はOrders Spaceにordersテーブルしか紐づけていないので、ordersテーブルに対応するcustomersテーブルを作成してみます。
次にこれらテーブルのjoinが必要になるような質問をしてみます。
想定通り、テーブルをjoinして回答を導く思考プロセスが確認できました。
また、Thinking steps機能は結果セットを図示することもできます。生成された図は後からユーザが手動で修正することも可能ですし、Genieにリクエストして図を作成することも可能です。
生成AIの結果には誤りの可能性があるため、思考プロセスを可視化するExplainable AIの仕組みは非常に重要です。そのため、Genieでこの機能がリリースされたのは嬉しいですね。
Feedback
関連して、Feedback機能に関しても調査・検証を行いました。
この機能はその名の通り、Genieが回答した結果に対してフィードバックを送ることができる機能です。
以下のように「Fix it」を選択すると、一般的な問題リストの中から、あるいは自身で入力して回答の修正を求めることができます。また「Request Review」を選択すると、スペースの管理者にレビューを依頼することが可能です。
「Fix it」を試してみます。修正内容を入力の上、「Submit and try again」を選択します。
すると、指定通り修正してくれました。
次に「Request Review」を試してみます。
その後、Monitoring画面を見ると、Requestやコメントが表示されていることがわかります。
コメントを入力し、「Marked as reviewed」を選択します。
Request欄がReviewedになり、コメントが更新されたことが確認できました。
この機能により、スペース管理者がスペース利用者からのフィードバックを活用して改善したり、直接回答することができます。そのため、スペース利用者が積極的にフィードバックを行う運用が望ましいとされています。
なお、スペース利用者からのフィードバックが自動で学習されることはありません。
Knowledge mining and extraction
関連して、Databricks Data + AI Summit 2025でNext-generation knowledge storeとして発表されたKnowledge mining and extraction（以降Knowledge miningと表記）について紹介します。
ユーザのクエリ履歴やUnityCatalogのリネージ情報から、Genieへの質問とSQLの紐づけを提案してくれる機能になっています。以下の通り提案をAcceptすることで、Genieのセマンティックレイヤ(＝データに意味づけする仕組み）の機能であるKnowledge Storeに昇格させることができます。つまり、この質問にはこのクエリを実行して回答する、というようなことを覚えさせることができます。
人がシステムに介入し、判断や修正を行う「Human-in-the-loop」の仕組みを実現する機能となります。
まとめ
今回はDatabricks Genieの新機能「Thinking steps in responses」を調査・検証すると共に、関連してFeedbackとKnowledge mining and extraction機能を調査しました。
これら機能を組み合わせることで、Thinking stepsでAIの推論を理解し、Feedbackで修正を行い、Knowledge miningで知識として定着させることができ、Genieを通じてHuman-in-the-loopを実現できます。
ご興味のある方はぜひ試してみてください。
仲間募集
NTTデータ ソリューション事業本部 では、以下の職種を募集しています。
Databricks、生成AIを活用したデータ基盤構築/活用支援（Databricks Championとの協働）
Snowflake、生成AIを活用したデータ基盤構築/活用支援（Snowflake Data Superheroesとの協働）
プロジェクトマネージャー（データ分析プラットフォームソリューションの企画～開発～導入／生成AI活用）
クラウドを活用したデータ分析プラットフォームの開発(ITアーキテクト/PM/クラウドエンジニア)
ソリューション紹介
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://www.nttdata.com/jp/ja/lineup/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://www.nttdata.com/jp/ja/lineup/tdf_am/
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
NTTデータとDatabricksについて
NTTデータは、お客様企業のデジタル変革・DXの成功に向けて、「Databricks」のソリューションの提供に加え、情報活用戦略の立案から、AI技術の活用も含めたアナリティクス、分析基盤構築・運用、分析業務のアウトソースまで、ワンストップの支援を提供いたします。
https://www.nttdata.com/jp/ja/lineup/databricks/
NTTデータとSnowflakeについて
NTTデータとSnowflakeについて
NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。
NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。
https://www.nttdata.com/jp/ja/lineup/snowflake/
NTTデータとInformaticaについて
NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://www.nttdata.com/jp/ja/lineup/informatica/
NTTデータとTableauについて
NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。
これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://www.nttdata.com/jp/ja/lineup/tableau/
NTTデータとAlteryxについて
NTTデータとAlteryxについて
Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。
Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。
導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。
https://www.nttdata.com/jp/ja/lineup/alteryx/
NTTデータとDataRobotについて
NTTデータとDataRobotについて
DataRobotは、包括的なAIライフサイクルプラットフォームです。
NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。
https://www.nttdata.com/jp/ja/lineup/datarobot/
NTT DATA公式アカウントです。 技術を愛するNTT DATAの技術者が、気軽に楽しく発信していきます。 当社のサービスなどについてのお問い合わせは、 お問い合わせフォーム nttdata.com/jp/ja/contact-us/ へお願いします。