はじめに（TL;DR）
Salesforceは生成AIやAIエージェント領域を急拡大しています。その中でも欠かせないのが、AIの監査データやユーザからのフィードバックデータです。これらはすべてData Cloudに蓄積されます。どのように格納され、どのように確認、活用できるかを説明します。
監査データ/フィードバックデータとは？
含まれるデータ
| 監査データ |
|---|
| プロンプトテンプレート ID と詳細 |
| 要求メタデータと要求 ID |
| 組織 ID |
| 地域および言語 |
| 油圧された(Hydrated)プロンプトテキスト |
| 最後の PII マスクプロンプトテキスト |
| 取得したデータ |
| LLM 応答テキスト |
| 最終的な PII 未マスク応答テキスト |
| 回答の安全スコア |
| 回答の Professional スコア |
| LLM の詳細とパラメーター (ベンダーモデルの詳細と温度) |
| フィードバックデータ |
|---|
| 上向きおよび下向きの反応と理由テキスト |
| 受け入れ、再生成、変更、却下、無視する |
| 使用された最終応答が変更された |
使用される標準のデータモデル（DMO）
こんな感じのデータモデルに格納されます。監査データ/フィードバックデータの意味合いごとに分かれてますね。
機能を利用する
Einstein生成AIのフィードバック機能を有効化する
[設定]>[Einstein]>[Einstein 生成 AI]>[Einstein フィードバック]から[Einstein 生成 AI 監査データを収集して保存]を「オン」にする
監査データ/フィードバックデータを見てみる
データストリームにもGenAIXXXという形で入ってきますね。（初回の連携は時間かかりましたが、2回目以降は1時間に1回の頻度で連携されているように見えます。※2024/12時点）
データエクスプローラーで監査データ/フィードバックの実データを確認できます。
どのCloudのどの機能で、どのプロンプトがどうマスキングされて、、など確認できます
標準のレポート・ダッシュボードを試してみる
標準のレポート・ダッシュボードがいくつか用意されています。
[レポート]>[すべてのフォルダー]>[Einstein Generative AI Audit & Feedback]にアクセス
トークンの消費量を確認することができますね。他にもユーザのフィードバックデータを確認するものなどありますが、標準で用意されてますので、是非試してみてください！
おわりに
AI活用に欠かせない監査データ/フィードバックデータについてご紹介しました。フィードバックデータをもとにプロンプトテンプレートを改善したりなど、よりよいAI活用に繋げましょう！
参考情報
公式Help：https://help.salesforce.com/s/articleView?id=sf.generative_ai_feedback.htm&type=5
※本記事は、私が所属する会社とは一切関係のない事柄です。
Discussion