Einsteinの監査/フィードバックデータを確認してみる

はじめに（TL;DR）

Salesforceは生成AIやAIエージェント領域を急拡大しています。その中でも欠かせないのが、AIの監査データやユーザからのフィードバックデータです。これらはすべてData Cloudに蓄積されます。どのように格納され、どのように確認、活用できるかを説明します。

監査データ/フィードバックデータとは？

含まれるデータ

監査データ
プロンプトテンプレート ID と詳細
要求メタデータと要求 ID
組織 ID
地域および言語
油圧された(Hydrated)プロンプトテキスト
最後の PII マスクプロンプトテキスト
取得したデータ
LLM 応答テキスト
最終的な PII 未マスク応答テキスト
回答の安全スコア
回答の Professional スコア
LLM の詳細とパラメーター (ベンダーモデルの詳細と温度)

フィードバックデータ
上向きおよび下向きの反応と理由テキスト
受け入れ、再生成、変更、却下、無視する
使用された最終応答が変更された

使用される標準のデータモデル（DMO）

こんな感じのデータモデルに格納されます。監査データ/フィードバックデータの意味合いごとに分かれてますね。

機能を利用する

Einstein生成AIのフィードバック機能を有効化する

[設定]>[Einstein]>[Einstein 生成 AI]>[Einstein フィードバック]から[Einstein 生成 AI 監査データを収集して保存]を「オン」にする

監査データ/フィードバックデータを見てみる

データストリームにもGenAIXXXという形で入ってきますね。（初回の連携は時間かかりましたが、2回目以降は1時間に1回の頻度で連携されているように見えます。※2024/12時点）

データエクスプローラーで監査データ/フィードバックの実データを確認できます。
どのCloudのどの機能で、どのプロンプトがどうマスキングされて、、など確認できます

標準のレポート・ダッシュボードを試してみる

標準のレポート・ダッシュボードがいくつか用意されています。
[レポート]>[すべてのフォルダー]>[Einstein Generative AI Audit & Feedback]にアクセス

トークンの消費量を確認することができますね。他にもユーザのフィードバックデータを確認するものなどありますが、標準で用意されてますので、是非試してみてください！

おわりに

AI活用に欠かせない監査データ/フィードバックデータについてご紹介しました。フィードバックデータをもとにプロンプトテンプレートを改善したりなど、よりよいAI活用に繋げましょう！

参考情報

公式Help：https://help.salesforce.com/s/articleView?id=sf.generative_ai_feedback.htm&type=5

※本記事は、私が所属する会社とは一切関係のない事柄です。