はじめに（TL;DR）
前回の記事で、Einsteinの監査/フィードバックデータはData Cloudに蓄積され、標準のレポート/ダッシュボードで確認可能であることをお伝えしました。
しかし、標準のレポート/ダッシュボードだと、LLMに投げるプロンプトとLLMから返ってきたレスポンスが一度に見ることができません。
今回は、LLMへのリクエストとレスポンスを同時に確認できるカスタムレポートを作成します！
作成する
カスタムレポートタイプを作成する
[設定]>[レポートタイプ]>[新規カスタムレポートタイプ]で新規カスタムレポートタイプを作成する。
以下の内容に設定して[次へ]
- 主オブジェクト：GenAIGatewayRequest (Data Cloud)
- レポートタイプの表示ラベル：Einstein GenAIGatewayRequest with GenAIGeneration（任意のもので大丈夫です）
- レポートタイプ名：上記から自動入力
- 説明：Einstein GenAIGatewayRequest with GenAIGeneration（任意のもので大丈夫です）
- カテゴリに格納：Data Cloud
以下のように3階層のリレーションを定義して[保存]する
- GenAIGatewayRequest (Data Cloud) (A)
- 少なくとも 1 つの関連レコードが存在する: GenAIGatewayResponse (Data Cloud) (B)
- 少なくとも 1 つの関連レコードが存在する: GenAIGeneration (Data Cloud) (C)
このようになります。
カスタムレポートを作成する
[レポート]>[新規レポート]からカテゴリを[Data Cloud]に切り替え、先ほど作成したレポートタイプ Einstein GenAIGatewayRequest with GenAIGeneration を選択して[レポートを開始]します。（同じ手順を踏んだ場合は検索でEinsteinと入力すればヒットします。）
表示したい列を追加します。例として以下のように追加します。
- Timestamp
- Cloud
- Feature
- Prompt
- Masked Prompt
- Masked Response Text
- Response Text
- User Id
- Model
[保存&実行]します。
結果
いつどのCloudの機能でプロンプトが実行され、そのときのプロンプトやマスクされたプロンプト、LLMのモデルとLLMからの回答やユーザIDを確認できるレポートが作成できました。
おわりに
LLMへのリクエストとレスポンスを同時に確認することができるレポートを作成しました。
利用用途に応じて、含める列を変更したり行のグループ化、検索条件フィルタを追加するなどカスタマイズしてみてください！
参考情報
公式Help：https://help.salesforce.com/s/articleView?id=sf.generative_ai_feedback.htm&type=5
※本記事は、私が所属する会社とは一切関係のない事柄です。
Discussion