🐨

📝画像から情報を読み取るFlexプロンプトテンプレート作成ガイド

に公開

はじめに

Salesforceの生成AIで画像を活用したい、そう思ったことはありませんか?

Salesforceのプロンプトビルダーを使い、画像から情報を要約する Flexプロンプトテンプレートの作成手順を、スクリーンショットを交えて具体的に解説します。直接Data Cloudを使う機能ではありませんがAgentforce活用において画像データを活用するための重要な機能ですので、ぜひ御覧ください。🐨

1. プロンプトビルダーの起動

まずはプロンプトテンプレートを作成する画面に移動します。

  1. Salesforceの [設定] 画面に移動します。
  2. クイック検索ボックスに 「プロンプト」と入力し、[プロンプトビルダー] を選択します。

2. 新規プロンプトテンプレートの作成

次に、テンプレートの基本的な設定を行います。

  1. プロンプトビルダーの画面で、[新規プロンプトテンプレート] をクリックします。

  2. ポップアップが表示されたら、以下の基本情報を入力します。

    • プロンプトテンプレート種別: Flex を選択します。
    • プロンプトテンプレート名: テンプレートの目的がわかる名前を入力します。(例: 画像から情報を要約する
    • API参照名: summary_image(英語、記号であればOK)
    • テンプレートの説明: どのようなテンプレートかを具体的に記述します。(例: 入力された画像から情報を要約します。

3. 入力リソースの設定

プロンプトに画像ファイルを入力として渡すための設定です。こちらが本記事で最もお伝えしたいポイントです!!!

  1. [入力] セクションまでスクロールし、[リソースを追加] をクリックします。

  2. 以下の通り設定します。これは「image」という名前で画像ファイルを受け取るための定義です。

    • 名前: image (プロンプト内でこの名前を使います)
    • API参照名: image
    • リソース種別: オブジェクト を選択します。
    • ソース: ファイル を選択します。(API参照名: ContentDocument

4. モデルの選択

プロンプトの指示を処理するAIモデルを選択します。

  1. [モデル] セクションで [オプションを選択] をクリックします。
  2. 画像の内容を理解できるマルチモーダルモデルを選択してください。(テキストベースのモデルでは画像を処理できないため、必ず画像入力に対応したモデル(例: GPT-5, Gemini 2.5 Proなど)を選択する必要があります。)

5. プロンプトの作成

テンプレートの核心部分である、AIへの指示(プロンプト)を作成します。

  1. [プロンプト] のテキストボックスに、AIに実行させたい指示を入力します。
    シンプルな要約を依頼する例です。以下の内容をコピペします。
読み込んだ画像の情報から、サマリして回答してください。

{!image}
  1. 入力リソースとして設定した画像をプロンプトに含めるには、差し込み項目を使用します。今回は{!image}の部分を削除し、そこに **[+リソースを挿入]から[image > レコードスナップショット]**を選択します。


6. プレビュー、保存と有効化

画像を入力します。左上の3本の調整バーが書かれたボタンをクリックし、画像をアップロードします。

今回は、以下の履歴書をカメラで直撮りした画像をアップロードします。(お好きな画像をアップロードいただければと思いますが、こちらの画像をダウンロードしてアップロードしても大丈夫です。)

左上の[プレビュー]ボタンをクリックします。
すると、LLMにより画像の内容を汲み取って生成された回答が得られました。
履歴書の情報をテキストとしてしっかり取れています。

最後に、作成したテンプレートを保存し、有効化します。

これで、画像ファイルの内容を要約するプロンプトテンプレートの作成は完了です。作成したテンプレートは、Apexコードやフローから呼び出して、様々な自動化に活用できます。

また、生成した内容をSalesforceオブジェクトの項目にいれておき、そのレコードをData Cloudに取り込んで検索インデックスを作成することで、画像で読み取った情報からベクトルデータベースにデータを格納して情報をベクトル検索で活用できる状態にできます。

7. おわりに

今回は、Salesforceのプロンプトテンプレートで画像を取り扱う方法をご紹介しました。直接Data Cloudの機能を使うわけではありませんが、生成結果をData Cloudに取り込んでベクトルデータとして活用する応用方法も考えられますので、手段の1つとして持ち帰っていただけると幸いです。
ご拝読ありがとうございました!!🐨

※本記事は私の所属する組織とは関係がありません。

Discussion