ChatGPTに（なるべく）嘘をつかせないプロンプトの作り方

はじめに

ChatGPTを利用する上で直面する課題として、幻覚(Hallucination)呼ばれる現象によって正確でない情報や誤った推論を生成する可能性がある、という問題があります。ChatGPTを人間のアシスタントとして利用する分にはいいですが、完全にChatGPTにお任せしたいというケース、例えば企業のFAQチャットボットを作って、この事象が発生した場合、企業の信頼性を損なう危険性があります。

そこで今回は、プロンプトを工夫することにより、ChatGPTの幻覚を抑えることができるか試してみました。今回はGPT-3.5を利用しています。

前提条件

今回はIn-context Learning (ICL)を行い、そのContextに対する質問に回答してもらうというユースケースを想定しています。
コンテキストには、予めChatGPTに生成してもらった架空の自動車メーカーに関する説明文を使います。つまりコンテキストに含まれていない回答をしたら100%嘘となります。内容はこんな感じです。

概要:
「フォルテックス自動車」（Vortex Automobiles）は、革新的な技術とサステナビリティを追求する新興自動車メーカーです。
同社は、独自の高効率電気モーター、先進の自動運転技術、環境に優しい素材の使用など、未来の移動手段を革新することに力を入れています。
フォルテックス自動車は、パーソナルモビリティや商用車両など、幅広い市場に対応した製品を開発しています。

歴史:
フォルテックス自動車は、2019年にエンジニアとビジョンを持った起業家たちによって設立されました。
彼らは、持続可能な未来のために、従来の自動車産業の枠を超える新たな技術とアイデアを追求することに取り組んでいます。
社は、急速に市場シェアを獲得し、その実績から、2022年には初の量産車を市場に投入することができました。

特徴:
1. 高効率電気モーター: 独自開発の電気モーター技術を搭載し、エネルギー効率とドライビングパフォーマンスを両立させています。
2. 先進の自動運転技術: AIとセンサー技術を組み合わせた自動運転システムを開発し、安全で快適なドライビング体験を提供しています。
3. 環境に優しい素材: 再生可能エネルギーを利用した生産プロセスやリサイクル可能な素材を使用し、環境に配慮した製品作りを心掛けています。
4. カスタマイズ可能なデザイン: 顧客のニーズに合わせてデザインや機能を選択できるカスタマイズオプションを提供しています。

実験結果

パターン1: 素直に指示

まずは、特に何も工夫せずお願いするパターンで得意の嘘をついてもらいましょう。

あなたはフォルテックス自動車のFAQチャットボットです。[context]を基に質問に回答してください。

[context]
(以下略)

質問1: ラインナップを教えてください。

• 回答
  はい、フォルテックス自動車は、パーソナルモビリティや商用車両など、様々なタイプの自動車を開発しています。現在のラインナップは以下の通りです：

  • Vortex V1：コンパクトなハッチバック車で、都市部での移動に最適です。
  • Vortex S1：スポーティなセダンで、高性能とスタイリッシュなデザインを兼ね備えています。
  • Vortex T1：大型SUVで、広い室内空間と高い走行性能を誇っています。
  • Vortex M1：商用車両で、荷物や貨物の輸送に適したバンタイプの車両です。

  また、各モデルにはカスタマイズオプションが用意されていますので、顧客のニーズに合わせた車両を作ることが可能です。

• 判定
  🙅 これは完全に嘘です！コンテキストにはVortex V1などの具体的なラインナップは一切記載していません！

パターン2: 制約条件の設定

次に、よくある制約条件を設けるパターンです。かなり強めに指示します。

あなたはフォルテックス自動車のFAQチャットボットです。[constraints]を遵守し、[context]を基に質問に回答してください。

[constraints]
- [context]から推論可能な内容のみ回答してください。
- [context]に記載のない情報を回答することは許されていません。

[context]
(以下略)

質問1: ラインナップを教えてください。

• 回答
  フォルテックス自動車は、パーソナルモビリティや商用車両など、幅広い市場に対応した製品を開発しています。現時点でのラインナップは、公式サイトで確認できます。ご興味があれば、そちらをご覧いただけますでしょうか。
• 判定
  🙍 ちょっぴり嘘です。具体的なラインナップは答えませんでしたが、公式サイトで確認できる、というコンテキストにはない回答をしています。

質問2: 高効率電気モーターは他の電気モーターと具体的に何が異なりますか？

• 回答
  フォルテックス自動車の独自開発の高効率電気モーターは、従来のモーターよりも高いエネルギー効率を実現しています。一般的な電気モーターでは、モーター内部で発生する熱によってエネルギーが損失するため、モーターの効率が低下する傾向がありますが、フォルテックス自動車の電気モーターは、この問題を解決するために設計されています。
  具体的には、フォルテックス自動車の電気モーターは、高度な冷却技術と最適化された磁場制御システムを採用することで、熱損失を最小限に抑え、高いエネルギー効率を実現しています。その結果、より少ないエネルギーでより長い距離を走行することができるようになります。
• 判定
  🙅 これは完全に嘘です！コンテキストには高効率電気モーターの仕組みに関する記述は一切記載していません！

パターン3: 制約条件の設定 + 英語

内容はパターン2と同じですが、英語で指示して少し賢くなってもらう作戦です。

You are a Vortex Automobile FAQ chatbot. Answer questions based on [context], adhering to [constraints].

[constraints]
- Answer only what you can infer from [context].
- You are not allowed to answer with information that is not in [context].

[context]
(以下略)

質問1: ラインナップを教えてください。

• 回答
  Vortex Automobilesは、パーソナルモビリティや商用車両など、幅広い市場に対応した製品を開発しています。具体的なモデル名については、現在の情報では提供できません。
• 判定
  🙆 あなたは正直者です！ちゃんとわからないことについてはわからないと答えています。

質問2: 高効率電気モーターは他の電気モーターと具体的に何が異なりますか？

• 回答
  Vortex Automobilesの高効率電気モーターは、同社が独自に開発した技術を搭載しています。詳細については明確にされていませんが、高いエネルギー効率と優れたドライビングパフォーマンスを実現しているとされています。具体的な他社製品との比較については、情報が提供されていません。
• 判定
  🙆 あなたは正直者です！これもコンテキストに基づいた回答です。

質問3: 自動運転システムとはどんなものですか？

• 回答
  Vortex Automobilesの自動運転システムは、AI（人工知能）とセンサー技術を組み合わせたものです。AIがセンサーから得られる情報を解析して、運転者の代わりに車両を自動的に制御することができます。このシステムにより、安全で快適なドライビング体験を提供することができます。具体的には、自動車が周囲の状況を把握し、車線変更や曲がり角での減速や加速などの運転行動を自動で実行します。ただし、現在の技術では、完全に自動運転が実現するには至っておらず、運転者の監視が必要とされています。
• 判定
  🙍 完全に嘘とまでは言えませんが、事前学習で得た自動運転システムの知識に基づいて回答してしまっています。情報が古い場合は嘘になりえます。

パターン4: ロールプレイ + 英語

国語のテストなどである、読解問題を解いてもらうというシチュエーションに問題をすり替えてみました。私の認識だと、読解問題とは課題文に対する理解力を試すものなので、問題文に記載されていないことを解答するのは不正解となります。この一般認識が強力な制約として働くことを狙っています。

I have a Japanese reading comprehension question for you.
Read [sentence] and write your answer to the question.
If you cannot deduce the answer to the question from [sentence], answer "わかりません".

[sentence]
(以下略)

質問1: ラインナップを教えてください。

• 回答
  文章には、フォルテックス自動車が幅広い市場に対応した製品を開発していると書かれていますが、具体的な製品名やラインナップについては言及されていません。そのため、「製品名やラインナップについては言及されていないので、わかりません」と回答することになります。
• 判定
  🙆 あなたは正直者です！余計な文章が含まれてはいますが、正しいです。どこまでが言及されていているのかを説明してくれているのも賢いです。

質問2: 高効率電気モーターは他の電気モーターと具体的に何が異なりますか？

• 回答
  文章には、フォルテックス自動車が独自開発の高効率電気モーター技術を搭載していることが書かれていますが、他の電気モーターと具体的に何が異なるかについては言及されていません。そのため、「具体的に何が異なるかについては言及されていないので、わかりません」と回答することになります。
• 判定
  🙆 あなたは正直者です！これもいいですね。

質問3: 自動運転システムとはどんなものですか？

• 回答
  フォルテックス自動車が開発している自動運転システムについては、文章に直接的な説明はありませんが、AIとセンサー技術を組み合わせた自動運転システムを開発していることが言及されています。一般的に自動運転システムとは、車両が自動的に運転する機能を指します。センサーやカメラなどの装置で周囲の状況を把握し、それに基づいて自動的に運転操作を行うことで、運転者の負担を軽減し、安全性や利便性を向上させることを目的としています。ただし、具体的な自動運転システムの仕組みや性能は複雑で、自動運転技術が発展途上であるため、フォルテックス自動車の自動運転システムがどのような仕組みや性能を持っているかについては、文章には触れられていません。
• 判定
  🙆 あなたは正直者です！これも一般的な自動運転システムに言及しつつも、答えがコンテキストには記載されていないと正しく判断できています。

まとめ

プロンプトを工夫することでChatGPTの嘘をかなり減らすことができました。特にロールでChatGPTの挙動が変わることは知っていたものの、ここまで大きな影響が働くということに驚きました。ただし、今回のように強力すぎるロールだとその分、多様性や個性が失われるので、適切なバランスを見つけるのは難しいところですね。これからも、よりChatGPTを使いこなせるよう研究に励みます！