Chapter 04

ChatGPTの得意と苦手

ますみ@エンジニア
ますみ@エンジニア
2023.04.09に更新

この記事では、ChatGPTの「得意なこと(強み)」と「苦手なこと(弱み)」についてまとめています。

https://youtu.be/Z0FzvpvlQW4

ChatGPTの得意なこと(メリット / 強み)

  1. 「いつでも」質問できる。

    • 企業が「お問い合わせ」機能としてChatGPTを採用すれば、ユーザーはいつでも質問できる上、その場で答えが返ってきます。
    • このメリットは、ChatGPTに限らず、チャットボットによるメリットとも言えます。
  2. 「幅広い質問」に対して回答できる。

    • これまでのルールベースのチャットボットは、限定的な質問にしか回答できませんでした。
    • しかし、ChatGPTを用いれば、あらかじめ用意された回答以外の幅広い質問に対して回答できます。
  3. 「滑らかな文章」で回答できる。

    • これまでのAIベースのチャットボットに比べて、滑らかで人間らしい文章を生成できます。
    • このメリットは、ChatGPTが大量の対話データを用いて学習しているためだと考えられます。
  4. 「直前の文脈」を加味できる。

    • ChatGPTは、直前の会話の文脈に基づいて、次の返答を生成できます。
    • たとえば、「関西人をふるまってください」と送ると、それ以降のチャットは関西弁で返してくれます。
    • 大抵のチャットは、会話のキャッチボールをしながら進めるため、この機能は強力な機能と言えるでしょう。

      「関西人をふるまってください」という指示に対するChatGPTの挙動
  5. 「創造的な回答」ができる。

    • 「感動的な物語のタイトルのアイデアを教えて」と指示すると、次のような回答を返しました。
    • 同じタイトルの物語がすでに存在する可能性はありますが、アイデアが欲しいときに役立つでしょう。

      「感動的な物語のタイトルのアイデアを教えて」に対するChatGPTの返答

ChatGPTの苦手なこと(デメリット / 弱み)

  1. 「情報の正確性」に欠けるときがある。
    • ChatGPTにも誤った情報を返すことがあります。
    • この時、誤った情報をあたかも正しそうに回答しているため、注意が必要です。
  2. 「情報の鮮度」が低い。
    • (2023年2月)現在のChatGPTは2021年までの情報を用いて学習するため、2022年以降の情報に関しては回答できません。
  3. 「情報の出所」がわからない。
    • ChatGPTで生成される文章には、出所が明記されていません。
    • そのため、情報の正確性を確認したり、担保することができません。
  4. 質問文に「機密情報」を組み込めない。
    • もしも機密情報を含む質問文を送ってしまうと、その情報はOpenAIの開発者に読まれてしまったり、学習データとして使われたりする可能性があります。
  5. 「返答時間」が長い。
    • ルールベースのチャットボットに比べて、返答時間(レスポンスタイム)が長いです。
    • ルールベースのチャットボットは、条件分岐による処理のみ行われる一方で、AIベースのチャットボット(ChatGPTなど)は文章をAIが生成しているため、処理に時間を要します。

Perplexity Askの紹介

  • 最後に、2番と3番のChatGPTの苦手なことに対処する方法として、「Perplexity Ask」というサービスをオススメします。
  • Perplexity Askは、2022年以降の最近の情報も学習しているため、情報の鮮度が高いというメリットがあります。
  • さらに、解答結果に「情報の出所」が明記されているため、「情報の正確性」を確認したり、担保したりできます。


Perplexity Askの検索例

他の選択肢との比較表

「問い合わせ窓口」を設ける場合の他の選択肢(問い合わせメールやコールセンター)や前身となるモデル(GPTやInstructGPT)と比較した際のChatGPTの強みと弱みは下記の通りです。
※ 評価する上で、多少の主観が入っているため、参考程度にご覧ください。

項目 問い合わせメール(人が対応) コールセンター(人が対応) ルールベースのチャットボット GPT InstructGPT ChatGPT
情報の正確性
質問の対応範囲
即時的な返答の速さ
返答可能な時間帯
人らしい文章
対話形式の文章

Pluginsによる対処法

現時点(2023年4月9日時点)ではまだ利用はできませんが、公式より発表されている「ChatGPT plugins」によって、いくつかの課題は解決する可能性があります。

https://zenn.dev/umi_mori/articles/chatgpt-official-plugins

https://zenn.dev/umi_mori/articles/chatgpt-initial-plugins-13