🕌
GPT APIに今日は何日か聞いてみた。
はじめに
ChatGPTに、今日は何日か聞いてみると、適切な日にちを返してくれます。ChatGPTを使っているユーザーにとっては、当たり前かもしれません。では、GPT APIに今日は何日か聞いてみます。ChatGPTと同じなら適切な日にちを返してくれるはずです。
ChatGPTに今日の日付を聞いた結果
実験
実験として、Open AIのPlaygroundで今日は何日か聞いてみます。
使用するモデルは、下記の通りです。
- gpt-3.5-turbo
- gpt-3.5-turbo-1106
- gpt-4
実験結果
それぞれのモデルで図の様な結果が得られました。
gpt-3.5-turboの結果
gpt-3.5-turboの結果
gpt-3.5-turbo-1106の結果
gpt-3.5-turbo-1106の結果
gpt-4の結果
gpt-4の結果
結論
どのモデルも今日は何日かを答えることはできませんでした。gpt-3.5-turbo,gpt-3.5-turbo-1106のモデルは、明確な日にちを回答しました。ですが、執筆時の日にちが2023年12月22日なので間違っていました。 トレーニングデータが影響してるのかと考えていましたが、gpt-3.5-turboのトレーニングデータは2021年の物（執筆当時）なので、トレーニングデータとは関係のない返答の様です。
おわりに
GPT APIは現在時刻を適切に把握していませんでした。GPT APIを使ったAIキャラクターをゲームなどに活用する際に、別途現在時刻を参照するプログラムを書いておく必要がありました。この記事を執筆して疑問に思うのは、現在が何日か分からないGPTに対して、過去のエピソードをFine-tuningするとそれは過去と認識するのでしょうか。
Discussion