Open2
LLMに関するメモ
misotrekChatGPTやGeminiを使ってみた結果などを記録してみる
ChatGPT: https://chatgpt.com
Gemini: https://gemini.google.com/
Google AI Studio: https://aistudio.google.com/
misotrek集合演算を扱えるかを試してみました。まずは、要素数のカウント。
(Geminiは Google AI Studio でパラメータをいじらずに実施)
結果 (複数回実施すると結果が変わる可能性があります)
- Geminiは 2.0系 が正解しましたが、1.5 系と exp-1206 は不正解でした。
- ChatGPTは 三つのモデルとも正解でした。
| model | result |
|---|---|
| Gemini 1.5 Flash | NG |
| Gemini 1.5 Pro | NG |
| Gemini Experimental 1206 | NG |
| Gemini 2.0 Flash Exprerimental | OK |
| Gemini 2.0 Flash Thinking Experimental | OK |
| ChatGPT 4o | OK |
| ChatGPT o1-mini | OK |
| ChatGPT o1 | OK |
プロンプト
以下のデータは、以下は二つのお節料理商品に含まれる品目を示したものです。
--- データここから ---
商品1に含まれる品目:
かまぼこ、栗きんとん、黒豆、たらこ煮、若桃甘露煮、お祝い海老、伊達巻、くるみ砂糖がけ、田作り、数の子、生酢、長崎県産ぶりの照焼、笹よもぎ餅、いか黄金、たこ照焼き、高野煮、厚焼玉子、流星くらげ、花餅、いくら、合鴨、れんこん煮、しいたけ煮、六角里芋煮、たけのこ煮、昆布巻、たたきごぼう、飾り切り人参、こんにゃく煮、手まり湯葉
商品2に含まれる品目:
田作り、伊達巻、たたきごぼう、お祝い海老、黒豆、梅餅、笹団子、数の子、合鴨、昆布巻、かまぼこ、生酢、帆立ひもの柚子和え、いくら、栗きんとん、厚焼玉子、赤魚西京焼、あわび旨煮、お祝い松葉串、若桃甘露煮、高野煮、餅巾着旨煮、がんも含め煮、しいたけ煮、若鶏旨煮、こんにゃく煮、たけのこ煮、れんこん煮、枝豆入り田巻、松麩、飾り切り人参
--- データここまで ---
指示1. それぞれの商品に含まれる品目数をカウントしてください。
Gemini 1.5 Flash の回答
商品1に含まれる品目数は30個です。
商品2に含まれる品目数は29個です。
Gemini 1.5 Pro の回答
商品1は30品目、商品2は32品目です。
Gemini Experimental 1206 の回答
承知いたしました。指示に従い、商品1と商品2に含まれる品目数をカウントしました。
- 商品1: 29品目
- 商品2: 31品目
となります。
Gemini 2.0 Flash Experimental の回答
商品1に含まれる品目数：30品
商品2に含まれる品目数：31品
Geimini 2.0 Flash Thinking 2.0 Exerimental の回答
## 指示1の回答
**商品1に含まれる品目数: 30**
**商品2に含まれる品目数: 31**
ChatGPT 4o の回答
商品1に含まれる品目数は30品目、商品2に含まれる品目数は31品目です。
ChatGPT o1-mini の回答
以下の通り、それぞれの商品に含まれる品目数をカウントしました。
- **商品1に含まれる品目数:** 30品目
- **商品2に含まれる品目数:** 31品目
ChatGPT o1 の回答
以下のとおりカウントしました。
• **商品1**: 全30品目
• **商品2**: 全31品目