o3-mini-highくんは、情報集能力も凄い!
o3-miniが出たと言うことで、主要3社のAPI情報を整理して貰おうと、以下のプロンプトで、o3-mini-high 単独と、PerplexityのR1使用、Perplexityのo3-mini使用のモードとに調べて貰いました。
(Gemini 1.5 Pro with Deep Reaserchは今不調らしくエラーになったので比較対象外としました。Feloも同じくエラーで弾かれたのでgoogleの検索系で何かおかしくなっているのでしょうか?)
結果は、o3-mini-highの圧勝です。
ただし、この結果からは、「Webから情報を探し出してまとめるリサーチ能力」が高いかどうかは分かりません。
「与えられたURLから十分な情報を取得して指示通りにまとめる能力」が高いということが分かったということです。(あとは、指定されたURLの情報を過不足なく読み込む能力ですね)
また、o3-mini-highにweb情報を読むように指示するには、以下のように「検索する」を有効にしておく必要があります(有効な時には、この画像のように、青色になります)
プロンプト
目的は、多種多様なLLMモデルの比較表を作成することです。
<urls>
* OpenAI
* https://platform.openai.com/docs/models
* https://openai.com/api/pricing/
* Anthropic
* https://docs.anthropic.com/en/docs/about-claude/models
* Google
* https://ai.google.dev/pricing
* https://ai.google.dev/gemini-api/docs/models/gemini?hl=ja
</urls>
上記のURLの情報を使って、LLMモデルの比較表を作成してください。
縦軸にモデルを置いて、横軸は、ベンダ、コンテキスト長、最大出力トークン数、ナレッジカットオフ、価格(入力)、価格(出力)、価格(キャッシュ)などを置いてください
モデル名は、後ろにリリース日つきの、例えば claude-3-5-sonnet-20241022 のようなモデル名も表に含めてください。同じモデルでも、リリース日によって価格や性能が変わっていることに注意してください。
すべてのモデルを漏れなく表に入れるようにしてください。入れるか入れないか判断に迷った場合は、表に入れてください。
o3-mini-hgih の回答
以下は、各ベンダー(OpenAI、Anthropic、Google)の提供する主要なLLMモデルについて、公開されている情報(各公式ドキュメント・価格ページ)に基づいて作成した比較表です。なお、以下の数値は各ページから抜粋した情報をもとにしており、一部(特にコンテキスト長や最大出力トークン数、ナレッジカットオフ)は明示されていないモデルもあります。また、同一モデルでもリリース日(バージョン)ごとに価格や性能が異なるため、各バリアントごとに個別の行を設けています。
※なお、ここでの「価格(入力)」「価格(出力)」「価格(キャッシュ)」はすべて【1Mトークンあたりの米ドル単価】です。
情報ソース: (OpenAI API Pricing), (Anthropicモデル比較ページ), (Google Gemini API Pricing)
1. OpenAI モデル比較表
A. GPT‑4o 系および派生モデル
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
gpt-4o | OpenAI | 約128K tokens | — | October 2023 | $2.50 | $10.00 | $1.25 |
gpt-4o-2024-11-20 | OpenAI | 約128K tokens | — | October 2023 | $2.50 | $10.00 | $1.25 |
gpt-4o-2024-08-06 | OpenAI | 約128K tokens | — | October 2023 | $2.50 | $10.00 | $1.25 |
gpt-4o-audio-preview | OpenAI | 約128K tokens (想定) | — | October 2023 | $2.50 (Text) | $10.00 (Text) | — (該当情報なし) |
gpt-4o-audio-preview-2024-12-17 | OpenAI | 約128K tokens (想定) | — | October 2023 | $2.50 (Text) | $10.00 (Text) | — |
gpt-4o-audio-preview-2024-10-01 | OpenAI | 約128K tokens (想定) | — | October 2023 | $2.50 (Text) | $10.00 (Text) | — |
gpt-4o-2024-05-13 | OpenAI | 約128K tokens | — | October 2023 | $5.00 | $15.00 | $2.50 |
B. GPT‑4o mini 系
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
gpt-4o-mini | OpenAI | (同上、約128K想定) | — | October 2023 | $0.150 | $0.600 | $0.075 |
gpt-4o-mini-2024-07-18 | OpenAI | 約128K tokens (想定) | — | October 2023 | $0.150 | $0.600 | $0.075 |
gpt-4o-mini-audio-preview | OpenAI | 約128K tokens (想定) | — | October 2023 | $0.150 (Text) | $0.600 (Text) | $0.075 (Text) |
gpt-4o-mini-audio-preview-2024-12-17 | OpenAI | 約128K tokens (想定) | — | October 2023 | $0.150 (Text) | $0.600 (Text) | $0.075 (Text) |
C. o1 系
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
o1 | OpenAI | 約200K tokens | — | October 2023 | $15.00 | $60.00 | $7.50 |
o1-2024-12-17 | OpenAI | 約200K tokens | — | October 2023 | $15.00 | $60.00 | $7.50 |
o1-preview | OpenAI | 約200K tokens | — | October 2023 | $15.00 | $60.00 | $7.50 |
o1-preview-2024-09-12 | OpenAI | 約200K tokens | — | October 2023 | $15.00 | $60.00 | $7.50 |
D. o3-mini 系
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
o3-mini | OpenAI | — (未公開) | — | — | $1.10 | $4.40 | $0.55 |
03-mini-2025-01-31 | OpenAI | — (未公開) | — | — | $1.10 | $4.40 | $0.55 |
E. 埋め込みモデル(Embedding)
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
text-embedding-3-small | OpenAI | — | — | — | $0.020 | $0.010 | — |
text-embedding-3-large | OpenAI | — | — | — | $0.130 | $0.065 | — |
ada v2 | OpenAI | — | — | — | $0.100 | $0.050 | — |
F. Fine-tuning 対象モデル
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
gpt-4o-2024-08-06 (fine-tuning) | OpenAI | 約128K tokens | — | October 2023 | $3.750 | $15.000 | $1.875 |
gpt-4o-mini-2024-07-18 (fine-tuning) | OpenAI | 約128K tokens (想定) | — | October 2023 | $0.300 | $1.200 | $0.150 |
gpt-3.5-turbo (fine-tuning) | OpenAI | 約4K tokens (想定) | — | — | $3.000 | $6.000 | $1.500 |
davinci-002 (fine-tuning) | OpenAI | — (未公開) | — | — | $12.000 | $12.000 | $6.000 |
babbage-002 (fine-tuning) | OpenAI | — (未公開) | — | — | $1.600 | $1.600 | $0.800 |
G. Realtime API 系
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
gpt-4o-realtime-preview | OpenAI | 約128K tokens (想定) | — | October 2023 | $5.00 | $20.00 | $2.50 |
gpt-4o-realtime-preview-2024-12-17 | OpenAI | 約128K tokens (想定) | — | October 2023 | $5.00 | $20.00 | $2.50 |
gpt-4o-realtime-preview-2024-10-01 | OpenAI | 約128K tokens (想定) | — | October 2023 | $5.00 | $20.00 | $2.50 |
gpt-4o-mini-realtime-preview | OpenAI | — (未公開) | — | — | $0.60 | $2.40 | $0.30 |
gpt-4o-mini-realtime-preview-2024-12-17 | OpenAI | — (未公開) | — | — | $0.60 | $2.40 | $0.30 |
H. その他のモデル
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
o1-mini-2024-09-12 | OpenAI | — (o3-mini 同等) | — | — | $1.10 | $4.40 | $0.55 |
chatgpt-4o-latest | OpenAI | 約128K tokens (想定) | — | October 2023 | $5.00 | $15.00 | — |
gpt-4-turbo | OpenAI | (ChatGPT-4 Turboは128K想定) | — | — | $10.00 | $30.00 | — |
gpt-4-turbo-2024-04-09 | OpenAI | (同上) | — | — | $10.00 | $30.00 | — |
gpt-4 | OpenAI | 約8K tokens | — | — | $30.00 | $60.00 | — |
gpt-4-32k | OpenAI | 32K tokens | — | — | $60.00 | $120.00 | — |
gpt-4-0125-preview | OpenAI | — (未公開) | — | — | $10.00 | $30.00 | — |
gpt-4-1106-preview | OpenAI | — (未公開) | — | — | $10.00 | $30.00 | — |
gpt-4-vision-preview | OpenAI | — (未公開) | — | — | $10.00 | $30.00 | — |
gpt-3.5-turbo-0125 | OpenAI | 約4K tokens (想定) | — | — | $0.50 | $1.50 | — |
gpt-3.5-turbo-instruct | OpenAI | — (未公開) | — | — | $1.50 | $2.00 | — |
gpt-3.5-turbo-1106 | OpenAI | — (未公開) | — | — | $1.00 | $2.00 | — |
gpt-3.5-turbo-0613 | OpenAI | 約4K tokens (想定) | — | — | $1.50 | $2.00 | — |
gpt-3.5-turbo-16k-0613 | OpenAI | 16K tokens | — | — | $3.00 | $4.00 | — |
gpt-3.5-turbo-0301 | OpenAI | — (未公開) | — | — | $1.50 | $2.00 | — |
2. Anthropic モデル比較表
A. 最新モデル
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
Claude 3.5 Sonnet (例: claude-3-5-sonnet-20241022 ) |
Anthropic | 200K tokens | 8192 | Apr 2024 | $3.00 | $15.00 | — |
Claude 3 Opus | Anthropic | 200K tokens | 4096 | Aug 2023 | $15.00 | $75.00 | — |
Claude 3 Sonnet | Anthropic | 200K tokens | 4096 | Aug 2023 | $3.00 | $15.00 | — |
Claude 3 Haiku | Anthropic | 200K tokens | 4096 | Aug 2023 | $0.25 | $1.25 | — |
B. レガシーモデル
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力) | 価格(出力) | 価格(キャッシュ) |
---|---|---|---|---|---|---|---|
Claude 2.1 | Anthropic | 200K tokens | 4096 | Early 2023 | $8.00 | $24.00 | — |
Claude 2.0 | Anthropic | 100K tokens | 4096 | Early 2023 | $8.00 | $24.00 | — |
Claude Instant 1.2 | Anthropic | 100K tokens | 4096 | Early 2023 | $0.80 | $2.40 | — |
3. Google Gemini モデル比較表
モデル名 | ベンダ | コンテキスト長 | 最大出力トークン数 | ナレッジカットオフ | 価格(入力)(基本・Prompts ≤128k) | 価格(出力)(基本・Prompts ≤128k) | 価格(キャッシュ)(基本・Prompts ≤128k) |
---|---|---|---|---|---|---|---|
Gemini 1.5 Flash | 約1,000,000 tokens | — | — | $0.075 | $0.30 | $0.01875 | |
Gemini 1.5 Flash-8B | 約1,000,000 tokens | — | — | $0.0375 | $0.15 | $0.01 | |
Gemini 1.5 Pro | 約2,000,000 tokens | — | — | $1.25 | $5.00 | $0.3125 | |
Gemini 1.0 Pro | (想定)約128K tokens | — | — | $0.50 | $1.50 | — (該当情報なし) | |
Text Embedding 004 | — | — | — | Free | Free | — |
※各モデルとも、プロンプト長(入力上限)については「Prompts up to 128k tokens」と記載がある場合もありますが、ここでは記述情報をもとに「コンテキスト長」として示しています。
情報ソース:
補足
-
コンテキスト長・最大出力トークン数
- OpenAI では、GPT‑4o や o1 は明示的にコンテキスト長が記載されていますが、その他のモデルは公式ドキュメント等で明示されていない場合「—」または想定値として記載しています。
- Anthropic の場合はすべてのモデルで大容量(100K~200K tokens)のコンテキスト窓が提供されています。
- Google Gemini はモデル毎に大規模なコンテキスト長(最大200万 tokens)を特徴としています。
-
ナレッジカットオフ
- OpenAI の GPT‑4o 系は October 2023、Anthropic の最新モデルは2023年~2024年前半のデータを用いています。Google では明示されていません。
-
価格
- 価格情報は各種バッチAPI利用時の数値となっており、リアルタイムAPIなどでは別途異なる料金体系が適用される場合があります。
以上の比較表は、各公式URLから得られた情報をもとに作成しています。各モデルの最新情報や詳細な仕様については、各公式ドキュメント(OpenAI: 、Anthropic: 、Google: )をご参照ください。
Discussion