🤖

o3-mini-highくんは、情報集能力も凄い!

2025/02/01に公開

o3-miniが出たと言うことで、主要3社のAPI情報を整理して貰おうと、以下のプロンプトで、o3-mini-high 単独と、PerplexityのR1使用、Perplexityのo3-mini使用のモードとに調べて貰いました。
(Gemini 1.5 Pro with Deep Reaserchは今不調らしくエラーになったので比較対象外としました。Feloも同じくエラーで弾かれたのでgoogleの検索系で何かおかしくなっているのでしょうか?)

結果は、o3-mini-highの圧勝です。

ただし、この結果からは、「Webから情報を探し出してまとめるリサーチ能力」が高いかどうかは分かりません。
「与えられたURLから十分な情報を取得して指示通りにまとめる能力」が高いということが分かったということです。(あとは、指定されたURLの情報を過不足なく読み込む能力ですね)

また、o3-mini-highにweb情報を読むように指示するには、以下のように「検索する」を有効にしておく必要があります(有効な時には、この画像のように、青色になります)

プロンプト

目的は、多種多様なLLMモデルの比較表を作成することです。

<urls>
* OpenAI
   * https://platform.openai.com/docs/models
   * https://openai.com/api/pricing/
* Anthropic
   * https://docs.anthropic.com/en/docs/about-claude/models
* Google
   * https://ai.google.dev/pricing
   * https://ai.google.dev/gemini-api/docs/models/gemini?hl=ja
</urls>

上記のURLの情報を使って、LLMモデルの比較表を作成してください。
縦軸にモデルを置いて、横軸は、ベンダ、コンテキスト長、最大出力トークン数、ナレッジカットオフ、価格(入力)、価格(出力)、価格(キャッシュ)などを置いてください
モデル名は、後ろにリリース日つきの、例えば claude-3-5-sonnet-20241022 のようなモデル名も表に含めてください。同じモデルでも、リリース日によって価格や性能が変わっていることに注意してください。
すべてのモデルを漏れなく表に入れるようにしてください。入れるか入れないか判断に迷った場合は、表に入れてください。

o3-mini-hgih の回答

以下は、各ベンダー(OpenAI、Anthropic、Google)の提供する主要なLLMモデルについて、公開されている情報(各公式ドキュメント・価格ページ)に基づいて作成した比較表です。なお、以下の数値は各ページから抜粋した情報をもとにしており、一部(特にコンテキスト長や最大出力トークン数、ナレッジカットオフ)は明示されていないモデルもあります。また、同一モデルでもリリース日(バージョン)ごとに価格や性能が異なるため、各バリアントごとに個別の行を設けています。

※なお、ここでの「価格(入力)」「価格(出力)」「価格(キャッシュ)」はすべて【1Mトークンあたりの米ドル単価】です。
情報ソース: (OpenAI API Pricing), (Anthropicモデル比較ページ), (Google Gemini API Pricing)


1. OpenAI モデル比較表

A. GPT‑4o 系および派生モデル

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
gpt-4o OpenAI 約128K tokens October 2023 $2.50 $10.00 $1.25
gpt-4o-2024-11-20 OpenAI 約128K tokens October 2023 $2.50 $10.00 $1.25
gpt-4o-2024-08-06 OpenAI 約128K tokens October 2023 $2.50 $10.00 $1.25
gpt-4o-audio-preview OpenAI 約128K tokens (想定) October 2023 $2.50 (Text) $10.00 (Text) — (該当情報なし)
gpt-4o-audio-preview-2024-12-17 OpenAI 約128K tokens (想定) October 2023 $2.50 (Text) $10.00 (Text)
gpt-4o-audio-preview-2024-10-01 OpenAI 約128K tokens (想定) October 2023 $2.50 (Text) $10.00 (Text)
gpt-4o-2024-05-13 OpenAI 約128K tokens October 2023 $5.00 $15.00 $2.50

B. GPT‑4o mini 系

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
gpt-4o-mini OpenAI (同上、約128K想定) October 2023 $0.150 $0.600 $0.075
gpt-4o-mini-2024-07-18 OpenAI 約128K tokens (想定) October 2023 $0.150 $0.600 $0.075
gpt-4o-mini-audio-preview OpenAI 約128K tokens (想定) October 2023 $0.150 (Text) $0.600 (Text) $0.075 (Text)
gpt-4o-mini-audio-preview-2024-12-17 OpenAI 約128K tokens (想定) October 2023 $0.150 (Text) $0.600 (Text) $0.075 (Text)

C. o1 系

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
o1 OpenAI 約200K tokens October 2023 $15.00 $60.00 $7.50
o1-2024-12-17 OpenAI 約200K tokens October 2023 $15.00 $60.00 $7.50
o1-preview OpenAI 約200K tokens October 2023 $15.00 $60.00 $7.50
o1-preview-2024-09-12 OpenAI 約200K tokens October 2023 $15.00 $60.00 $7.50

D. o3-mini 系

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
o3-mini OpenAI — (未公開) $1.10 $4.40 $0.55
03-mini-2025-01-31 OpenAI — (未公開) $1.10 $4.40 $0.55

E. 埋め込みモデル(Embedding)

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
text-embedding-3-small OpenAI $0.020 $0.010
text-embedding-3-large OpenAI $0.130 $0.065
ada v2 OpenAI $0.100 $0.050

F. Fine-tuning 対象モデル

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
gpt-4o-2024-08-06 (fine-tuning) OpenAI 約128K tokens October 2023 $3.750 $15.000 $1.875
gpt-4o-mini-2024-07-18 (fine-tuning) OpenAI 約128K tokens (想定) October 2023 $0.300 $1.200 $0.150
gpt-3.5-turbo (fine-tuning) OpenAI 約4K tokens (想定) $3.000 $6.000 $1.500
davinci-002 (fine-tuning) OpenAI — (未公開) $12.000 $12.000 $6.000
babbage-002 (fine-tuning) OpenAI — (未公開) $1.600 $1.600 $0.800

G. Realtime API 系

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
gpt-4o-realtime-preview OpenAI 約128K tokens (想定) October 2023 $5.00 $20.00 $2.50
gpt-4o-realtime-preview-2024-12-17 OpenAI 約128K tokens (想定) October 2023 $5.00 $20.00 $2.50
gpt-4o-realtime-preview-2024-10-01 OpenAI 約128K tokens (想定) October 2023 $5.00 $20.00 $2.50
gpt-4o-mini-realtime-preview OpenAI — (未公開) $0.60 $2.40 $0.30
gpt-4o-mini-realtime-preview-2024-12-17 OpenAI — (未公開) $0.60 $2.40 $0.30

H. その他のモデル

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
o1-mini-2024-09-12 OpenAI — (o3-mini 同等) $1.10 $4.40 $0.55
chatgpt-4o-latest OpenAI 約128K tokens (想定) October 2023 $5.00 $15.00
gpt-4-turbo OpenAI (ChatGPT-4 Turboは128K想定) $10.00 $30.00
gpt-4-turbo-2024-04-09 OpenAI (同上) $10.00 $30.00
gpt-4 OpenAI 約8K tokens $30.00 $60.00
gpt-4-32k OpenAI 32K tokens $60.00 $120.00
gpt-4-0125-preview OpenAI — (未公開) $10.00 $30.00
gpt-4-1106-preview OpenAI — (未公開) $10.00 $30.00
gpt-4-vision-preview OpenAI — (未公開) $10.00 $30.00
gpt-3.5-turbo-0125 OpenAI 約4K tokens (想定) $0.50 $1.50
gpt-3.5-turbo-instruct OpenAI — (未公開) $1.50 $2.00
gpt-3.5-turbo-1106 OpenAI — (未公開) $1.00 $2.00
gpt-3.5-turbo-0613 OpenAI 約4K tokens (想定) $1.50 $2.00
gpt-3.5-turbo-16k-0613 OpenAI 16K tokens $3.00 $4.00
gpt-3.5-turbo-0301 OpenAI — (未公開) $1.50 $2.00

2. Anthropic モデル比較表

A. 最新モデル

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
Claude 3.5 Sonnet
(例: claude-3-5-sonnet-20241022)
Anthropic 200K tokens 8192 Apr 2024 $3.00 $15.00
Claude 3 Opus Anthropic 200K tokens 4096 Aug 2023 $15.00 $75.00
Claude 3 Sonnet Anthropic 200K tokens 4096 Aug 2023 $3.00 $15.00
Claude 3 Haiku Anthropic 200K tokens 4096 Aug 2023 $0.25 $1.25

B. レガシーモデル

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力) 価格(出力) 価格(キャッシュ)
Claude 2.1 Anthropic 200K tokens 4096 Early 2023 $8.00 $24.00
Claude 2.0 Anthropic 100K tokens 4096 Early 2023 $8.00 $24.00
Claude Instant 1.2 Anthropic 100K tokens 4096 Early 2023 $0.80 $2.40

3. Google Gemini モデル比較表

モデル名 ベンダ コンテキスト長 最大出力トークン数 ナレッジカットオフ 価格(入力)(基本・Prompts ≤128k) 価格(出力)(基本・Prompts ≤128k) 価格(キャッシュ)(基本・Prompts ≤128k)
Gemini 1.5 Flash Google 約1,000,000 tokens $0.075 $0.30 $0.01875
Gemini 1.5 Flash-8B Google 約1,000,000 tokens $0.0375 $0.15 $0.01
Gemini 1.5 Pro Google 約2,000,000 tokens $1.25 $5.00 $0.3125
Gemini 1.0 Pro Google (想定)約128K tokens $0.50 $1.50 — (該当情報なし)
Text Embedding 004 Google Free Free

※各モデルとも、プロンプト長(入力上限)については「Prompts up to 128k tokens」と記載がある場合もありますが、ここでは記述情報をもとに「コンテキスト長」として示しています。
情報ソース:


補足

  • コンテキスト長・最大出力トークン数

    • OpenAI では、GPT‑4o や o1 は明示的にコンテキスト長が記載されていますが、その他のモデルは公式ドキュメント等で明示されていない場合「—」または想定値として記載しています。
    • Anthropic の場合はすべてのモデルで大容量(100K~200K tokens)のコンテキスト窓が提供されています。
    • Google Gemini はモデル毎に大規模なコンテキスト長(最大200万 tokens)を特徴としています。
  • ナレッジカットオフ

    • OpenAI の GPT‑4o 系は October 2023、Anthropic の最新モデルは2023年~2024年前半のデータを用いています。Google では明示されていません。
  • 価格

    • 価格情報は各種バッチAPI利用時の数値となっており、リアルタイムAPIなどでは別途異なる料金体系が適用される場合があります。

以上の比較表は、各公式URLから得られた情報をもとに作成しています。各モデルの最新情報や詳細な仕様については、各公式ドキュメント(OpenAI: 、Anthropic: 、Google: )をご参照ください。

Discussion