🎳

Azure AI Foundryでモデル選定をする

に公開

はじめに

生成AIのモデル選定は2025/6時点で結構難しいと思います。
2024年まではgpt-4oをとりあえず使えば良いという状態から、gpt系だけでなくoシリーズも比較対象になっています。

モデル選定観点には、コスト、回答速度、精度が大きくあるかなと。
(コンテキスト長とかTPMの上限値、トークン生成速度などの差も細かくはあると思います)

モデル名 リリース日
o3-mini 2025-01-31
o4-mini 2025-04-16
o4-mini-high 2025-04-16
o3 2025-04-16
o3-pro 2025-06-10
gpt-image-1 2025-04-15
gpt-4.1 2025-04-14
gpt-4.1-nano 2025-04-14
gpt-4.1-mini 2025-04-14

まずはどのモデルを選ぶか比較するために、AI Foundryではモデルカタログで比較できます。

比較のページに辿り着く方法をメモします。

まずは、AI Foundryの一番上の階層まで行きます。
(プロジェクト選択状態から探すと迷子になります)

「完全なモデルカタログに移動する」のリンクから

「ランキングを探す」のトレードオフチャートで品質xコスト、品質xスループットがモデル選択して比較できます。

ここで、注意なのが、スループットが高いから応答速度も速いのでは?は一概に言えないみたいです。

スループット
1 秒あたりの出力トークン数。高い方が良い
要求がエンドポイントに送信された時点から 1 秒あたりに生成される出力トークンの数。

の記載がありますが、並列処理でエンドポイントにアクセスした場合、o3-miniの方がスループット高いのに、gpt-4.1の方が回答が速いということが発生しました。

そこで、「モデル比較」の方で見ると、「トレードオフチャート」とは別の観点でモデルを比較できます。

待機時間で見ると、gpt-4.1よりo3-miniの方が時間がかかることがわかります。

最終的には実際に実行してみて、生成されるトークン数なども比較しないとコストが低いとか速いとかは判断できませんが、

上記のようにAI Foundryのモデルカタログから、モデル比較ができるので、
コスト、待機時間、スループット、精度などで比較してモデル選択できます。

ヘッドウォータース

Discussion