🌟
GPT-4.1にAWS Certified Solutions Architect - Professionalの想定問題を解かせてみた
はじめに
以下の記事で GPT-4o を用いて AWS Certified Solutions Architect - Professional の模擬試験を解きました。
この記事では、GPT-4.1 や o3-mini, o4-mini を用いて同様の検証を行った結果を報告します。
検証内容
検証内容は前回と同様で、AWS Certified Solutions Architect - Professional の模擬試験を解かせるというものです。問題は全て日本語の選択式で単一選択や複数選択の形式があります。
今回利用したデータについて公開の予定はありません。
検証結果
| モデル | 正答率 | |
|---|---|---|
| gpt-4o | 83% | 前回の結果 |
| gpt-4o-mini | 47% | 前回の結果 |
| gpt-4.1 | 83% | |
| gpt-4.1-mini | 67% | |
| gpt-4.1-nano | 55% | |
| o3-mini | 88% | |
| o4-mini | 86% |
gpt4.1 と gpt4o の正答率は同じです。o3-mini や o4-mini は gpt4o よりも高い正答率となりました。
まとめ
OpenAI の新しいモデルでも、AWS Certified Solutions Architect - Professional の模擬試験を解いて正答率を測定しました。gpt4o と gpt4.1 の正答率は同じでしたが、o3-mini や o4-mini は gpt4o よりも高い正答率を示しました。ChatGPT に AWS の質問をする際は、o3-mini や o4-mini を利用するのが良いかもしれません。
Discussion