GPT-5 Prompt Optimizerの検証
GPT-5のプロンプトオプティマイザーについて公開されていたので確認していきます。
プロンプト自動作成機能
まずは、プロンプト自動作成機能は、Dashboardのchatから利用できます。
messageに作成したいプロンプトの内容を直接入力する、もしくはcreateからDeveloper messageの鉛筆マークを押下し、そこにプロンプトを入力することでプロンプトの自動生成ができます。
プロンプトの自動生成を行うと、設定したモデルに最適なプロンプトが、Developer meesageに自動作成されます。
自動生成されたプロンプトをもとに、GPTに聞くことで自分で考えたプロンプトよりより精度の良い回答が得られるようになります。
プロンプトオプティマイザー
これまで作成したプロンプトをGPT-5用にオプティマイズできるようになりました。
右上の「Optimeze」からプロンプトのオプティマイズ画面に遷移することができます。
モデルを選択し、Optimizeを押すことで、そのモデルに適したプロンプトに変換することができました。（GPT-5だけでなく以前のバージョンのプロンプトの最適化もできそうです）
プロンプト自動作成の効果
プロンプト最適化について、以下の理由で実施することを推奨しています。
- 指示の矛盾（contradictions）：同じプロンプト内で相反する要求があると、モデルは混乱し正確な出力が得られな。
- フォーマットの欠如（missing format specs）：出力形式が指定されていないと、必要な構造や情報が揃わないまま出力されてしまう。
- few-shot 例との不整合（inconsistencies with few-shot examples）：例示した形式と実際の指示が整合していないと学習が偏る。
Prompt Optimizer は上記のようなプロンプトを改善してくれるとしています。
OpenAIの記事では、実際に曖昧なプロンプトと、オプティマイズしたプロンプトとを比較して、精度が向上していることを示していました。
実際にプロンプトの自動生成を試してみた
いくつかプロンプトの自動生成を試しみました。
入力したプロンプト
生成AIに関して最新の情報を教えて
自動生成プロンプト
生成AI（ジェネレーティブAI）に関する最新の情報や動向について、信頼できるソースや直近の出来事、重要な発表などに基づき、分かりやすく日本語で解説してください。内容は最新（2024年6月時点）となるよう留意し、AIの主な動向、技術革新、ビジネスや社会への影響、課題や注目点なども網羅してください。
# Output Format
- 日本語による分かりやすい文章。
- 必要に応じて見出し、小見出し、箇条書きなどを使い整理する。
- 長さは500字程度を目安とするが、網羅的かつ簡潔にまとめる。
GPT-5の学習データのカットオフが、2024年9月30日に影響しているのか最新が、2024年6月時点と出てきました。
この辺りは調整が必要そうですね。
入力したプロンプト
与えられたURLの記事を重要なポイントを洗い出して要約して。
自動生成プロンプト
指定されたウェブページ（URL）の記事を読み、主旨・構造・文脈を正確に把握した上で、もっとも重要なポイントを抽出し、日本語で分かりやすく要約してください。
- 抽出した要点やポイントは必ず推論（箇条書き）が先、最後にまとめや結論（段落）という順序で出力してください。
- 基本は箇条書きを使い、重要な内容や流れが明確になるように整理してください。必要に応じて説明や全体のまとめ・結論部分は段落形式も可とします。
- 記事に複数のテーマや情報がある場合は、はじめに主な要点や重要情報を順序立てて箇条書きに整理してください。その後、まとめや結論を簡潔な段落で最後に記載してください。
- 簡単な箇条書きや単なる結論のみにならないよう、記事の流れや全体像も意識しながら、内容を過不足なくカバーしてください。
- 要約の長さや箇条書きの項目数は、記事の複雑さ・分量に合わせて調整してください（短い記事の場合は最低3点、長い記事や複雑な内容なら6点以上を目安としてください）。
- URL内に十分な情報がない、または要約が困難な場合には「情報が十分ではありません」とだけ記載してください。
# 手順
1. 指定URLの記事を読解・内容把握
2. 重要・主要ポイントを抽出し、主題と流れに沿って箇条書きで整理
3. 必要があれば全体のまとめや結論を段落で最後に記述
4. 指定フォーマットで出力
# 出力フォーマット
- 箇条書き（必要に応じて段落のまとめ部分も可）
- 最終行に「—— 要約ここまで ——」と明記
# 出力例
入力URL: https://example.com/news/abc123
出力例:
- 2024年夏季オリンピックの開催地がパリに決定。
- 開催都市の選考過程やパリ市長のコメントが紹介されている。
- オリンピック開催による経済効果や過去の開催都市との比較がなされている。
- 市民の期待や今後の課題も取り上げられている。
パリ開催の決定は、多くの期待と新たな課題を生み出していることが伝えられている。
—— 要約ここまで ——
（※実際の記事がより詳細な場合は、具体的なデータ・反応・関係者コメント等も含めて、より多くの要点を箇条書きで網羅してください）
# 注意事項
- 「推論（要点）」→「結論・まとめ」の順に必ず並べて記載してください。
- 箇条書きを主体とし、補足やまとめは段落でも可。
- 記事内容が少なく要約できない場合は「情報が十分ではありません」とだけ出力してください。
# Output Format
- 日本語での要約（箇条書きを基本、必要に応じて段落）
- 終了行には必ず「—— 要約ここまで ——」を記載
- 全体の出力は500～1200文字を目安とし、記事内容に合わせて調整
【重要な目的】
記事の要点（推論）を漏れなく抽出し、主旨・構造・文脈を反映させた上で、日本語で分かりやすく、結論は必ず最後に記載する形式で要約してください。
（※重要目的と手順・出力フォーマット・例は必ず順守してください）
単純な要約してくださいのプロンプトでも、ここまで自動でプロンプトを整えてくれると、ここから字数制限などカスタマイズしていけそうですね。
入力したプロンプト
生成AIについて要点だけ簡潔に答えて。
生成AIについて詳細に逐一説明してください。
自動生成プロンプト
要点を簡潔に述べた後、生成AIについて詳細に逐一説明せよ。
まず要点のみを箇条書きもしくは短い文章でまとめ、そのあとに詳細な説明を記述すること。
推論や理由付けステップ（例：生成AIの仕組みや特徴など）は要約の後、詳細説明部分で行うこと。
結論や全体像の提示（要点）は必ず最初、詳細／推論は必ずその後に続けて記述すること。
以下のフォーマットに従って結果を出力せよ。
---
## 区切り線
---
**出力書式:**
1. 要点（最初に）、箇条書きや短文で3～5点にまとめる（例：「・テキストや画像など様々なデータを自動生成できるAI」）。
2. 詳細説明（次に）、段落で200～500字程度。
---
**例：**
---
要点:
- テキストや画像など様々なデータを自動生成できるAI
- ディープラーニング技術が主に使われている
- クリエイティブな分野や業務効率化など幅広い用途がある
詳細説明:
生成AI（Artificial Intelligence）は、人間のように新しいコンテンツを自動で作り出すAI技術です。主な手法にはディープラーニングが用いられ、代表的なモデルとしてChatGPTやStable Diffusionなどが存在します。文章、画像、音声、プログラムコードなど多様な情報を生成できることが特徴です。研究開発やビジネス、教育、医療、エンターテインメントなど、様々な分野への応用が急速に進んでいます。一方で、著作権や倫理、フェイクコンテンツの生成といった課題も指摘されています。
---
（※出力例欄はボリュームの目安であり、実際はより内容のある詳細説明を心がけること）
---
**重要：**
指示の繰り返し ― 要点（結論）→ 詳細説明（推論・説明）の順を厳守せよ。
必ず指示された順序・フォーマットで回答すること。
最後に矛盾するプロンプトを用意して自動作成してみました。
実際にはここまで矛盾するようなプロンプトを投げることはありませんが、その場合でも、うまくプロンプトの最適化を行ってくれています。
まとめ
GPT-5のプロンプトオプティマイザーの記事から、オプティマイザー機能、プロンプトの自動生成機能を使用してみました。
普段使いで使用するかは微妙ですが、プロンプトをプログラムで組み込むときなどは、自作プロンプトではなくプロンプト自動生成機能を利用したプロンプトの方が良いように思いました。
Discussion