背景
こんにちは
日常的にLLM（GPT、Geminiなど）を利用しているエンジニアの方であれば、「こういうことしたいんだけど、どのLLM使ったらいいんだろう...」と考えたことある人、少なくないんじゃないでしょうか
本記事では、そんなLLMに関する疑問を、複数のLLMを用いて調査していきます！
私たちの研究室(Nislab)
アドベントカレンダー 14 日目~
まず結論！！
最初に結論言っちゃいます！
調査結果は、以下のようになりました
| 用途 | 候補1 | 候補2 |
|---|---|---|
| コード生成・補完（コーディング支援） | Claude | GPT |
| コードレビュー・自動スタイル/リファクタ提案 | Claude | GPT |
| テスト生成・テスト自動化（ユニット／統合テストの生成） | GPT | Llama |
| バグ診断・デバッグ支援（ログ解析・原因候補提示） | GPT | Claude |
| ドキュメンテーション自動化（README、API仕様、コメント生成） | GPT | Gemini |
| 要件定義・設計支援（要求工学の補助） | GPT | Claude |
| ナレッジ管理・社内検索（RAG／コンテキスト工学） | GPT | Claude |
| DevOps・インフラ自動化（IaC生成、CI/CD記述、運用ランブック作成） | GPT | Gemini, DeepSeek, Claude |
| セキュリティ支援（脆弱性検出・脅威モデリング補助） | GPT | Llama |
| 自律化エージェント／ワークフロー自動化（LLMを複数agentで連携） | Claude | GPT |
調査方法
（注）本記事において、LLMの名称はかなり省略しています（例：GPT-4o, GPT-5などはまとめて「GPT」と表記）
1. GPTに以下のプロンプトを入力
あなたは、エンジニアによるLLM活用に関する専門家です
エンジニアによるLLMの主要な活用法10選を列挙してください
列挙にあたっては、2025年に執筆された文献を参考にし、参考にした文献も明示してください
実行結果（一部）は以下のとおり
エンジニアによるLLM活用法 10選（2025年文献参照）
1. コード生成・補完（コーディング支援）
• 自然言語や部分的なコードから関数やクラスを生成したり、IDE内で補完を行う。生産性向上とボイラープレート削減が主要効果。企業の実務アンケートでも最上位のユースケース。 
2. コードレビュー・自動スタイル/リファクタ提案
• 変更差分（diff）を解析してバグになりうる変更を指摘、可読性や設計観点でのリファクタ案を提示するツールとして利用。研究レビューでもSE向けの主要応用として整理されている。 
3. テスト生成・テスト自動化（ユニット／統合テストの生成）
• 関数仕様や既存コードからユニットテストを生成し、テストカバレッジ向上や回帰検出を支援。CIパイプラインに組み込まれる事例が増加。 
4. バグ診断・デバッグ支援（ログ解析・原因候補提示）
• 例外スタック・ログ・コアダンプなどから原因の候補や再現手順、パッチ案まで提示する。人の調査工数削減に有効だが誤誘導リスクの管理が重要。 
5. ドキュメンテーション自動化（README、API仕様、コメント生成）
• ソースや仕様からドキュメントを自動生成／更新。開発者オンボーディングと運用保守を楽にする用途で広く使われている。 
6. 要件定義・設計支援（要求工学の補助）
• 自然言語の要求から構造化された要件案、UMLや設計パターン候補、トレードオフ分析を生成。要件の曖昧さ検出やユーザーストーリーの整備で有用。要件工学分野での体系的レビューも進んでいる。 
7. ナレッジ管理・社内検索（RAG／コンテキスト工学）
• ドキュメント、社内Wiki、設計履歴をLLMで検索・要約（Retrieval-Augmented Generation）。Context Engineering（コンテキスト設計）の重要性が指摘され、エンジニアリング知識の即時活用に寄与。 
8. DevOps・インフラ自動化（IaC生成、CI/CD記述、運用ランブック作成）
• Terraform/CloudFormation等のIaCテンプレートやCIスクリプトの生成・修正、運用手順（ランブック）の自動作成で運用負荷を低減。プロダクション導入事例が増えている。 
9. セキュリティ支援（脆弱性検出・脅威モデリング補助）
• コードや構成ファイルから既知の脆弱性パターンを検出し、脅威モデリングや対策案を出す。ただし「プロンプトインジェクション」等、LLM固有のリスク（出力改ざん・誤誘導）への注意が必要。 
10. 自律化エージェント／ワークフロー自動化（LLMを複数agentで連携）
• 複数のLLMエージェントが連携して要件→実装→テスト→デプロイのワークフローを自動化する研究と実装が活発化している。特に複雑タスクの分割・オーケストレーション分野で期待されている。 
2. GPT, Gemini, Claudeに以下のプロンプトを入力
あなたは、エンジニアによるLLM活用に関する専門家です
以下は、エンジニアによるLLMの主要な活用法10選です
各活用法において最適と考えられるLLMを2つずつ列挙してください
列挙にあたっては、2025年に執筆された文献を参考にし、参考にした文献も明示してください
1 コード生成・補完（コーディング支援）
2 コードレビュー・自動スタイル/リファクタ提案
3 テスト生成・テスト自動化（ユニット／統合テストの生成）
4 バグ診断・デバッグ支援（ログ解析・原因候補提示）
5 ドキュメンテーション自動化（README、API仕様、コメント生成）
6 要件定義・設計支援（要求工学の補助）
7 ナレッジ管理・社内検索（RAG／コンテキスト工学）
8 DevOps・インフラ自動化（IaC生成、CI/CD記述、運用ランブック作成）
9 セキュリティ支援（脆弱性検出・脅威モデリング補助）
10 自律化エージェント／ワークフロー自動化（LLMを複数agentで連携）
実行結果は以下のとおり
| 活用法 | GPTの回答 | Geminiの回答 | Claudeの回答 |
|---|---|---|---|
| 1 | GPT, Llama | Claude, DeepSeek | Claude, GPT |
| 2 | GPT, Claude | Claude, Qwen | Claude, GPT |
| 3 | GPT, Llama | GPT, o1 | GPT, Llama |
| 4 | GPT, Llama | o1, Claude | GPT, Claude |
| 5 | GPT, Gemini | Gemini, GPT | GPT, Llama |
| 6 | GPT, Claude | GPT, Llama | GPT, Claude |
| 7 | GPT, Claude | Command R+, Gemini | GPT, Claude |
| 8 | GPT, Gemini | DeepSeek, GPT | GPT, Claude |
| 9 | GPT, Llama | GPT, Llama | GPT, Claude |
| 10 | GPT, Claude | Claude, o3 | GPT, Claude |
GPTがやたらGPTをおすすめしてきます笑
ClaudeもClaude推しがすごい笑
その点Geminiは謙虚（？）ですね
3. 2.の結果を元に、各活用法において最適と思われるLLMを2個ずつ選定
選定方法はシンプルに、多数決です
活用法8に関してはGPTの次点が決まらず
おわりに
今回は複数のLLMを使って、「こういうことしたいときってどのLLM使ったらいいの？」を調査しました
用途にあったLLMを適切に選択しながら、開発・作業効率を向上させていきたいですね
Discussion