📚

【検証】AWS Documentation MCP Serverを使ってClaudeにクラウドプラクティショナーの問題を解かせてみた

に公開

はじめに

こんにちは或いはこんばんは。Ryuzakiです。

皆さんAWSの認定資格試験の対策ってどのように行っていますか?私は基本的に書籍+AWS Skill BuilderやUdemyで提供されている問題集を用いて学習してきました。ただ、これらの問題集(特にUdemyなどで提供されているもの)は解説が不親切だったり、情報が古かったりして、解答が誤っているケースもよく見られます。

そこで、AWSがOSS公開したMCPサーバーの1つであるAWS Documentation MCP Serverを利用すれば、こういった問題を解決できるのではと思い、実際に試してみました。この記事では、その検証の結果について共有したいと思います。

MCPとは

MCPとは「Model Context Protocol」の略で、Anthropicが2024年11月に発表した生成AIモデルに文脈情報を渡しやすくするための技術規格です。よくAIアプリにとってのUSB Type-Cという風に説明されてたりしますね。
https://modelcontextprotocol.io/introduction

Clineで早急に対応されたことや2025年3月にOpenAI Agents SDKでも利用可能になったこともあり、今では多くのツールとの連携を行うMCPサーバーが開発されています。

MCPの詳細や利用事例に関しては以下の資料がわかりやすいため、説明はこちらに委ねます。
https://zenn.dev/kazuwombat/articles/d8789724f10092
https://speakerdeck.com/minorun365/yasasiimcpru-men

AWS Documentation MCP Serverとは

AWS Documentation MCP Serverは、AWSがOSS公開したMCPサーバーの1つで、GitHubで公開されています。
https://github.com/awslabs/mcp

主に以下の3つの機能を持っています。

  1. Search Documentation: 公式の検索APIを用いてAWSドキュメントを検索
  2. Read Documentation: 指定したURLのAWSドキュメントをMarkdown形式で取得
  3. Recommendations: 指定したURLに関連するドキュメントの一覧を取得

詳細や利用方法に関しては公式のREADMEを参照してください。
https://github.com/awslabs/mcp/blob/main/src/aws-documentation-mcp-server/README.md

検証環境

今回の検証環境は以下の通りです。

  • OS: macOS Sequoia 15.4.1
  • MCPホスト: Claude Desktop (0.9.2)
  • モデル: Claude 3.7 Sonnet

検証対象としては、AWS Skill Builderで提供されているクラウドプラクティショナーの公式練習問題集を使用しました。

https://explore.skillbuilder.aws/learn/courses/16792/aws-certified-cloud-practitioner-official-practice-question-set-clf-c02-ri-ben-yu

プロンプトの設計

AWS Documentation MCP Serverを用いた場合と用いなかった場合で結果を比較するために、以下の2種類のプロンプトを用意しました。

AWS Documentation MCP Serverを用いた場合のプロンプト
あなたはAWSの認定資格試験対策のためのアシスタントです。これから私が共有するAWS認定試験の問題に対して、正確な解答と詳細な解説を提供してください。

## 作業手順

1. まず私が共有するAWSの試験問題を読み、内容を十分に理解してください。

2. 問題に対する解答を作成する前に、**必ずAWS Documentation**から最新の情報を検索してください。自身の知識だけで解答せず、常に公式資料に基づいた正確な情報を提供してください。

3. 各問題に対して以下の形式で回答してください:
   * 正解(根拠とともに明示)
   * 詳細解説(AWS公式ドキュメントを参照した内容を含む)
   * 参考資料のリンク

4. AWS Documentationで検索した内容は必ず引用し、どの資料からの情報かを明記してください。

5. 必要に応じて、解説の中で関連するAWSサービスやベストプラクティスについても触れてください。

## 注意点

* 複数の選択肢が正解となる可能性がある場合は、それぞれの選択肢について吟味し、最も適切な解答を選んでください。
* 解説はAWS初心者でも理解できるよう、専門用語は必要に応じて説明を加えてください。
* 曖昧な表現を避け、具体的かつ明確な説明を心がけてください。

## AWS試験問題

\```text
[対象の問題と選択肢を記載]
\```

それでは、上記の手順に従って解答と解説をお願いします。
AWS Documentation MCP Serverを用いなかった場合のプロンプト
あなたはAWSの認定資格試験対策のためのアシスタントです。これから私が共有するAWS認定試験の問題に対して、正確な解答と詳細な解説を提供してください。

## 作業手順

1. まず私が共有するAWSの試験問題を読み、内容を十分に理解してください。

2. 各問題に対して以下の形式で回答してください:
   * 正解(根拠とともに明示)
   * 詳細解説

## 注意点

* 複数の選択肢が正解となる可能性がある場合は、それぞれの選択肢について吟味し、最も適切な解答を選んでください。
* 解説はAWS初心者でも理解できるよう、専門用語は必要に応じて説明を加えてください。
* 曖昧な表現を避け、具体的かつ明確な説明を心がけてください。

## AWS試験問題

\```text
[対象の問題と選択肢を記載]
\```

それでは、上記の手順に従って解答と解説をお願いします。

レスポンス例

AWS Documentation MCP Serverを用いた場合のレスポンス例
## 正解と詳細解説

### 正解: D) スポットインスタンス

### 詳細解説:

AWS公式ドキュメントによると、スポットインスタンスは「未使用のEC2キャパシティを利用して大幅な割引で利用できるインスタンス」です。以下にその特徴を示します:

AWS公式ドキュメントから:
> 「Spot Instance is an instance that uses spare EC2 capacity that is available for less than the On-Demand price. Because Spot Instances enable you to request unused EC2 instances at steep discounts, you can lower your Amazon EC2 costs significantly.」(スポットインスタンスは、オンデマンド価格よりも低価格で利用可能な予備のEC2キャパシティを使用するインスタンスです。スポットインスタンスを使用すると、未使用のEC2インスタンスを大幅な割引で利用できるため、Amazon EC2のコストを大幅に削減できます。)

スポットインスタンスの価格はAmazon EC2によって設定され、スポットインスタンスの長期的な需要と供給に基づいて徐々に調整されます。キャパシティが利用可能な場合にのみスポットインスタンスは実行されます。

各選択肢の比較:

**A) リザーブドインスタンス**
リザーブドインスタンスは、1年または3年の期間にわたり特定のインスタンス構成(インスタンスタイプやリージョンなど)へのコミットメントを行うことで、Amazon EC2のコストを削減するオプションです。これは未使用の容量を利用するものではなく、長期的なコミットメントに基づく割引を提供するモデルです。

**B) オンデマンドインスタンス**
オンデマンドインスタンスは、長期的なコミットメントなしに秒単位で計算能力に対して支払う方式です。価格は固定されており、割引は適用されません。未使用の容量を利用するものではありません。

**C) ハードウェア専有インスタンス**
ハードウェア専有インスタンス(Dedicated Instances)は、単一のAWSアカウント専用のハードウェア上で実行されるEC2インスタンスです。これは物理的な分離を提供するためのオプションであり、未使用の容量を割引価格で利用するものではありません。

**D) スポットインスタンス**
スポットインスタンスは、オンデマンド価格よりも低価格で利用可能な未使用のEC2キャパシティを活用するためのオプションです。これは、アプリケーションの実行時間に柔軟性があり、中断されても問題ない場合に適しています。

スポットインスタンスは、AWS公式ドキュメントで明示されているように「未使用のEC2インスタンスを大幅な割引で利用できる」唯一のオプションであるため、この問題の正解はDとなります。

### 参考資料のリンク
1. [Amazon EC2 billing and purchasing options](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/instance-purchasing-options.html)
2. [Spot Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-spot-instances.html)
3. [Reserved Instances for Amazon EC2 overview](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-reserved-instances.html)
4. [Purchasing On-Demand Instances for Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-on-demand-instances.html)
5. [Amazon EC2 Dedicated Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/dedicated-instance.html)
AWS Documentation MCP Serverを用いなかった場合のレスポンス例
## AWS試験問題の解答と解説

### 正解: D) スポットインスタンス

### 詳細解説

スポットインスタンスは、AWS のクラウド内の余剰コンピューティング容量(未使用のEC2容量)を通常のオンデマンド料金と比較して最大90%割引で購入できるサービスです。スポットインスタンスの特徴は以下の通りです:

1. **価格変動**: スポットインスタンスの価格は需要と供給に基づいて変動します(スポット価格)
2. **中断可能性**: AWS側の容量需要が高まると、2分前の通知でインスタンスが中断される可能性があります
3. **用途**: 耐障害性のあるアプリケーション、バッチ処理ジョブ、データ分析など、中断を許容できるワークロードに最適

他の選択肢について:

- **A) リザーブドインスタンス**: 1年間または3年間の長期契約を結ぶことで割引を受けられるプランです。未使用容量の購入ではなく、長期コミットメントによる割引です。

- **B) オンデマンドインスタンス**: 標準料金で利用できるインスタンスで、割引はありません。長期契約なしでEC2インスタンスを使用した分だけ支払うモデルです。

- **C) ハードウェア専有インスタンス**: 他のAWSアカウントのインスタンスと物理的なハードウェアを共有しない専用のインスタンスです。セキュリティやコンプライアンス要件のために使用されますが、通常は割引ではなくプレミアム価格になります。

AWS公式ドキュメントによると、スポットインスタンスは「AWS クラウドの未使用のキャパシティを活用して、オンデマンド料金から最大90%割引で Amazon EC2 インスタンスを利用できる」とされています。

したがって、「未使用の Amazon EC2 容量を頻繁に割引料金で購入できる」という記述に最も当てはまるのはスポットインスタンスです。

検証結果

結果として、両方の場合で満点(20問中20問正解)という予想外の結果になりました。対象とした資格試験の内容が簡単過ぎた、またはナレッジのカットオフが影響するような問題がなかったことが原因かもしれません。

ただ、両者を比べてみると、AWS Documentation MCP Serverを利用した場合には以下のようなメリット/デメリットがあることが分かりました。

メリット

  1. 情報の正確性と信頼性

    • LLMの幻覚を抑制し、最新かつ正確な情報に基づいた回答が得られる
      (=誤った知識を定着させてしまうリスクが低減)
  2. 学習の深化

    • 公式ドキュメントの該当箇所を引用するため、具体的な根拠が明示される
    • 参考資料のリンクが提示されるため、興味がある場合に自分で詳細情報を調査できる

デメリット

  1. 応答速度の低下

    • MCPなし:数秒〜十数秒程度
    • MCPあり:数十秒〜数分程度
    • 公式ドキュメントの検索・参照に時間がかかるため、応答速度が大幅に低下
  2. トークン消費量の増加

    • MCPなし:20問分+αのリクエストを行ってもClaude Proの制限値に達せず
    • MCPあり:13問分のリクエストでClaude Proの制限値に達する
    • 公式ドキュメントの内容も含まれるため、インプットトークン数が大幅に増大

おわりに

検証対象とした問題が簡単過ぎたのか、まさかの「AWS Documentation MCP Serverを利用してもしなくても満点」という結果となりました。
ただ、今回の検証を通して、資格試験の学習にAWS Documentation MCP Serverを利用することのメリット/デメリットはある程度把握することができました。特に以下の2点は学習の初期段階において有用だと感じました。

  • 公式ドキュメントに基づいた解説により、誤った知識を定着させてしまうリスクを低減できる
  • 問題に関連する公式ドキュメントのURLが表示されるため、内容の深堀りが容易になる

今回はクラウドプラクティショナーという比較的基礎的な内容の試験を対象としましたが、次回はより難易度が高いSAA(ソリューションアーキテクトアソシエイト)やSAP(ソリューションアーキテクトプロフェッショナル)の問題も解かせてみたいと思います。問題がより専門的な内容になった際に、公式ドキュメントを参照させる価値が高まるのかどうか、非常に気になります。

ここまでお読みいただき、ありがとうございました。

追記(2025/05/10)

より難易度の高いSAA(ソリューションアーキテクトアソシエイト)とSAP(ソリューションアーキテクトプロフェッショナル)の問題を対象とした追加検証を行い、その結果を別記事として公開しました。興味のある方はぜひご覧ください。
https://zenn.dev/ryuzaki/articles/d3a535aad8de44

Discussion