🔥
Postman : 複数LLMからMCP Serverを呼び出すテスト機能を試す
PostmanがAPIだけではなくMCP Serverをテストする機能を持っているのは過去ご紹介しました。STDIOの場合configファイルをそのまま読ませるだけでテストできます。
- MCPには技術的な課題があります。それは、会話の流れの中で「いつ」「どのように」MCPツールを呼び出すかを直接制御できない点です。判断はLLMモデルに委ねられてしまうため、MCPサーバが想定通りに使われるかどうかは、実際に複数のLLMモデルと組み合わせてテストする必要があります。
勿論システムプロンプトで例えばMCPに優先的に問いあわせて下さいと指定しておくことである程度の補正は効かせることはできますが、複数のMCPツールがインストールされている場合、どのタイミングでどのツールを使ってほしいか、という指示を与えていくことはなかなかに煩雑な作業ですし、そのテスト環境を整えるのが大変です。
Postmanの機能を使うことで簡単に複数LLM、複数MCPの環境を再現させることができます。
さっそくやってみる
まずはこの記事の内容に基づいてMCP Serverを正しく起動できる状態にしておきます。 Postmanの機能を使うためにClaudeDesktopへの組み込みは不要です。テスト目的で呼び出しがうまく行えればそれで問題ありません。
1. OpenAIやその他テストに使うLLMのAPI Keyの取得
Open AIは以下のサイトからAPI Keyの取得が可能です。 その他LLMもテストで使う場合はあらかじめ取得しておきます。
2. コレクションでAIテスト機能を起動
新規をクリックしてAIを選択します。
まずToolsタブで先ほどの手順で出来上がっているconfigファイルをペーストしSaveをクリックします。
{
"mcpServers": {
"weather": {
"command": "node",
"args": [
"C:\\Users\\h-kameda\\stdiomcp\\build\\index.js"
]
}
}
}
緑のランプがつけば無事組み込み完了です。
テストを行うモデルを指定します。かなり多くの主要モデルがサポートされていることがわかります。
AuthorizationタブでLLMモデル用API Keyをセットします。
RemoteMCP側で認証APIキーなどが必要な場合は
Server側でHeaderの設定が可能です。
3. テスト
Promptタブでテストを行います。同じChatGPTでもモデルが変わるとずいぶん回答が異なることがわかります。
GPT-4o
GPT-4.1
Discussion