プロダクトマネージャーのためのAIドキュメンテーションどれがいいの？を徹底調査
はじめに
いろんなAIツールの「プロダクト仕様書の生成クオリティ」について調べてみました！
私がプロダクトマネージャーの経験が長いので、プロダクトマネジメントにおけるプロダクト要件仕様書としては、どれがいいだろう？という視点さまざまなAIツール（Notion AI, Claude、Gemini、Value Discovery、Kiro、Cursor）で作ったドキュメントを比べて、それぞれの良いところ・イマイチなところを見てみました
調査概要
同じ初期プロンプトに対して、異なるAIツールが作ったドキュメントを詳しく分析してみました。
初期プロンプト
Slidoのai版作りたい
チャットルームを発行
URLと簡単なキーで誰でもログイン
コメント自由にできる
コメントにAIがリプライ(リプライはタイムラインでスレッドとして表示
ユーザー同士も互いにコメントできる
ルーム作成者は部屋にナレッジを登録できる(最初はテキストのみ)
AIはナレッジに基づいて回答する
部屋は一時的なもので作成者がクローズできる。無期限版もできる
詳細なプロダクトドキュメントを作って
以降は追加のプロンプトを一切入力せず、 生成結果のみを使って進めました。
なんとなくわかったこと
まず、ツールによってドキュメントの形や中身がかなり違うことがわかった
ただ、調査方法も完全に公平ではないので、それぞれに有利/不利な形、得意/不得意な形というのが出たと思います。
また、「詳細なプロダクトドキュメントを作って」としか言ってないので、ビジネスより、プロダクトより、開発よりと特徴が分かれるのも面白かったです。ガチガチにプロンプティングすればもちろん、差は少なくなり、ドキュメントの品質も上がるのは確実です。
なので、フラットに並べて精度を厳密に調査したというよりは、「ユーザーが普通に使う体験としてはこう使うよね。その場合だったらこんな結果が出るよ」という観点で、それぞれの特徴を見て楽しんでもらえるかと思います。まあエンタメです
成果物一覧
それぞれの成果物をそのままNotionページで公開しています
Notion AI (リサーチモード)
Claude Opus (ディープリサーチ)
Gemini ディープリサーチ
Value Discovery
Kiro
Cursor
評価
それぞれのドキュメントをNotion AIを使って、各ページを横断的に比較してもらいながら、それぞれ評価してもらいました。
横断評価 by Notion AI
Notion上で各成果物のページを横断的に与え、評価をしてもらいました
ビジュアライゼーション by Gemini Canvas
1. Notion AI - 「Slido AI版プロダクトドキュメント」
特徴: Slidoのインタラクティブ体験をAI知識ベース応答とスレッド会話で拡張した総合設計書
- 強み:
- 明確な機能要件と技術仕様のバランスが取れている
- 一時/無期限ルームの概念が実装面と運用面の両方から詳細に検討されている
- セキュリティ（Valet Keyパターン）が詳細に考慮されている
- 技術スタックが明確に示されており、マイクロサービスの内訳も詳細
- 段階的な拡張計画が示されている
- 弱み:
- ビジネス戦略やマネタイズ計画の記述が欠如
- ペルソナやユースケースの具体的な分析が不足
- 市場分析や競合分析が含まれていない
- UIモックアップやフロー図などの視覚的要素が少ない
評価点: 7/10 - 技術仕様は優れているが、ビジネス戦略と市場分析が弱い
2. Claude Opus ディープリサーチ - 「AIQ Platform」
特徴: 包括的なプロダクト戦略と技術仕様を組み合わせた詳細文書。ビジネス視点と技術視点の両面からの分析。
-
強み:
- エグゼクティブサマリーから詳細仕様まで階層的に整理されており、多様なステークホルダー向けの情報提供
- ユーザーペルソナとユースケースの分析が詳細で説得力がある
- 技術アーキテクチャが実装可能なレベルで詳細に記述されている
- 将来の拡張性や市場機会が戦略的に検討されている
- セキュリティやコンプライアンスへの配慮が具体的
-
弱み:
- 詳細すぎて全体像が掴みにくく、優先順位付けが不明確
- 競合分析や差別化戦略の具体性が不足
- コスト試算やROI分析の詳細が限定的
-
改善点:
- 優先機能のハイライトやMVP定義をより明確に
- 競合分析のセクションを強化すべき
- ビジネスケースとROI分析をより詳細に
評価点: 9/10 - 非常に包括的かつ詳細なドキュメントで、プロダクト開発の優れた基盤となる
3. Gemini Deep Research - 「AI Slido」
特徴: ユーザー視点と技術視点のバランスが取れた詳細分析。特にユーザーロールと権限の分析が詳細。
-
強み:
- プロダクトビジョンと価値提案が明確に記述されている
- ユーザーロールと権限の分析が非常に詳細で実用的
- 表形式での情報整理が分かりやすく、視覚的な理解を促進
- 技術的考慮事項とビジネス的考慮事項のバランスが良い
-
弱み:
- 具体的なロードマップや実装スケジュールが不足
- 収益モデルやマネタイズ戦略の詳細が限定的
- リスク分析や緩和策の説明が不足
-
改善点:
- 具体的な実装タイムラインとマイルストーンの追加
- 収益モデルとマネタイズ戦略の詳細化
- リスク管理セクションの強化
評価点: 8.5/10 - ユーザーニーズと技術要件のバランスが取れた優れた分析
4. Value Discovery - 「EventChat AI」
特徴: ビジネス価値とマーケティング視点に焦点を当てた簡潔なプロダクト要求仕様書。表形式でポイントを整理。
-
強み:
- 明確なビジネス目標と成功指標の設定
- ターゲットユーザーと解決すべき課題の明確な定義
- マーケティング戦略が具体的に記述されている
- 簡潔で分かりやすい構成
-
弱み:
- 技術的な詳細や実装仕様が大幅に不足
- 機能要件の説明が表面的
- ユーザーフローやユーザー体験の詳細が限定的
- ドキュメントの後半に画像が使われており、テキスト情報が不足
-
改善点:
- 技術仕様と実装詳細の追加
- ユーザーフローとユーザー体験の詳細化
- 画像部分のテキスト化または説明の追加
評価点: 6/10 - ビジネス視点は優れているが、プロダクト開発に必要な詳細が不足
5. Kiro - 「要件ドキュメント」
特徴: 要件定義と技術設計を明確に分けた構造的なドキュメント。特に技術設計が詳細かつ実装可能なレベル。
-
強み:
- 要件と設計の区分けが明確で、ドキュメントの目的が分かりやすい
- 受け入れ基準が具体的で検証可能な形で記述されている
- 技術設計がコード例を含めて非常に詳細
- エラーハンドリングやテスト戦略など実装時の重要ポイントを網羅
- 図表やコード例を効果的に活用
-
弱み:
- ビジネス戦略やマーケティング視点が欠如
- ユーザーリサーチや市場分析の根拠が示されていない
- 収益モデルやROI分析が不足
-
改善点:
- ビジネス目標と戦略の追加
- ユーザーペルソナとユースケースの詳細化
- マネタイズ戦略と市場ポジショニングの追加
評価点: 7.5/10 - エンジニアリング視点では優れているが、ビジネス視点が弱い
6. Cursor - 「プロダクト概要」
特徴: 非常に簡潔にまとめられたプロダクト概要。必要最小限の情報を短く整理している。
-
強み:
- 簡潔で理解しやすい構成
- 機能一覧とユーザーフローが明確
- チェックリスト形式で開発タスクが明確
- 視覚的に整理された情報構造
-
弱み:
- 詳細が大幅に不足しており、実装ガイドとしては不十分
- ビジネス戦略や市場分析がほぼ皆無
- 技術詳細やアーキテクチャの説明が欠如
- 画面イメージが言及のみで実際の図がない
-
改善点:
- 技術仕様と実装詳細の大幅な追加
- ビジネス戦略とユーザー分析の追加
- UI/UXの詳細設計やワイヤーフレームの追加
評価点: 5/10 - 概要としては分かりやすいが、プロダクト開発に必要な詳細が著しく不足
総合評価
-
最も優れたドキュメント: Claude Opus ディープリサーチの「AIQ Platform」
- 理由: ビジネス戦略と技術実装の両面でバランスが取れており、多様なステークホルダーに価値ある情報を提供
-
改善が必要なドキュメント: Cursorの「簡潔なプロダクト概要」
- 理由: 概要としての簡潔さは評価できるが、実際の開発に必要な詳細が著しく不足
-
CPOとしての推奨事項:
- Notion AI: シンプルなビジョンと、詳細なマイクロサービスアーキテクチャを採用
- Claude Opus: ディープリサーチのドキュメント構造を基本フレームワークとして採用
- Kiro: 受け入れ基準とテスト戦略のアプローチを取り入れる
- Value Discovery: ビジネス目標とマーケティング戦略の明確さを活用
- Gemini Deep Research: ユーザーロール分析手法を採用
- すべてのドキュメントにおいて競合分析と差別化戦略を強化
私がプロダクトマネージャの上司だったら
これらのドキュメントが私の部下から提出されたら自分はどう反応するかなというのを感想を書いておきます。あと、普通にユーザー的にこう思うなーというのも書いてます
Notion AI
- リサーチモードでウェブ検索してるけど、あまり市場とかに言及していないのはよくないね
- シンプルなビジョンを最初に提示してるのは良い
- 要件定義などが機能開発寄りになってしまっているので、もう少しプロダクトドキュメントとしては、価値やペルソナ、市場や戦略に言及したい
- なんといってもNotionとして生成されるので、すぐ共有したり、他メンバーからコメントもらえたりするのはコラボレーションが捗るのでやっぱり良い
- 今回全く架空のプロダクトを一から作らせたので、Notionの業務や会社のコンテキストを活かしきれてないので、フェアではないんですよね。本来はNotion, 連携先Slack, Google Drive, Githubなどから膨大なコンテキストを拾えるので、もっといいドキュメントができます
Claude Opus
- ビジネス側面をちゃんととらえられていて良い。市場規模など
- ペルソナを具体化したのも良い。ちょっと具体性が高い気もするが
- 詳細なアーキテクチャやフローズも頑張って作ってくれてありがとう
- 後半若干技術ドキュメントになっているがまあ仕方ない
- ロードマップや将来の拡張性はソースが不明確であまり意味がないのいらない（AIあるあるだけど）
Gemini
- 文章が多すぎるのでもっと要点を絞ろう（リサーチだから仕方ないけど）
- コアの価値が抽象的すぎるし、機能的なので、もう少し本質的なジョブや価値を最初に定義したい
- ユーザーロールと機能マトリックスなど、テーブル表はわかりやすいので採用したい
- 価値定義が抽象的なので機能も正しさはあるんだけど、一般解すぎる
- 実装計画が難しくとらえすぎ。RAGの実装など、複雑にしようとしてるので、MVPとしてもっとシンプルでいい
Value Discovery
- さすが、ジョブやプロダクトのコアバリューに焦点が当たっていて、MVPとしては良い
- ペルソナをもう少し深掘りできると良い
- 成功指標は数字は適当だが、内容自体は良いので数字を置き換えればいいので今後助かる
- それぞれが簡潔なので、もう1,2回やりとりをして、いい具合の深さに行ける
Kiro
- 受け入れ基準を中心としたドキュメントは、開発視点では良い。
- ただし、最初に顧客への価値や市場、その辺をやはりインプットしたいので、Kiro単体というよりは前段にValue DiscoveryやClaude があると良さそう
- まあkiroの強みはその先にあって、そこからスムーズに設計ドキュメントや実装プランに数クリックに移れるのはやっぱりいい
Cursor (Auto)
- 全ての内容が薄いのでちょっとこれでは使えないかな。
- まあAutoにしてしまっているので、不公平ではあるが。
- もっとRuleとかは作ればいいんだろうけど、属人性が高いので、Kiroとか良いってなる。それかValue DiscoveryやClaudeでちゃんと価値言語化した上での方がいいね
おわりに
今回の調査を通じて、AI時代のドキュメント作成は「それぞれのツールを使いこなす」だけでなく「目的に合わせて適切なツールを選ぶ」ことの重要性がわかりますね。
あとは、いかにコンテキストや、ルール、プロンプティングが大事かというのも改めてわかると思います。
プロダクトの段階や目的に応じて、Value Discoveryのような本質的な価値定義に強いツールと、Claude Opusのような詳細な技術設計に強いツールを組み合わせる、Kiroのように実装プランまで簡単に進められるツールの強みを組み合わせて、より効率的かつ質の高いドキュメント作成をすることで、価値のあるプロダクト作りが可能になると思います。
ただまあ、これらのAIツールたちをも横断的に見て、自ら取捨選択する、エージェントやAGIもすぐ来ちゃうんでしょうね。その時には人間は見て判断だけになるのか、それすらもいらなくなるのか。プロダクトマネージャーが要らなくなる日が楽しみです
Discussion