はじめに
はじめまして。ネクスタでスマートFという製造業向けSaaSを開発しているPdMのKatoです。
「プロダクトヒストリーカンファレンス2025」 というイベントに参加してきました。
採用目的での参加だったのですが、結果的にPdMとしても大きな学びがありました。
特にAI機能開発において“評価”が何よりも大事という点が強く印象に残っています。
このブログではイベント参加で3つの学んだことを皆さんに少しでもお裾分けできればと思って記載します。
1.精度とレイテンシを評価する仕組み
株式会社RightTouch様の事例紹介では、大企業向けのAIエージェント開発・運用の実践知が語られていました。
AIエージェントは「動かす」だけでなく、持続的に運用することの難しさがあるとのことです。
持続的な運用の難しさとは、AIエージェントの改修後に、”精度評価”をいかに継続していくか？という部分でした。
この中で、特に印象的だったのは、精度評価を仕組み化していること。
100件単位のテストケースをあらかじめ作成し、自律的に実行し、精度とレイテンシを定量的に評価する。
そのサイクルを回すことで初めて改善が続いていくという話でした。
今、AI機能の開発を進めている中でこれは深い学びとなりました。
そして、改めて”測れないものを評価できない”とも感じました。
また、「AIエージェントの精度＝モデル性能 × 指示のうまさ × コンテキスト」と紹介されていました。
この内容には、私自身、とても納得感がありました。
システムプロンプトだけに依存せず、コンテキスト設計を軸に精度を担保していくことが重要とのことです。
まさに私も開発している中でプロンプトだけでなく、いかに求めたい問いの答えを出すために適しているのはどんなコンテキストなのか？を試行錯誤しているので、非常に参考になりました。
2.なんでも作れる時代だからこそ「作らない勇気」
イベント参加でいろんな登壇を聞いている中で、もう一つ大事だと感じたのは、ビルドトラップへの警鐘です。
AIの登場で「とりあえず作る」ことは圧倒的に簡単になりました。
しかし、「とりあえず作る」、これは往々にしてユーザーの課題解決につながらず、筋の悪い解決策になりがちです。
だからこそ、「なぜ作るのか？」を問い直すことがPdMに求められていると感じました。
AIに壁打ちすると色んな提案をしてくれる時代だからこそ、
・最後の意思決定は自分の頭で考えること。
・そしてその意思決定は顧客の課題を解決する価値提供のためになっていること。
この2つが改めて大事な視点であると再認識しました。
3.シンプルさが持続可能性を生む
AIエージェントの設計面の知見も参考になりました。
イベントの中でお話されていたのは、エージェントの設計は、実際に継続的な改善・運用面を考えると、複雑な構造にするのではなく、二階層程度でシンプルに設計することでした。
B2B企業においては、マーケ・セールス・CSの方々と協働してプロダクトというhowを用いながら、お客様の課題を解決していくことになります。
そんな中、複雑すぎるシステムを作ってもBiz側の人々が分かりづらい、どのように動いているか説明しづらい状況に陥り、結果的に売れない、課題解決に繋がらない状態が生まれるのだなと思いました。
また、シンプルにすることで評価自体も容易になるなとも思いました。
AIエージェント機能を今後拡充させていく中で、この考えは肝に銘じておきたいと思います。
まとめ
今回のイベント参加を通じて、「AIプロダクト開発の本質は評価にある」という気づきを得ました。
AI機能は“作れること”自体よりも、“どう評価し、改善サイクルを回すか”が価値を決める。
そのサイクルを回すことによって、より多くのお客様の課題を精度/再現度高く解決していく。
PdMとして大切にしていきたい視点であるとともに、学びをシェアできていたら嬉しいです。
Discussion