Reasoning Modelと新たなスケーリング則がもたらす生成AIの進化の可能性（ELYZA社内勉強会）
https://note.com/elyza/n/n5aa5486567b5
この記事が面白かったのと、Ascii x Microsoft主催のAI Challenge Dayの評価方法から今後の生成AIの実務利用について、考えてみたいと思います。
上記の記事からは、生成AIに大量の検索をさせることで人を超えられるという歴史的な背景があるところが面白いなと思いました。確かに最終的に人が判断するより、大量の検索対象データから正解を導き出した方が人より良い判断ができるような気がします。
ではなぜ実務の中で人の役割が必要かというと、
- 検索データが整備できていない
- 検索の精度が低い
- GroundTruthを定義できないタスクが多い（状況によって、求める回答が変わる）
- 必要な情報をインプットしきれない
- とれるアクションの限界やトリガーの整備ができていない
- 人が責任を取るために、人が理解をしないといけない
などの課題があり、生成AIだけでは業務が成り立たないので、人が生成AIの出力をチェックしたり、データ整備を進めています。
1、2、5番目は整備して、データ更新を自動化してしまえば、人の確認は正しく動いているかだけになると思いますし、ツールやモデルの進化で自動化が見込めそうです。
3、4番目の課題は人が介入しないのは難しいかなと。
リーズニングとDeep Researchによるモンテカルロ木探索（Monte Carlo Tree Search; MCTS）的な膨大な探索をする仕組みにより、オープンな情報をもとにした思考タスクは人より生成AIの方が何倍も速くなったと思います。
ただ、本当に対象論文の解釈が正しいのか、そもそも対象論文自体が信用できるのかなどの評価や、調べた範囲内での結論が十分かは人が判断しないといけないと思っていて、専門的な理解が必要になる、そもそもLLMに与えられない会社の現状や文化的なものを加味して、意思決定をすると考えると、一人でできることが増えた分、人に求められる要求は高くなっている気もします。
現状も生成AIがまとめたものをさらに深ぼっていくことは可能ですが、ある程度Agentに必要な知識とロジックを与えて、深掘りをしてもらって、さらに人が持っている時事的な情報は都度聞き返して、質問してくれるような、そんなエージェントが必要そうだなーと思いました。
AI Challenge Dayでユーザーに見立てたエージェントの挙動を評価をするという仕組みだったのですが、エージェント同士でやり取りをして、色々な正解ルート（GroundTruth）をシミュレーションして行くことってできそうだなと思い、それができたら、3、4番の課題が精度が上がって行くのかなと。
ちなみに、6番目の課題により、人間に求められる能力ってむしろ上がってるんじゃないかと思う今日この頃です。
その人の能力の限界によって、プロジェクトの体制が変化していくのは当然のことですが、エンジニアやプログラマーに求められるタスクの消化スピードも上がっていますし、クライアント側の企画を起こすスピードやビジネス上の意思決定も加速している気がします。（意思決定が加速するのは必要にかられてだと思いますが）
6番目の課題が最終的に人や組織の出せる最高速度ってことになるのかなーと。
久しぶりにLLM使わないで文章書きました。
※タイトルは生成してもらってかっこいいの選びました。
Discussion