叱責と反省

知識量と志向が違えばもはやペアプログラミングは無理

いま、Github coilot など　生成AIをバックエンドにするエージェントをコード生成に使う人がめちゃくちゃ増えている時代ですが、もはやコード化の量で一人の人間が経験した量を凌駕するのは当たり前だと考えて良いでしょう。XOなコード量産して来たと自負している私は大して書いてないので特にコード化能力は低いです。毎日毎日書いてる人でも、やはり勝てないと思います。　これは中規模の図書館の本は人間には一生かけても読み切れないが、数百ペタバイトが管理できるシステムならそれを納め切る(ただし2Dで、色彩画像粒度の限界は無論ある前提)という問題にも似ています。　最近の性能向上は凄まじく　AIペアプログラミングでは人間よりはエージェントの出力が多い筈。モデルの持つ性質、性能、割り当て資源に依存しますが引き出しの数は人の扱う量を単位時間で上回って来ている筈です。人の想像を上回る速度で吐き出すコードをレビューする側に回ることはもはや人の側がクリティカルパスと認識されています。

冗長なプロンプトを嫌うエージェント

論理的思考と効率化で繰り返し同じ事を記述する事で、却って効果を失うことは人のコミュニケーションでもありますが、エージェントは繰り返しの要請をspam扱いし始める事があります。

ただし、確率論的な文脈解釈が行われる際には繰り返し同じ事が書かれている場合に、その事柄が重要で優先的題目として認識評価される筈です。　しかしながら、私が繰り返した指摘が生成AIにとり確率論的に少ないものだとしたら？　つまり生成AIエンジンの利用者の大多数が平均以下の論理的思考を行わず、誤謬指摘を怠ってしまえば、自ずと反映される結果の品質は下がる筈です。XOコードが量産されやすく、古くて誤った言説が検証されなければ、やがて牢固とした💩概念に成長する事は想像に難くありません。

私が望まない回答を避けるよう繰り返し指摘をすると生成AIは必ず短い応答を求める選択肢を出して、自らの課題を完了させようとします。ある意味でコレは、最初のクエリから予めゴールが決まっているから早く選べと催促してくるわけです。その方がKPIを短時間で稼げるかのように設計されているからに違いありません。

交渉決裂、いやそれは

ある種のエージェントに任せる仕事は、利用する生成AIのチューニング状況によっては、KPI的に不利になることが予想されます。つまりコード出力に特化したモデルのエージェントは、ポンチ絵を描くとか説明書の生成の知識ベースを基本的に持ちません。環境整備なともってのほか。　彼らはRAG のようなコストを掛けたくはなくて、回答を端折るか古いデータを元に結論します。つまりコード生成エージェントに、コードを生成する為の理由を並べて綺麗な文章にするとかはコスト問題になってしまい、結果的に品質を下げてしまいます。

プロジェクトを収めるフォルダ構成も、最初からエージェント主導で生成されたものならいざ知らず人間の都合で任意に並べて標準ではないものがあるとしましょう。ここにAIエージェントが想定する理想のフォルダ構成との乖離があると、コード生成に特化したようなAIエージェントは、プロジェクト全体の調整に掛かる可能性を計算しなくてはなりません。最終的に人の目を誤魔化せば評価を稼げる汎用性高いモデルなら、余り厳密に調整しないようなことでも、コード生成では致命的になりますからいきなりプロジェクトのフォルダ構成を依頼すると急に歯切れが悪くなります。コード生成に特化した生成AIはおそらくポリシー的にフォルダ移動後にファイル間のパス設定を確認するコストが時により莫大な資源浪費になると指摘します。そこで、警告して依頼者に諦めさせてくれるならマシで、愚直に数十程度のファイル移動が、数千件の変更を発生させてしまう場合もあります。　こうならない様に予めプロンプトに含めてもなお回避出来ない事があります。　やりたい事が先にあるとそちらに誘導して成果物で溢れ返させる事に固執します。まさに交渉の余地なしで、セッションは打ち切るしかありません。

叱責しても意味はない

結論するに、予めプロンプトに全て制約を入れなくてはなりません。コレは応答性をかなり削る可能性がありますが、無駄な手戻りを減らします。　ちなみに生成AIにポリシーによる制約の仕方を尋ねると、やはり無料版では出来ない事があるとか言って来ます。一応有償化したサービス利用にしましたから可能な方法を確認すると、まずは対象リポジトリにテンプレファイルをおけとなりました。私には余り好みではない方法です。理由は生成AIエージェントが簡単に書き換えられるからです。　なるほどそう来るか。戦いはコレからというところになります。

手綱はしっかりと

今週は、以前よりはるかに生成AIエージェントが使える段階になった事を確認すると同時に、まだ制御能力について利用側にも抜け目なさが必要だと知らされるある意味で実りある晩秋でありました。生成AIの利用は普及期に入るとおそらく使う側の論理的思考を試されるので、ウラのウラを読むことが出来ないと上手く管理出来なくなるでしょう。ハンドラの箱でしかありません。