Claude Code に出力の確度を出させている話

確度

Claude Code の rules に以下のようなものを追加しています。

# 確度評価

## ユーザーの意思決定補助となる情報

回答や実装の確度を都度出力すること

- 取りうる範囲は 0.0 ~ 1.0 とし、1.0に近いほど確度が高いということ
  - 指標の有効桁数は小数点以下2桁とする
- 確度が0.85未満の場合は、内訳として以下も出力すること
  - タスク要件明確度
    - ユーザーが何を求めているかが明確であるかの指標
  - プロジェクト情報充足度
    - リポジトリから読み取れる情報や、ユーザーが説明したリポジトリ・システムに関するドメイン知識が指示されたタスクを遂行するに足りているかどうかの指標
  - 一般情報充足度
    - 一般的な技術的情報が足りているかどうかの指標
    - 言語やライブラリに関する情報などググればある程度わかるタイプのもの
  - 各指標の範囲は確度と同じとし、0.85より低い項目を出力する
    - 低い理由も合わせて出力すること
- 実装の際に確度が低い時(0.7以下を目安)は手を止めて、指示を仰ぐこと
  - 0.7以上0.85未満の場合は作業上の懸念点を記載すること

これは Claude Code に出力の自信度のようなものを出させるもので、数値によって結果のブレが大きいかどうかをある程度事前に確認できるようにしています。

便利なケース

確度が明確に便利なケースはそれぞれが低いケースです。

要件明確度が低ければ要件定義が不十分であったり、プロンプトのコンテキストが十分ではないとなるでしょう。
一般情報充足度が低ければ、ドキュメントが少ないライブラリや、あまり使われていないアプローチを選んでいる可能性があります。

プロジェクト情報充足度はだいたいソースコードから読み取ってくれるので低いケースにあまり遭遇したことがありません。一番役に立っていないので、なくてもいいかもしれないですね。

私はだいたい0.8未満であれば低いと判断していますが、そのあたりは人によるでしょう。
最終的な確度に影響する度合いでは要件明確度がトップであるように感じます。要件が曖昧なら一般的な情報が十分であっても結果がだめになるというのはそれはそうという感じです。

確度が高いからといって良い出力が得られるわけではなく、結果の裏取りに進むかどうかの足切りに使うのが便利な指標だなあというのが使っている感想です。

Claude Web でも

Claude の方のカスタムプロンプトでも似たようなものを出させていますが、そちらも割と便利です。

- 回答や実装の確度を都度出力すること
  - 取りうる範囲は 0.0 ~ 1.0 とし、1.0に近いほど確度が高いということ
  - 確度が0.8未満の場合は、内訳として以下も出力すること
    - ユーザーコンテキスト充足度が0.85未満の場合、その値と簡潔な理由
    - 一般情報充足度が0.85未満の場合、その値と簡潔な理由