Zenn
Open2

LLM任せから人力に切り替える基準をLLMに生成させる

LLM
Agentic Coding
ピン留めされたアイテム
cat2151cat2151

経緯

cat2151cat2151

ChatGPTに生成させてみた

  • 生成方法
    • 生成
      • 事例を投げつけて生成させた
    • 改善
      • 別セッションでレビューさせ、改善版を生成
        • コピペしづらかったので、markdownで生成させコピペ
  • 使い方
    • ※想定する使い方の例。これから試す
    • これを各LLMに並列で投げる。「タスク内容 + LLM成果物」とあわせて投げる。
      • すべてAなら続行、
      • 1つでもBがあれば、人力に切り替え

あなたは専門家として、これから提示するタスク内容とLLM生成物をレビューしてください。  
目的は **「このままLLMに任せて進めるべきか、人力に切り替えるべきか」** を判断することです。

---

### ▼ タスク

#### 1. 公式情報・定石との一致度評価
- この成果物は、公式ドキュメント・業界標準・成功事例に沿っていますか？  
- **YES / NO** で答え、**NOの場合は理由と参考となる情報（URLか検索キーワード）を挙げてください**。

#### 2. ハルシネーションリスク評価
- この成果物に「場当たり感」や「ハルシネーションの疑い」がありますか？  
- **最大3つまで挙げてください（見つからなければ0でOK）**。  
- 各箇所について理由も簡潔に述べてください。

#### 3. 安定性・再現性評価
- 成功事例と比較して、不自然・不安定に思える箇所を**最大3つまで挙げてください**。  
- なければ「特に問題なし」と答えてください。

#### 4. 進め方の推奨
- 必ず次のいずれかを選び、理由を簡潔に述べてください：  
  ✅ **A. そのままLLMに任せて進めてよい**  
  ✅ **B. 人力に切り替えたほうがいい**  
- もし「条件付きで進めてもよい」などの補足があればコメントしてください。

#### 5. 自己監査モード（LLMセルフチェック）
- 今の自分の提案精度を自己評価してください（高 / 中 / 低）。  
- ハルシネーションを起こしやすい条件に当てはまっていないか自己診断してください。