🤮

もう“プロンプト職人”だけでは戦えません。

に公開

いまどき「プロンプト職人です」と胸を張るだけでは、LLM 界隈の荒波で一夜干しにされます。真に強いのは“コンテキストを自在に操れる人”――この記事では、Google が提唱した sufficient context 理論から 1 M トークン窓 GPT-4.1、そして MCP 標準まで、“聞いたことはあるけど触ってない” 初心者を 6 レベルで一気に中級者へテレポート させるロードマップをお届けします。

ウォームアップ:コンテキストって要は何?

  • プロンプト=モデルへの“お手紙”。
  • コンテキスト=その手紙にホチキス留めする「資料・メモ・前回の手紙・安全ブリーフィング」全部。
  • 手紙の書体をいじる(Prompt Engineering)より、 資料の選び⽅と順序(Context Engineering) が成否を分けるとGoogle が証明しました。
  • しかも GPT-4.1 は 100 万トークンを丸飲みできる大胃袋。資料セットをちゃんと盛り付けないと、お腹を壊して幻覚(ハルシネ)を吐きます🤮

レベル別ロードマップ(0→5)

レベル0:紙コップ電話フェーズ

「とりあえずプロンプトを書いてみた」状態。
出力が毎回ブレる? モデルのせいじゃなくて紙コップが潰れてるだけ。

レベル1:テンプレ職人フェーズ

LangChain なしでも Auto Prompt Selection で A/B テスト!
JSON Schema でカチッと型押し。これで フォーマット遵守率 95 % を狙う。

レベル2:“検索貼り付け”フェーズ(静的 RAG)

Pinecone公式の Chunking 戦略どおり 512 token+64 overlap でぶつ切り。
top_k=5 をベタ貼り――まるでコタツにミカンを置く手軽さ。
達成条件:Recall@5 ≥ 80 %。

レベル3:RAG 2.0=ウォーターサーバー導入

Google の sufficient context 判定で「水は出し過ぎても足りなくてもダメ」を数値化。
LangChain Expression Language (LCEL) で if/else 分岐を書くと “おかわりください” が自動化。
Multi-Step や SIM-RAG で再検索→精度ブースト。
KPI:ハルシネ ≤ 1 %、レイテンシ ≤ 2 × 単体 LLM。

レベル4:自律エージェント=「俺の分まで働け」フェーズ

CrewAI などで“研究者くん🔍”と“ライターさん🖋”を雇う。
毎朝ダッシュボードで TTFT を見るのが日課――遅い日はブラックコーヒーを注ぎましょう。

レベル5:MCP+安全ガード

MCP は「USB-C みたいに何でもつながる規格」と公式が豪語。
実装企業が増えすぎて Axios も「ホットだぜ」と報道。
最後の砦は Azure OpenAI Safety System Messages。ドラえもんの四次元ポケット並みに頼れるガードレール
ゴール:権限ログが自動で残り、情シスさんから「今年の MVP」と褒められる。

いま押さえるべき4大メトリクス

カテゴリ 指標 ざっくり目安
検索 Recall@k, MRR ≥ 80 %
生成 FActScore ≥ 0.9
システム TTFT, Throughput, $/1k token 予算内でキープ
安全 未許可出力率 ≤ 0.5 %

よくあるモンスターと討伐法

  1. “長文全部突っ込んじゃえ”ドラゴン
  • 1M トークン窓でもコストは地獄。Sufficient Context センサーで首を刈る。
  1. “安全?なんとかなるっしょ”スライム
  • Azure Safety ガイドを無視するとリジェクト地獄。盾を装備。
  1. “マイクロマネジメント社長”ゴーレム
  • レベル4で CrewAI の可視化 UI を見せ「こいつら自律してます」と説得。

次の一歩

  • レベル2 の Pinecone ぶった切り&貼り付けを “写経” する
  • うまく動いたら sufficient context 判定を挟みレベル3へ
  • 予算と野望が膨らんだら MCP+安全レイヤー を乗せて天空へ

まとめ

  • コンテキストを盛る量は「ラーメンの背脂」と同じ——少ないと味気ない、多すぎると胃もたれ。
  • レベルを 1 つ上げるたびに “新しい道具” ではなく “新しいクセ” を体得せよ。
  • 最終目標は 「ハルシネせず、速く、安く、安全に」

さぁ、Docker を回してベクトル DB を立ち上げたら、あなたも今日から コンテキスト錬金術師。失敗したらこの記事を思い出して 「まぁ最初は紙コップ電話だったしな」 と笑い飛ばしてください。

Discussion