LLMのモデル切替で出力の形式が変わる事を防ぐ実験
はじめに
LLMをアプリに組み込む際、既存モデルから新しいモデルへの切り替えの懸念の一つは、期待するフォーマット(JSON)が崩れてシステムエラーになることです。
期待値としてJSONを出力する場合、以下のような出力になることもあります。
- フォーマット崩れ: JSONが途中で切れ、構文エラーになる。
- 余計な記述: コードブロック(```json)が付いてパースできない。
- 蛇足: JSONの後ろに「生成しました」等の独り言が続く。
- 2重出力: 1つのJSONを出力した後、2つ目、3つ目を勝手に出し始める。
「余計な文字を付けないで」というシステムプロンプトを入れても、モデルや入力状況によっては適用されない可能性があります。
今回は、システムプロンプトではなく仕組みを作った個人的な実験の記録をまとめます。
1章: (ローカル実験)生成パラメータで出力を物理的に制御する
まずは、LLMに正しいJSONを出力させるための制御アプローチを取ります。
ここではモデルが出力する際にシステム的に制御を入れて、JSONが崩れない状態を作ります。
例: JSONが崩れる
入力:
更新請求: 株式会社hogehoge に対して 300,000円 を 2026年3月31日 までに支払う。
無限にJSONが生成される
出力(一部):
{ "vendor": "株式会社hogehoge", "amount_jpy": "300000", "due_date": "2026-03-31" }
{ "vendor": "株式会社hogehoge", "amount_jpy": "300000", "due_date": "2026-03-31" }
{ "vendor": "株...
コードブロックが付与される
出力:
```json
{
"vendor": "株式会社hogehoge",
"amount_jpy": 300000,
"due_date": "2026-03-31"
}
```
1. 禁止ワードを定めてMarkdown化を防ぐ
Qwenなどの一部のモデルは、 ```json といったコードフェンスを付けることもあります。
これをプロンプトで制限するのではなく、生成時の禁止トークン(bad_words_ids)として指定し、システム的に出力不可能にします。
# サンプルコード:バッククォートを含むトークンを生成禁止リストに入れる
def build_bad_words_ids(tokenizer, forbidden_patterns):
bad_words_ids = []
for pattern in forbidden_patterns:
ids = tokenizer.encode(pattern, add_special_tokens=False)
if ids:
bad_words_ids.append(ids)
return bad_words_ids
forbidden = ["```", "```json", "```JSON"]
bad_words_ids = build_bad_words_ids(tokenizer, forbidden)
# generate時に指定することで、モデルはこのトークンを選択できなくなる
out = model.generate(
inputs,
bad_words_ids=bad_words_ids,
do_sample=False,
)
2. JSONが出力されたら強制的に出力を停止する
Phi-3.5などで見られた「JSON出力後に、同じJSONを何度も繰り返す」現象への対策です。
JSONの構文(波括弧 { と } の深さ)を監視し、「深さが0に戻った瞬間(=JSONが完成した瞬間)」に生成を強制終了させます。
# サンプルコード:深さが0に戻ったらreturn Trueして生成を止める
class JsonCloseStoppingCriteria(StoppingCriteria):
def __call__(self, input_ids, scores, kwargs):
# ...デコード処理...
if char == "{": depth += 1
elif char == "}": depth -= 1
# JSONが開かれた後に深さが0に戻ったら終了
if seen_open and depth == 0:
return True
return False
結果
この2つの対策を入れるだけで、標準的な出力におけるJSONのフォーマット崩れは改善しました。
| モデル | 対策前 | 対策後 |
|---|---|---|
| Phi-3.5 | JSON連打で落ちる | JSON 1つで停止 |
| Qwen 1.5B | ```json が混入 | JSONのみ出力 |
| JSONの生成失敗率 | 66.7% (Phi-3.5) | 0% |
2章: (API実験)JSONが崩れる前提でシステムを守る
1章の対策でモデル単体の挙動は安定しましたが、実運用では入力テキストが非常に長いケースや、APIの一時的な不安定さにより、出力が崩れることもあります。
この事象は単一モデルにフォーカスした生成制御だけでは防げないと考え、システム側で吸収する機構を構築してみました。
1. 入力側の対策
長文入力時に発生する JSONの生成失敗率 の主要因は、トークン制限に伴いプロンプトが忘れられることでした。
単純にコンテキスト長の上限に合わせて入力を切り詰めると、システムプロンプトやJSONスキーマ定義まで削れてしまい、モデルがタスクを理解できなくなる可能性があります。
これを防ぐため、ユーザーの入力部分のみを切り出し、システムプロンプトと出力定義を遵守させる処理を実装しました。
2. 出力側の対策
生成されたテキストが崩れていても、そこからJSONを修復するように考えました。
今回では下記のように定義しました。
- L0: 抽出・パース(JSONとして読めるか)JSON部分の抽出、コードフェンス除去、末尾の独り言除去などを行う。
- L1: スキーマ(必須キー・型・enum・日付)必須キー補完、型変換、enum正規化、日付フォーマット修正などで、JSONのスキーマを満たす状態に寄せる。
- L2: 値の正規化(空白・全角半角・同義語など)空白・全角半角、表記ゆれ、同義語などを統一し、比較や後段処理が安定する状態にする。
修復の例(配列で返ってきた場合):
// 生出力:なぜか配列で返ってきた
[
{ "requester": "huga太郎", "resource": "AWS", ... }
]
// 修復後:JSONとして取り出し構造を保証
{
"requester": "huga太郎",
"resource": "AWS",
...
}
3. 統合防御
これらを統合し、呼べば必ずJSONを返すことを保証する機構を作成しました。
設計思想
- Generate: プライマリモデルで生成。
- Verify: JSONとしてパース可能か、必須キーがあるか検証。
- Repair: 軽微な崩れなら修復して完了。
- Fallback: 修復不能であれば、別のモデル(例: Llama3 -> Qwen)で再試行。
- Final Fallback: すべてNGの場合、全フィールドが空文字のJSONを返し、アプリを落とさないように調整。
本番実験:コストと安定性のバランス
今回の機構を適用して、13モデルの性能(36ケース)を比較しました。
評価指標は contract_ok(JSONとして成立し、必須キーが存在する割合)です。
主な結果(抜粋)
| モデル | contract_ok | 評価 |
|---|---|---|
| google/gemini-2.5-flash-lite | 100.0% | 安定 |
| meta-llama/llama-3.1-8b-instruct | 100.0% | 安定 |
| qwen/qwen-turbo | 100.0% | 安定だがコスト高 |
| openai/gpt-4.1-mini | 92.6% | 若干崩れる |
| deepseek/deepseek-v3.2 | 90.7% | 不安定(Fallback必須) |
-
gemini-2.5-flash-liteは使用料が安いモデルであったが、今回の対策では安定した結果。 - 完全一致の度合いは最高でも33%程度。型や日付フォーマットの揺れはRepairや仕様で吸収して、システムプロンプトでは制御しない。
-
deepseek-v3.2のように10%程度崩れるモデルがあっても、今回の機構が自動でFallbackするため、システム全体としては安定する。
まとめ
今回の実験はLLMのJSON出力を安定させるために、プロンプトの調整よりもシステム設計にフォーカスを当てました。
- モデルが出力するJSONをシステム的に制御する
- 修復やFallbackを行う
今回は実験の1つでした、参考になれば幸いです。
Discussion