📝

LLMに自動プロンプト最適化させ続けたら、人間の出番はなくなるのか?

に公開

はじめに

こんにちは!株式会社SCIENの機械学習エンジニアの雨宮です。

前回の記事では、プロンプトエンジニアリングを LLM 自身にやらせる仕組みを紹介しました。LLM にタスクを解かせ、その誤答を LLM に見せてプロンプトを書き直させる、を繰り返すものです。

本記事はその続編です。仕組みの説明は前回の記事に任せているので、まだの方は先にこちらをお読みください。

https://zenn.dev/scien/articles/llm-auto-prompt-optimization

前回は公開データセットのレシート画像で試し、「何を正解とし、どう評価するかの設計は人間の仕事として残る」と書いて終わりました。

では、評価をきちんと設計したうえで実務のデータに使うと、あとは全部 LLM に任せられるのでしょうか。それとも、人間の仕事はまだ残るのでしょうか。

本記事では、実務のデータでこの仕組みを回し、スコアの更新が止まったあとに何をしたかを紹介します。

タスクと設定

題材は、実務のデータを使った、書類からの情報抽出タスクです。具体的な書類の種類や項目は公開できないため、本記事ではタスクの性質だけを説明します。

1つの案件につき複数ページの書類があり、そこから決まった20項目を読み取ります。

  • 入力:1案件分の書類(平均5.4ページ)
  • 出力:20項目の構造化データ
  • 評価指標:全案件・全項目の判定のうち、正解した割合

このタスクで難しいのは、文字を読み取ることより、どの記載を答えとして採るかの判断です。たとえば、書類には次のような特徴があります。

  • 「氏名」のような欄が番号違いでいくつも並び、答えるべきなのはそのうち1つだけです
  • どの書類にも印刷されている決まり文句があり、これを「記載あり」と読んではいけません
  • 案件の種類によって届く書類の組み合わせが変わり、同じ項目でも載っている場所が変わります

正解の判定も、そのまま実務で使える出力かどうかを基準に、項目ごとに決めています。

  • 書類に記載のない項目は、推測で埋めずに空で返したときだけ正解とします
  • 番号が複数書かれている項目は、すべてを過不足なく挙げたときだけ正解とします
  • 複数の要素からなる項目は、すべての要素が合っていて初めて正解とします
  • 記載の文言を書き写す項目は、記載の有無に加えて、文言の一致まで求めます

LLM は、タスク LLM に GPT-5.6 Luna、オプティマイザ LLM に GPT-5.6 Terra を使いました。前回と違い、出発点は LLM が作った叩き台ではなく、人間が項目ごとの抽出ルールをひととおり書き並べただけのプロンプト(約1,900字)です。作り込む前の、最初の版にあたります。

また、タスク LLM への入力を3通り用意しました。

  • 画像入力:ページの画像をそのまま渡す
  • OCR 入力:Azure Document Intelligence で読み取ったテキストを渡す
  • 画像 + OCR 入力:ページごとに画像とテキストの両方を渡す

自動の改善ループで伸びるところまで

3通りとも、validation set でのスコアは最初の版から7ポイント前後伸び、10ステップ前後で頭打ちになりました。


入力ごとの、改善ステップごとの validation set でのベストスコア。

最終的なプロンプトを test set で評価しても、5〜7ポイント伸びています。

入力 最適化前 最適化後
画像入力 0.823 0.881
OCR 入力 0.839 0.913
画像 + OCR 入力 0.859 0.910

伸びたのは「判断する項目」

大きく伸びたのは、記載の有無を読んで判断する項目です。画像入力では、validation set での正解率が62%から99%まで上がった項目もありました。「どういう書き方なら記載ありとみなすか」という基準を、オプティマイザ LLM が誤答から少しずつ書き足していった結果です。

OCR の弱点への対処も、自力で書いた

一方、OCR 入力には画像入力にない弱点があります。OCR が文字を1文字でも読み誤ると、番号のように一字一句の一致が必要な項目はそのまま不正解になります。実際、最適化前はこうした項目の正解率が画像入力より低くなっていました。

ところが改善ループを回すと、オプティマイザ LLM はこの弱点への対処まで自力で書き足しました。

同一書類内の対応記載、(中略)欄名・文書種別・番号構造・定型書式その他の書類内文脈により、OCR誤認を一義的に確認できる場合のみ訂正後の値を抽出してよい。

前後の文脈から読み誤りだと確信できるときだけ直してよい、という規則です。これが入ってから、読み誤りで下がっていた項目の正解率は回復しました。

画像 + OCR 入力でも、到達点は変わらない

最適化前の時点では、画像 + OCR 入力が最も高いスコアでした。それぞれの苦手を、もう一方の入力が補うためです。

ところが最適化後は、OCR 入力と同じ水準に並びました。オプティマイザ LLM は「画像とOCRが異なる場合は画像を優先する」という規則を書いており、2つの入力の使い分け自体は学べています。それでも、最適化後のスコアが OCR 入力を上回ることはありませんでした。

費用は、最適化と運用とで逆転する

一方で、費用には差が出ます。費用は、次の2つの場面に分けて考えます。

  • 最適化:手元のデータで改善ループを回し、プロンプトを作るときに一度だけかかる費用
  • 運用:できあがったプロンプトで、新しい案件を処理するたびにかかる費用

また、OCR を使う入力では、LLM の費用に加えて OCR の費用がかかります。OCR はページ数に応じた従量課金です。

入力 最適化(1回) 運用(100案件あたり)
画像入力 約114ドル 約0.5ドル
OCR 入力 約98ドル(うち OCR 約19ドル) 約5.8ドル(うち OCR 約5.4ドル)
画像 + OCR 入力 約124ドル(うち OCR 約19ドル) 約6.0ドル(うち OCR 約5.4ドル)

最適化では、OCR 入力が最も安く済みました。理由は2つあります。1つは、OCR テキストが画像よりずっと少ないトークン数で済むことです(1ページあたり、画像は約1,850トークン、OCR テキストは約750トークン)。もう1つは、手元のデータを一度 OCR にかければ、改善ループの中で何度評価してもその結果を使い回せることです。

運用では逆に、OCR 入力が画像入力の10倍以上高くなります。新しい案件が来るたびに OCR を通す必要があり、その費用が LLM の費用を大きく上回るためです。

test set でのスコアの差は約3ポイントなので、どちらを選ぶかは精度と費用の兼ね合いしだいです。以降は、最もスコアの高かった OCR 入力で話を進めます。

更新が止まったあと、誤りの原因を切り分ける

残った誤りの多くは、OCR の読み誤りではなく、LLM の誤りでした。

OCR 入力では、11ステップ目を最後に validation set でのベストスコアが更新されなくなり、early stopping しました。このときの test set でのスコアは0.913です。

ここで気になるのは、残りの誤りが何に由来するのかです。OCR の時点で文字を読み誤っているなら、プロンプトをいくら直しても正解できません。そこで test set の誤り150件について、正解の値が OCR テキストの中に見つかるかを機械的に照合しました。

  • LLM の誤り:正解の値が OCR テキストにそのまま書かれている
  • OCR の読み誤り:正解の値はなく、1〜2文字違いの表記だけが見つかる
  • 判定できず:どちらとも言えない

結果は、LLM の誤りが74件、OCR の読み誤りが21件、判定できなかったものが55件でした。正しく読めているのに LLM が間違えている誤りが、OCR の読み誤りの3倍以上あったことになります。つまり、プロンプトで直せる余地はまだ残っていました。

なぜ自動のループは拾えなかったのか

残った誤答を読んでみると、プロンプトに一言書き足せば直りそうなものがいくつも見つかりました。書き足す内容を6本の規則にまとめ、それぞれを加えた場合の効果を見積もると、合計で約2.9ポイントです。

では、なぜ自動のループはこれを見つけられなかったのでしょうか。記録をたどると、理由は2つありました。

正しい規則は生成されていたが、選抜で負けていた

効果の小さい規則は、候補として生成されても選抜を勝ち抜けません。

6本のうち最も効果の大きい規則は、同じ趣旨の書き直しをオプティマイザ LLM が2回生成していました。ところが、どちらも次のステップに残っていません。

前回の記事で説明したとおり、候補の選抜では validation set の一部だけを使い、有望な候補に評価を寄せることでコストを抑えています。この方法では、少数のサンプルで推定したスコアが数ポイントの幅でぶれます。一方で、6本の規則の効果は1本あたり0.2〜1.0ポイントでした。これではぶれに埋もれてしまい、規則を足した候補と足していない候補を見分けられません。

評価を節約する仕組みが、そのまま「小さな改善を見落とす」という弱点になっていたわけです。

プロンプトが長くなり、新しい候補を作れなくなっていた

early stopping は、「もう改善の余地がない」ことを意味するとは限りません。

改善ループでは、プロンプトが際限なく長くなるのを防ぐために文字数の上限を設けています。ベストのプロンプトは、規則が書き足されるうちに出発点の約2倍の長さになり、この上限に達していました。

その結果、終盤のステップでは、生成した候補の半分以上が除外されていました。上限を超えたものと、上限に収めようとして追加分の規則だけを出力したものです。更新が止まったのは、改善の種が尽きたからというより、新しい規則を書き足す場所がなくなったからです。

人間が規則を足す

そこで、更新が止まったところに人間が規則を足し、ループを再開できるようにしました。流れは次のとおりです。

  1. 更新が止まった時点で、validation set での誤答をまとめたレポートを出力する(test set の結果は見せない)
  2. 人間がレポートを読み、規則を箇条書きで書く
  3. 規則を2通りの方法でプロンプトに入れた候補を作る
  4. 元のベストと一緒に validation set で評価し、最も良いものからループを再開する


規則の入れ方。色は処理の担当(青:タスク LLM / 橙:オプティマイザ LLM / 灰:コードのみ)を表す。

候補 A は、規則を固定のブロックとしてプロンプトに付けます。このブロックは、以降のステップでもオプティマイザ LLM が書き換えません。候補 B は、オプティマイザ LLM に規則を渡し、本文に組み込ませます。

どちらの候補も、元のベストに勝たなければ採用されません。人間が書いた規則も、LLM が書いた規則と同じように評価で選ばれます。

どんな規則を書いたのか

書いた規則は6本で、どれも1〜2文です。中身は紹介できませんが、主な型は次のとおりです。右の列は、前回のレシートに置き換えた場合の例です。

規則の型 レシートでいえば
項目を出力してよい条件 単価は、数量の記載がある行にだけ出力する
似た欄が複数あるときに読む欄 合計・お預かり・お釣りのうち、合計として読むのは「合計」欄だけ
値に含める範囲 店名に支店名は含めない
紛らわしい値の除外 会員番号や端末番号を、伝票番号として拾わない
書き写す範囲 但し書きは省略せず、全文を写す

どれも、業務を知っている人なら迷わず答えられることです。答えが書類の中ではなく、「その業務で何を知りたいのか」という書類の外の前提で決まっているからです。

一方、オプティマイザ LLM が手がかりにできるのは、ミニバッチの中の数件の誤答だけです。誤答から分かるのは「何を間違えたか」までで、「なぜそれが正解なのか」は書かれていません。オプティマイザ LLM は、数件の誤答から共通する線引きを推測し、規則として書き起こすしかありません。

実際、「どの書類にも印刷される決まり文句は、記載ありの根拠にしない」という線引きについて、オプティマイザ LLM は誤答のたびに少しずつ書き足し、ほぼ同じ内容にたどり着くまでに7ステップかかりました。業務を知っている人なら、最初に一文で書ける内容です。

さらに、人間が足した規則は、validation set の一部ではなく全件で評価してから採否を決めます。前の節で見たように、効果が1ポイントに満たない規則は、一部だけの評価ではぶれに埋もれてしまいます。全件で評価すれば、その小さな効果も見落としません。書類の外の前提を言葉にすることと、小さな改善を確実に拾うこと。人間が足すことで、自動のループに欠けていたこの2つを補えます。

結果

規則を足して再開すると、止まっていたスコアが再び上がりました。


改善ステップごとの、validation set でのベストスコア。

validation set では0.916から0.934に上がり、test set でも0.913から0.936になりました。test set で20項目すべてが正解だった案件の割合も、25.6%から33.7%に増えています。追加でかかった費用は約38ドルで、最初の最適化(約98ドル)の4割ほどです。

貼り付けるだけでは、既存の規則とぶつかる

2通りの入れ方を用意したことには、意味がありました。

規則を固定のブロックとして付けた候補 A では、ある項目の validation set での正解率が88%から77%に下がりました。同じ規則を本文に統合させた候補 B では、92%に上がっています。

原因は、付け足した規則が、本文にすでにあった規則と矛盾していたことです。人間は規則を書くときに、4,000字近い本文のすべてと照らし合わせてはいません。候補 A では、矛盾する2つの規則がそのまま並んでしまいました。

候補 B では、オプティマイザ LLM が既存の規則と矛盾しないように本文を書き直したため、この問題が起きていません。全体のスコアも候補 B が上回り、最終的なベストはこの候補 B から改善を続けたものになりました。人間が規則を足し、LLM がそれを既存の規則となじませる、という分担が成り立っています。

減ったのは、LLM の誤りだけ

規則を足したあとで、誤りの原因をもう一度切り分けます。


test set での誤りの原因の内訳。

LLM の誤りは74件から35件に半減し、OCR の読み誤りは21件のまま変わっていません。人間が書いた規則は、どれも LLM の判断を直すものなので、OCR の時点で失われた文字には効きません。プロンプトで直せる誤りだけが減った、という結果です。

ここから先を伸ばすには、プロンプトではなく入力の側、つまり OCR の読み誤りそのものに手を入れる必要があります。

終わりに

ここまでお読みいただきありがとうございました!

本記事では、実務のデータで自動プロンプト最適化を回し、スコアの更新が止まったあとに人間が規則を足した結果を紹介しました。ポイントは次の4点です。

  • 自動の改善ループが止まるのは改善の余地が尽きたときとは限らず、評価を節約する選抜が小さな改善を見落とすことでも止まる
  • 頭打ちになったら、誤りをプロンプトで直せるものと入力の側で直すべきものに切り分けると、次に手を入れる場所が決まる
  • 業務の前提で決まる線引きは誤答から推測しにくく、人間が一文で言葉にして足すほうが早い
  • 人間の規則も強制せず、LLM に既存の規則となじませたうえで評価で選ばせると、貼り付けによる副作用を避けられる

大きな改善は LLM に任せ、LLM が見つけられない小さな規則を人間が足す。そして、足した規則が本当に効いているかは、評価で確かめる。前回の「評価の設計は人間の仕事」に加えて、これが今回の実感です。

弊社では、LLM を活用したシステム開発や、こうした仕組みづくりに一緒に取り組む仲間を募集しています。興味を持っていただけた方は、ぜひ採用ページをご覧ください。

https://scieninc.jp/recruit/

GitHubで編集を提案
SCIENテックブログ

Discussion