RAGの検索精度が上がらない? 抽出ルールを「可視化」してHITLで改善する
背景
少し試したいことがあり、改めてRAGを作ってみることにしたのですが
そのときに改めて感じたLLMに頼りきらない運用のポイントについて書いてみます
RAG とは
Gemini 曰く、下記の定義です
最新の辞書や社内マニュアルを検索した結果をAIに与えて、
それを参照しながら答えてもらうことで、回答の精度をあげるというものです
上記だけ見ると、うまくいきそうに見えるかもしれませんが、
現実にはさまざまな課題が存在します
RAGの課題(データソースのフォーマットの揺れ)
RAGの肝になるのが、検索の精度です
結局は検索結果が正しくなければ、当然、AIの回答も正しくなりません
そして、検索の精度の肝になるのが、データソースの構造化です
組織に属したことがある方なら、直面したことがあるのではないかと思いますが、
データソースとなるマニュアル等は組織内で統一的なフォーマットで
作成されていないことがよくあります
そのため、AIに検索結果を渡そうと思っても、
マニュアルによって、うまく検索できるものやできないものが混在し、
検索の精度が出ないため、回答精度が落ちてしまいます

フォーマットの揺れへの対策とその課題
そこで、LLMにデータソースのドキュメントを読んでもらい、
統一的なフォーマットへ変換し、出力してもらうことを考えます
今回、検証に使用したデータは下記のAllganize社が公開しているデータです
※執筆時点で、すでに存在しないドキュメントが一定数発生していましたが、あくまで検証のため、該当のドキュメントは除外し、精度を算出しています
上記のデータのPDFファイル群を対象に統一的なフォーマットへの変換を試みました
具体的にはLLMにドキュメントを参照のうえ、
抽出のための正規表現等を検討してもらい、タイトルや章などを抽出してもらいました
LLMによるフォーマット統一の課題
本アプローチで、うまく抽出できるPDFとうまく抽出できないPDFとが出てきました
プロンプトを修正し、何度かトライしても、
うまくいくPDFとうまくいかないPDFとが存在し続けます
LLMに委ねる以上、上記のような事象はよく起きるため、
プロンプトエンジニアリングで全てなんとかしようというのは改めて厳しいと思いました
LLMに処理を委ねるときのポイント
ついつい、AIのすごさにすべてを任せたくなってしまうのですが、
思った通りに動かない時に、運用で制御したいシーンは必ず出てきます
今回のケースも同じように考え、中間生成物を作ってもらうことが重要だと思いました
そうすることで、LLMが間違っていても、中間生成物を人が修正し、
そこから処理を再開することで精度を上げたり、コストを抑えたりすることができます
Human in the Loop(HITL)を前提とした設計
今回のケースでは、下記をLLMに委ねていました
「LLMがドキュメントを参照し、正規表現等を検討し、タイトルや章などを抽出する」
Human in the Loop(HITL)を前提とした設計とし、
上記の正規表現等のルールを中間生成物として手元に残すようにしました
そうすることで、そのルールを人が直すことで、抽出精度を改善することができます

結果
それでは、上記の前提での検証結果を示します
利用したデータのうち、すでに元ドキュメントが存在しないものがあったため、
それらは除外した241ファイルでの評価結果になります
初期
🔳評価結果 (241サンプル)
| 指標 | P@1 (Top-1) | P@3 (Top-3) | P@5 (Top-5) |
|---|---|---|---|
| ファイル名正解率 | 91.70% | 93.36% | 94.19% |
Antigravityで中間生成物方式に至るまでに対話しながら試行錯誤があったので、
初回でもそこそこのファイルのヒット率を実現できています
しかしながら、11ファイルがTOP1にヒットできずという状況です
中間生成物があることで、その11ファイルに対しては
中間生成物の抽出ルールを修正し、再抽出して、DBを更新することで改善が図れます
中間生成物の一部を修正した結果
試しに上記の11ファイルのうち、2ファイルだけを抽出ルールを修正してみました
※この2ファイルについても、LLMと相談しながらの修正を実施しました
(時間の都合上、2ファイルだけの修正になっています。。)
その結果が下記になります
🔳評価結果 (241サンプル)
| 指標 | P@1 (Top-1) | P@3 (Top-3) | P@5 (Top-5) |
|---|---|---|---|
| ファイル名正解率 | 92.53% | 94.61% | 95.44% |
当然と言えば当然ですが、初回と比べて、改善が見られています
しかし、実際の運用では、ドキュメント側の構造が変わることや
新しいドキュメントが追加されることなどがあるため、
このような地道なAIと人との共同作業はなくならないと思います
なので、その前提で、効率的な運用のための人の介在箇所を意識しておくことが重要だと感じました
まとめ
今回はRAGをケースとして挙げましたが、
LLMに処理を委ねるときのポイントとして、
HITLを意識することは汎用的に使える考えかと思います
Antigravityなどでも人が確認できる生成物(Implementation PlanやTask)が
作られ、そこを修正することで軌道修正ができるようになっています
LLMに任せすぎて、うまくいかないときは一度、中間生成物を作らせて
人が制御できるポイントを作ってあげることが急がば回れで重要だと思いました
Discussion