Zenn
Closed5

Meta Knowledge for Retrieval Augmented Large Language Models

LLM
RAG
kun432kun432

https://twitter.com/K_Ishi_AI/status/1827888822056866035

論文

https://arxiv.org/abs/2408.09017

要約 by Claude-3.5-Sonnet

1. どんなもの？

この論文は、大規模言語モデル（LLM）を用いた検索拡張生成（RAG）システムの性能を向上させるための新しいデータ中心のワークフローを提案しています。従来の「検索してから読む」アプローチを、より高度な「準備してから書き直し、検索してから読む」（PR3）フレームワークに変換し、知識ベースのドメインエキスパートレベルの理解を実現しています。この手法は、各文書に対してLLMを使用してメタデータと合成質問回答（QA）ペアを生成し、メタデータに基づくQAクラスターとメタ知識サマリー（MK Summary）を導入することで、ユーザークエリの条件付き拡張と知識ベース全体での詳細な情報検索を可能にしています。

2. 先行研究と比べてどこがすごい？

従来のRAGシステムは、文書のチャンキングや埋め込みに関連する情報損失、人間によるラベル付けの欠如、短くあいまいなユーザークエリ、関連情報の分散など、多くの課題に直面していました。本研究の提案手法は以下の点で優れています：

  1. 文書チャンキングの代わりに合成QAを使用し、情報損失を軽減
  2. メタデータとMK Summaryを活用して、より洗練されたクエリ拡張を実現
  3. 複数の文書にまたがる高度な推論を可能にし、ドメインエキスパートレベルの回答を生成
  4. モデルの微調整を必要とせず、新しいデータセットに容易に適用可能
  5. 従来のRAGパイプラインと比較して、再現率、精度、特異性、幅広さ、深さ、関連性の全指標で統計的に有意な改善を達成（p < 0.01）

3. 技術や手法の肝はどこ？

本研究の主要な技術的革新は以下の通りです：

  1. 合成QA生成：各文書に対してLLMを使用してメタデータと合成QAペアを生成し、文書チャンキングの代替として使用
  2. メタ知識サマリー（MK Summary）：メタデータに基づいて文書クラスターの重要な概念をまとめたサマリーを作成
  3. 条件付きクエリ拡張：ユーザークエリとMK Summaryを組み合わせて、より詳細で関連性の高い検索クエリを生成
  4. PR3フレームワーク：「準備してから書き直し、検索してから読む」という新しいワークフローを導入し、より高度な情報検索と統合を実現
  5. コスト効率の高い実装：Claude 3 HaikuとSonnetを使用し、2000の研究論文の処理コストを$20以下に抑制

4. どうやって有効だと検証した？

有効性の検証は以下の方法で行われました：

  1. データセット：arXiv APIを使用して2024年の2,000の研究論文を収集し、多様な研究分野をカバー
  2. ベンチマーク：Claude 3 Sonnetを使用して200の合成ユーザークエリを生成
  3. 比較手法：従来の文書チャンキング、クエリ拡張付き文書チャンキング、QA処理を用いた素朴な拡張検索、MK Summaryを用いた提案手法の4つを比較
  4. 評価指標：再現率、精度、特異性、幅広さ、深さ、関連性の6つの指標を0-100のスケールで評価
  5. 評価方法：Claude 3 Sonnetを信頼できる評価者として使用し、各手法の検索結果と最終回答を比較
  6. 統計的分析：提案手法と他の手法との間で統計的有意性を検証（p < 0.01）

5. 議論はある？

論文では以下の点について議論が行われています：

  1. メタデータ生成の課題：文書処理前にメタデータセットを作成することの難しさが認識されています。著者らは、メタデータ生成を反復的なアプローチにすることで、発見に応じてメタデータを生成できる可能性を示唆しています。
  2. 合成QAの重複：生成されたQAの重複について調査が行われましたが、使用したケースではQAの重複が低かったため、重複排除は行われませんでした。
  3. 将来の改善点：マルチホップ反復検索や、クラスター化された知識ベースのサマリー改善などが今後の研究課題として挙げられています。
  4. コスト効率：提案手法は、モデルの微調整を必要とせずに高い性能を達成し、コスト効率が高いことが強調されています。
  5. 汎用性：この手法は、言語モデルやエンコーディングモデルの微調整と組み合わせることで、さらなる性能向上の可能性があることが議論されています。

6. 次に読むべき論文は？

本論文の内容をさらに深く理解し、関連する研究分野を探索するためには、以下の論文を読むことをお勧めします：

  1. Lewis, P., et al. (2020). "Retrieval-augmented generation for knowledge-intensive nlp tasks." Advances in Neural Information Processing Systems, 33:9459-9474.
    • RAGの基本概念と応用について詳しく説明しています。
  2. Gao, L., et al. (2022). "Precise zero-shot dense retrieval without relevance labels." arXiv preprint arXiv:2212.10496.
    • ゼロショット検索におけるクエリ拡張の手法を提案しています。
  3. Sun, S., et al. (2023). "Pearl: Prompting large language models to plan and execute actions over long documents." arXiv preprint arXiv:2305.14564.
    • 長文書に対するLLMの計画立案と実行に関する研究で、本論文のPR3フレームワークと関連しています。
  4. Zhu, Y., et al. (2023). "Large language models for information retrieval: A survey." arXiv preprint arXiv:2308.07107.
    • 情報検索におけるLLMの応用に関する包括的なサーベイを提供しています。
  5. Gao, Y., et al. (2023). "Retrieval-augmented generation for large language models: A survey." arXiv preprint arXiv:2312.10997.
    • RAGシステムの最新の動向と課題について詳細なレビューを行っています。
kun432kun432

実例を元に具体的な処理イメージを聞いてみた。

https://ja.wikipedia.org/wiki/オグリキャップ

例えば以下の文章をこの仕組みに適用する場合、どういう風に処理されるのかを図で表して。

オグリキャップ（欧字名:Oguri Cap、1985年3月27日 - 2010年7月3日）は、日本の競走馬、種牡馬[1]。
1987年5月に岐阜県の地方競馬・笠松競馬場でデビュー。8連勝、重賞5勝を含む12戦10勝を記録した後、1988年1月に中央競馬へ移籍し、重賞12勝（うちGI4勝）を記録した。1988年度のJRA賞最優秀4歳牡馬[† 1]、1989年度のJRA賞特別賞[† 1]、1990年度のJRA賞最優秀5歳以上牡馬および年度代表馬[† 1]。1991年、JRA顕彰馬に選出。愛称は「オグリ」「芦毛の怪物」「スーパーホース」など多数。
中央競馬時代はスーパークリーク、イナリワンの二頭とともに「平成三強」と総称され、自身と騎手である武豊の活躍を中心として起こった第二次競馬ブーム期において[2]、第一次競馬ブームの立役者とされるハイセイコーに比肩するとも評される高い人気を得た。 日本競馬史上屈指のアイドルホースである。 [3]。
競走馬引退後は北海道新冠町の優駿スタリオンステーションで種牡馬となったが、産駒から中央競馬の重賞優勝馬を出すことができず、2007年に種牡馬を引退。種牡馬引退後は同施設で功労馬として繋養されていたが、2010年7月3日に右後肢脛骨を骨折し、安楽死の処置が執られた。

この文章をRAGシステムに適用する過程を図で表現します。以下に、処理の流れを示した図を説明します：

[文書入力]
      |
      v
[1. 文書処理]
  |        |
  |        v
  |  [メタデータ生成]
  |        |
  |        v
  |  [合成QA生成]
  |        |
  v        v
[2. インデックス化]
      |
      v
[3. クラスタリング]
      |
      v
[4. MK Summary生成]
      |
      v
[5. ユーザークエリ]
      |
      v
[6. クエリ拡張]
      |
      v
[7. 検索]
      |
      v
[8. 回答生成]
      |
      v
[最終回答]
  1. 文書処理:
    • メタデータ生成: 例えば、「競走馬」「日本」「1980年代」などのタグ付け
  • 合成QA生成: 「オグリキャップの最大の功績は何ですか？」「オグリキャップはどのような愛称で呼ばれていましたか？」など
  1. インデックス化: 生成されたQAと元の文書をベクトル化
  2. クラスタリング: 類似のQAや文書をグループ化（例：「日本の競走馬」「1980年代の競馬」など）
  3. MK Summary生成: クラスターごとに要約を作成（例：「1980年代の日本競馬界のスター馬に関する情報」）
  4. ユーザークエリ: 例「オグリキャップについて教えて」
  5. クエリ拡張: MK Summaryを使用してクエリを拡張（例：「オグリキャップの成績」「オグリキャップの人気」「オグリキャップの引退後」）
  6. 検索: 拡張されたクエリを使用して関連するQAや文書を検索
  7. 回答生成: 検索結果を基に、LLMが総合的な回答を生成

この過程により、単なる文書検索よりも幅広く、深い情報を含む回答が生成されます。

インデックスの作り方をもっと詳しく図にして。

はい、インデックスの作り方をより詳細に図示します。以下に、オグリキャップの文章を例にしたインデックス作成プロセスの詳細図を説明します：

[原文書: オグリキャップの記事]
             |
             v
[1. テキスト前処理]
   | - 文分割
   | - 固有名詞抽出
   | - 重要キーワード抽出
   v
[2. メタデータ生成]
   | - カテゴリ: 競走馬、種牡馬
   | - 時代: 1980年代、1990年代
   | - 地域: 日本、岐阜県、北海道
   | - 成績: JRA賞、重賞優勝
   v
[3. 合成QA生成]
   | Q1: オグリキャップの主な成績は？
   | A1: JRA賞最優秀4歳牡馬、最優秀5歳以上牡馬、年度代表馬を受賞。
   | 
   | Q2: オグリキャップの愛称は？
   | A2: 「オグリ」「芦毛の怪物」「スーパーホース」など。
   |
   | Q3: オグリキャップの引退後の経歴は？
   | A3: 北海道新冠町で種牡馬として活動後、功労馬として過ごす。
   v
[4. ベクトル化]
   | - 文書ベクトル生成
   | - QAペアベクトル生成
   | - メタデータベクトル生成
   v
[5. インデックス構造作成]
   | - 逆引きインデックス
   | - ベクトルインデックス
   | - メタデータインデックス
   v
[6. クラスタリング]
   | - 類似QAのグループ化
   | - 関連メタデータの集約
   v
[7. MK Summary生成]
   | 例: "1980年代後半から1990年代初頭の日本競馬界で
   |     活躍した名馬に関する情報。JRA賞受賞歴や
   |     引退後の経歴を含む。"
   v
[完成したインデックス]

の詳細図は以下のプロセスを示しています：

  1. テキスト前処理: 原文書を分析しやすい形に整形します。
  2. メタデータ生成: 文書の特徴を表すタグや属性を抽出します。
  3. 合成QA生成: 文書の内容に基づいて、想定される質問と答えのペアを生成します。
  4. ベクトル化: 文書、QAペア、メタデータを数値ベクトルに変換します。
  5. インデックス構造作成: 高速な検索を可能にする各種インデックスを構築します。
  6. クラスタリング: 類似の内容やメタデータを持つ項目をグループ化します。
  7. MK Summary生成: クラスターの概要を要約した メタ知識サマリーを作成します。

このプロセスにより、元の文書から構造化されたインデックスが作成され、効率的で精度の高い検索と回答生成が可能になります。

検索のプロセスを同じように説明して

はい、検索プロセスを詳細に図示して説明いたします。以下に、ユーザーのクエリから最終的な回答生成までの検索プロセスを示します：

[ユーザークエリ: "オグリキャップの成績と人気について教えて"]
               |
               v
[1. クエリ解析]
   | - キーワード抽出: オグリキャップ、成績、人気
   | - 意図推定: 競走馬の情報要求
   v
[2. メタデータ検索]
   | - 該当カテゴリ: 競走馬、1980年代、1990年代
   | - 関連MK Summary取得
   v
[3. クエリ拡張]
   | 原クエリ + MK Summaryに基づく拡張
   | - "オグリキャップのJRA賞受賞歴は？"
   | - "オグリキャップの重賞成績は？"
   | - "オグリキャップが起こした競馬ブームとは？"
   v
[4. ベクトル検索]
   | - 拡張クエリのベクトル化
   | - 類似度計算（コサイン類似度など）
   | - 上位N個の関連QAペア取得
   v
[5. 関連文書取得]
   | - 検索されたQAペアに紐づく原文書の取得
   | - メタデータに基づく追加文書の取得
   v
[6. スコアリングと順位付け]
   | - 関連性スコア計算
   | - 情報の新しさ、信頼性の評価
   | - 最終的な検索結果のランキング
   v
[7. コンテキスト生成]
   | - 上位の検索結果を統合
   | - 矛盾や重複の解消
   v
[8. LLMによる回答生成]
   | - コンテキストを入力として使用
   | - ユーザークエリに対する回答を生成
   v
[最終回答]
   "オグリキャップは1980年代後半から1990年代初頭に活躍した
    日本の競走馬で、優れた成績と圧倒的な人気を誇りました。
    成績面では、JRA賞最優秀4歳牡馬（1988年）、最優秀5歳以上
    牡馬および年度代表馬（1990年）を受賞し、重賞12勝（うち
    GI4勝）を記録しました。人気面では、'平成三強'の一頭として
    第二次競馬ブームの立役者となり、'芦毛の怪物'や'スーパー
    ホース'などの愛称で親しまれ、日本競馬史上屈指のアイドル
    ホースとして高い人気を博しました。"

この検索プロセスの各段階を説明します：

  1. クエリ解析: ユーザーの質問を解析し、主要なキーワードと意図を抽出します。
  2. メタデータ検索: クエリに関連するメタデータとMK Summaryを特定します。
  3. クエリ拡張: 元のクエリをMK Summaryに基づいて拡張し、より包括的な検索を可能にします。
  4. ベクトル検索: 拡張されたクエリをベクトル化し、インデックス内の類似のQAペアを検索します。
  5. 関連文書取得: 検索されたQAペアに関連する原文書とメタデータに基づく追加文書を取得します。
  6. スコアリングと順位付け: 検索結果の関連性をスコア化し、最も適切な情報を選別します。
  7. コンテキスト生成: 上位の検索結果を統合し、一貫性のあるコンテキストを作成します。
  8. LLMによる回答生成: 生成されたコンテキストを基に、LLMがユーザーの質問に対する最終的な回答を生成します。

このプロセスにより、単純なキーワードマッチングよりも深く、関連性の高い情報を含む回答が生成されます。MK Summaryやクエリ拡張を利用することで、元の文書にない補完的な情報も考慮に入れた、より包括的な回答が可能になります。

kun432kun432

あくまでも個人的な感想

  • かなりモリモリとインデックス作ってる印象
    • 自分的にはこれが革新的・ベストなRAGのアーキテクチャという感はあまりない
    • たくさんあるRAGのテクニックの1つという印象
    • そしてどんどんRAGが複雑化することの懸念が強くなる
  • QAとドキュメントをセットにすることでお互いに相互補完する感じかな。どちらか片方だけでは精度向上に限界がある
    • ドキュメントチャンクはそもそもクエリと近しくないのが根本的な精度向上の壁になっていると思っていて、さらにチャットというクエリを要求するようなインタフェースになっているのがまた根本的に噛み合わないところだと思っている
    • QAというのはチャットとの相性は良さそうなんだけども、ユーザがしそうなQを用意できるかどうか、QAを作るという作業がかなり人的稼働が高いのがネック
      • LLMにやらせるという方法はあるけども、ここは直接的・人間的な部分でもあると思うので、人管理のほうが品質が上げれそう

これが間違っているとはぜんぜん思ってないし、現実的にこういうアプローチは自分の経験則的にもわかる感あるし、精度もあがりそうではあるのだが、なんというか、運用的にはあまり楽にならなさそう感があって。技術的なブレイクスルーで解決できないかなぁ？という思いがある。簡単ではないのだけど。

単にRAG構築・運用を精度・費用だけで見るとつらそうなので、業務フローにどうなじませるか？とか、どういう姿で業務効率あげるか？とかの方向も考え出すのだけど、そうなるとそもそもRAG・チャットが果たしてその最適な姿なのか？というところを最近は考えてしまうなぁ。。。

kun432kun432

（なんだかんだ言って精度が求められるというのはまあよくある話なのでそこは理解しているつもり）

kun432kun432

（これが必要な施策であるということを、お金出してくれる人に対して、納得してもらえるよウニわかりやすく説明できる能力が自分にはないのもある）

このスクラップは21日前にクローズされました