RAGで人間の脳を再現する

導入

こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。

今回は、人間の脳の構造をRAGに応用することで検索、回答の性能を向上させる手法「HippoRAG 2」について解説します。

https://arxiv.org/pdf/2502.14802

なお、この手法の前身である「HippoRAG」は、過去に解説しておりますので、そちらもぜひご確認ください。

サマリー

一般的なRAGは、単純なベクトル検索を利用しているため、意味の理解をするという面で限界がありました。特に複数回の検索が必要な場合や、質問の意図を解釈する必要がある場合に特に精度が下がります。HippoRAG 2は、人間の長期記憶の仕組みを真似するように、ナレッジグラフを利用することで特に、複雑な質問への回答性能を大幅に向上させています。

問題意識

RAGの意味理解の限界

RAGは、LLMの知識を後から補う手法として欠かせないものですが、質問文を元にした意味検索をする関係上、複数の情報を参照する必要のある質問に答えるのが得意ではない。という問題があります。例えば、「Aさんはどこの大学出身ですか？」という質問で「Aさんは、X研究室の出身です」という情報と、「X研究室はN大学にある研究室です。」という情報が別々にある場合にどちらも検索できないとうまく回答できないのですが、従来のRAGではこれら２つ、特に後者の情報をうまく取得できない問題が発生しやすいです。

HippoRAG 2の特徴

HippoRAG 2は従来の知識グラフを用いたRAGと比較すると、データの持ち方に特徴があります。通常、知識グラフを用いたRAGでは単語同士の関係性をいかに上手に保持するかという点に焦点が当たります。これに対してHippoRAG 2では、単語同士の関係性に加えて文章との関係性も知識グラフに含んでいます。そのため、特定の単語から具体的な関連性の高い文章も連想することができるようになります。例えば「東京タワー」と聞いて「333m」、「電波塔」とイメージするだけではなく、「...2011年までTVを見るための電波塔として機能していた...」などのより文脈のある情報を連想できるようになります。

脳の再現

HippoRAG 2が脳を再現していると表現されている理由には、以下のように各脳の機能とシステムが対応しているためです。

人間の脳の部位	HippoRAG 2における対応機能	役割
新皮質	LLM の言語理解と生成能力	高度な言語理解
海馬	知識グラフと検索機構	記憶の形成と関連づけ、知識の連想
傍海馬皮質	埋め込みモデル	連想知識の高速取り出し

事前準備

HippoRAG 2はまず、ドキュメントの情報をLLMに解析させて、主語、関係、目的語の関係とドキュメントの要約を作成します。そして、知識グラフに保存する際には以下のようなエッジ(関係性)を構築します。

• 主語、関係、目的語のデータをそのまま保存
• 「去年」と「2024年」といった同じ意味を持つ言葉を結びつける
• 単語と要約が直接関係するものを結びつける
• 概念の階層化(例: 物理学 -> 含む -> 量子力学)
• 近い意味の文章を連携(Embeddingで類似している要約を保存)

この中でも特に「単語と要約が直接関係するものを結びつける」という部分がHippoRAG 2の特徴が現れている部分になります。

検索方法

クエリをベースに知識グラフを検索する手法として、キーワードをベースに検索する手法(HippoRAGで採用された手法)や、クエリとノードを直接比較する手法などがあります。HippoRAG 2では、クエリと「主語、関係、目的語から作られた文章」とのEmbeddingによる類似度の検索を採用しています。これは、HippoRAG 2が一貫して知識グラフに文脈をいかにして組み込むかに着目しているためです。

なお、最初のノードの選択の後はPersonalized PageRankというグラフRAGでは一般的な手法を採用して、関連性の高いノードを選択しています。端的に言うと、最初に選択したノードと関連性の強いノードを優先的に選択していき、一定数取得したらその内容をそのままLLMに渡して回答を生成する。という手法です。

成果

各種Embeddingモデルや検索手法と検索の精度を比較しています。HippoRAG 2は、複数ソースの検索や単一の情報源の検索など様々な項目において高い検索性能を誇っており、平均して従来の手法(最新のEmbeddingモデル)よりも5%高い精度を実現しています。

各手法と比べて、それぞれの得意分野と同等ないしはそれ以上の性能を保てているとことが特徴と言えそうです。

まとめ

HippoRAG 2は、脳の記憶のように単語と文章をまとめて知識グラフに保持することで、複雑な質問に対して正確に回答できるようになっています。RAPTORのように似た手法もありますが、単語と文章を直接関連付けることで情報の喪失(見落とし)を防いでいる点で優れていると言えそうです。

比較的複雑な手法ではありますが、単一の情報では解決できないクエリを想定するRAGでは有効な手法かと思うのでぜひ選択肢として参考にしていただければと思います。