💭

🧠 DeepDiver解説：リアルWebでの情報探索を強化学習で最適化する新手法

に公開
機械学習
強化学習
情報検索
llm
tech

🚀 はじめに

大規模言語モデル（LLM）の情報探索能力をリアルなWeb環境で向上させる研究が注目を集めています。今回紹介するのは、Huawei Noah's Ark Labが発表した「Pangu DeepDiver」という画期的な手法です。

従来のLLMは、Wikipediaのような「きれいな」データでは優秀な性能を示しますが、ノイズや矛盾、曖昧さが溢れるリアルなWeb環境では苦戦します。DeepDiverは、この課題をSearch Intensity Scalingという新しい概念と強化学習で解決しようとする取り組みです。

📊 主な成果

  • 7BパラメータのPangu-7B-Reasonerが、671BのDeepSeek-R1に匹敵する性能を達成
  • リアルWeb環境での情報探索に特化したWebPuzzleデータセット（24K訓練サンプル + 275テストサンプル）を構築
  • 強化学習による適応的な検索戦略の学習を実現

🧩 WebPuzzle：リアルWeb環境のカオスを再現するデータセット

データセット構築の革新性

既存のHotpotQAやWikipedia系データセットの問題点は、LLMが内部知識だけで解答できてしまうことです。WebPuzzleは、この課題を以下の方法で解決しています：

📝 データ生成パイプライン

1. 候補データの生成

  • Wiki-Corpus: 構造化されたWikipediaページをベースライン用に使用
  • Open-Web Pages: Huaweiのスマートアシスタントサービスから収集した実際のユーザークエリとWebページ

2. 生成手法

Cross-Page QA（クロスページ質問応答）

例：2024年10月31日、身長125cmの普通成人観光客が深圳欢乐谷のハロウィンナイトチケットを購入する場合、いくら支払う必要がありますか？
答え：149元

この問題を解くには、チケット価格、身長制限、イベント詳細を複数のサイトから収集・照合する必要があります。

Riddle Creation（なぞなぞ作成）

例：あるアメリカ政府の禁止令により意外にも大きな注目を集めた中国のソーシャルメディアアプリがあります。ユーザーは自分たちを「難民」と呼び、このプラットフォームに移住しました。このアプリは一時期、App Storeのダウンロード数でChatGPTを上回り1位になりました。親会社は上海に本社を置いています。このアプリは何ですか？
答え：小红书（Xiaohongshu/Little Red Book）

🏷️ 難易度タグ付け

安定したRL訓練のため、各問題の難易度を以下の基準で分類：

D = \begin{cases} \text{easy} & \text{if } N_{\text{correct}} = 4 \\ \text{medium} & \text{if } N_{\text{correct}} = 2 \text{ or } 3 \\ \text{hard} & \text{if } N_{\text{correct}} = 1 \\ \text{outlier} & \text{if } N_{\text{correct}} = 0 \end{cases}

ここで、N_{\text{correct}}はDeepSeek-R1による4回のテストでの正解数です。

🎯 DeepDiver：強化学習による適応的情報探索

アーキテクチャ概要

DeepDiverは、Cold-start SFT → RLの2段階学習パイプラインを採用しています。

📚 Cold-start SFT（教師ありファインチューニング）

基礎能力の構築段階：

  • WebPuzzleサンプル2,000個
  • 実ユーザークエリ300個
  • 一般推論問題2,200個
  • 検索結果付きクエリ1,000個

DeepSeek-R1からの蒸留により、反復的検索と推論の基本パターンを学習します。

🔄 RL段階：GRPO による探索学習

**Group Relative Policy Optimization（GRPO）**を拡張した手法を使用：

\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E} \left[ \sum_{i=1}^{G} \min \left( \frac{\pi_{\theta}(o_i)}{\pi_{\theta_{\text{old}}}(o_i)} A_i, \text{clip} \left( \frac{\pi_{\theta}(o_i)}{\pi_{\theta_{\text{old}}}(o_i)}, 1 - \epsilon, 1 + \epsilon \right) A_i \right) - \beta \mathbb{D}_{\text{KL}} \left( \pi_{\theta} \| \pi_{\text{ref}} \right) \right]

相対アドバンテージ：

A_i = \frac{r_i - \text{mean} \left( \{r_1, r_2, \ldots, r_G\} \right)}{\text{std} \left( \{r_1, r_2, \ldots, r_G\} \right)}

⭐ Extra Search Call Rewards：SISの核心

DeepDiverの最重要な革新は、検索を促進する追加報酬システムです：

条件：検索なしのロールアウトが全て失敗し、検索ありのロールアウトが少なくとも1つ成功した場合

報酬：成功した検索ありロールアウトに+1.0のボーナス

E_i = \begin{cases} 1.0 & \text{if } S_i = 1 \text{ and } C_i = 1 \\ 0.0 & \text{otherwise} \end{cases}

この仕組みにより、複雑な問題で外部ツールを活用する行動が強化されます。

📈 実験結果

性能比較

手法 WebPuzzle C-SimpleQA-500 FRAMES-zh-230 Bamboogle-zh-71
DeepSeek-R1 (Iterateive RAG) 37.1 (1.48) 84.8 (1.17) 65.8 (1.31) 79.3 (1.23)
DeepDiver-Pangu-7B 38.1 (2.89) 83.7 (2.61) 52.3 (3.05) 69.5 (2.72)

括弧内は平均検索ラウンド数。DeepDiverは検索強度を大幅に向上させながら競合性能を達成。

🔍 検索強度と性能の相関

実験結果から、検索強度の増加が性能向上と強く相関することが判明：

  • 訓練段階：検索回数の増加に伴い報酬も向上
  • テスト段階：RL based DeepDiver-Qwen2.5-7Bは平均2.51ラウンドの検索で、SFTモデルの1.75ラウンドを大幅に上回る

⚠️ Over-Searching問題：諸刃の剣

現象の観察

DeepDiverの成功の裏には「Over-Searching」という興味深い課題があります：

  • 簡単な問題でも過度な検索を実行
  • 他のRL推論モデルの「overthinking」現象と類似

メリットとデメリット

📈 利点

  • 困難なタスクでより多くの証拠を収集・検証
  • 矛盾解決や情報検証などの高度な情報探索行動を実現

📉 欠点

  • 計算効率の低下
  • 簡単な問題での無駄な検索

🔬 技術的洞察

情報探索行動の分析

DeepDiverは以下の4つの情報探索行動を学習：

  1. Evidence Gathering & Supplements：知識ギャップを埋める証拠収集
  2. Conflict Resolution：矛盾する情報の解決
  3. Verification & Denoising：事実確認とノイズ除去
  4. Reflection & Correction：推論の見直しと修正

WebPuzzleでの行動統計では、従来のWiki系手法と比較してDeepDiverがより複雑で多様な情報探索パターンを示すことが確認されています。

汎化能力

興味深いことに、クローズドエンド問題で訓練されたDeepDiverは、オープンエンド問題（長文作成など）にも汎化能力を示します：

  • ProxyQAでR1蒸留モデルを9.47ポイント上回る（32.72% vs 23.25%）
  • より長い応答（1971.58 vs 590.31トークン）と多くの検索クエリを生成

皆さんはリアルWeb環境でのLLM活用についてどう思われますか？コメントでご意見をお聞かせください！ 🚀

Discussion