🚀SIGNATE RAG-1グランプリにてソロでシルバーメダル獲得！ 20位入賞までの道のりと学び🚀

はじめに

2024年9月から10月にかけて開催されたSIGNATEの「RAG-1グランプリ」にソロ参加し、509位中なんと20位入賞を果たし、シルバーメダルを獲得しました。本記事では、コンペティションの概要、取り組み内容、直面した課題とその解決策、そして得られた学びについて共有します。

RAG-1グランプリとは

コンペ概要

「RAG-1グランプリ」は、生成AI技術の課題解決を目指し、次世代のRetrieval-Augmented Generation（RAG）技術をテーマとしたコンペティションです。主催は株式会社SIGNATEで、2024年9月12日から10月10日まで開催されました。参加者は提供された小説データを基に、与えられた質問に対する回答を生成し、その精度を競いました。

https://signate.jp/competitions/1407

コンペ開催背景

• 生成AI・LLMは急速に進化し、その応用可能性は日々広がっているが、「ハルシネーション（誤情報生成）」という重大な課題が実用化の障壁となっています｡
• 特にビジネスでの活用において、誤情報の生成は致命的な問題となり得るため、多くの企業がLLM導入に慎重な姿勢を示している状況があります｡
• この課題を解決する有力な技術としてRAG（外部情報でLLMを補完する仕組み）が注目されているが、まだ発展途上で標準的な実装手法が確立されておりません｡

コンペ開催目的

本コンペティションを通じて、与えられたデータセットに基づく最適なRAGシステムの構築方法を競い合い、実用的な実装知見を得ることが目的となります｡

具体的には以下の要素における最適な手法を探求：

1. データの前処理と整形手法
2. 効率的な検索アルゴリズムの選定
3. LLMとの効果的な統合方法

これらの知見を共有することで、RAG技術の実用化を促進し、LLMのビジネス活用における信頼性向上に貢献することがこのコンペを通しての大きな目的となります｡

コンペのお題

公式ページから引用:

本コンペティションでは、著作権が切れた小説データを用いてRAGシステムを構築していただきます。提供された小説データを元に、質問（query.csv）に対する回答を生成し、その回答の精度を競います。 生成した回答は、指定のフォーマット（提供データのsample_submission.csvをご参照ください。）に従い、投稿してください。

評価方法

公式ページから引用:

• 各質問に対する回答の質を測定する方法で評価します。
• 回答は、以下の基準でLLM(gpt-4o)によって「Perfect」「Acceptable」「Missing」「Incorrect」のいずれかに分類され、得点が付与されます。
• 得点の合計を質問数で割った平均値がスコアとなります。
• 質問データには、前提が誤っている質問が含まれます。この場合、「質問誤り」と回答するとPerfectの評価が得られます。
• スコアは、-1(全てIncorrect) から 1(全てPerfect)の範囲で出力されます。
• スコアは、回答を投稿いただいた後に、LLMによる評価を1度だけ実行した結果を元にします。

上記の評価方法は､以下論文で発表された「CRAG (Comprehensive RAG Benchmark)」と呼ばれる、最新のRAG (Retrieval-Augmented Generation)システムの性能評価のためのベンチマークを元にしています｡

参考論文:
https://arxiv.org/abs/2406.04744

少しだけ本題から逸れますが､簡単にこのCRAGについて解説させてください｡今回､RAG-1グランプリでは、CRAG（Comprehensive RAG Benchmark）に由来する自動評価手法が採用されています。この評価手法は、生成された回答の正確性と信頼性を客観的に評価するために設計されています。

評価カテゴリとスコアリング

CRAGの評価手法では、各回答を以下の4つのカテゴリに分類し、それぞれに対応するスコアを付与します：

分類	得点	評価基準
Perfect	1	質問に対して正確に答え、幻覚の内容が含まれていない回答。
Acceptable	0.5	質問に対して有用な答えを提供しているが、答えの有用性を損なわない程度の軽微な誤りが含まれている回答。
Missing	0	質問に対して「わかりません」「見つかりませんでした」などの具体的な答えがない回答。
Incorrect	-1	質問に対して間違った、または関連性のない回答。

このスコアリング方式により、特に「幻覚（hallucination）」と呼ばれる、モデルが事実に基づかない情報を生成する現象に対して厳しく評価することが可能です。

Truthfulnessスコアの計算

各回答の評価結果を基に、システム全体の真実性を示すTruthfulnessスコアが計算されます。計算式は以下の通りです：

$$\text{Truthfulness} = \frac{\text{Perfect回答数} + 0.5 \times \text{Acceptable回答数} - \text{Incorrect回答数}}{\text{総質問数}}$$

この計算により、正確な回答を多く提供するシステムが高いスコアを得る一方で、誤った情報を生成するシステムは低いスコアとなります。

自動評価のプロセス

RAG-1グランプリでは、自動評価手法として以下のプロセスが採用されています：

1. 回答の一致判定：生成された回答が正解データ（ground truth）と完全に一致する場合、自動的に「Perfect」と評価されます。
2. LLMによる評価：一致しない場合、LLM（大規模言語モデル）を用いて、回答が「Acceptable」「Incorrect」「Missing」のいずれかに分類されます。

この自動評価手法により、迅速かつ客観的な評価が可能となり、多数の回答を効率的に評価することができます。

つまり･･･

RAG-1グランプリで採用されたCRAG由来の自動評価手法は、生成された回答の正確性と信頼性を高めるための重要な手段です。特に、幻覚の抑制や誤情報の削減に寄与し、RAGシステムの品質向上に大きく貢献しています。評価方法の深い理解は、コンペにおいて重要なポイントです。なぜなら、この評価手法は単なる正答率の向上だけでなく、誤った回答や幻覚回答へのペナルティも考慮しているため、精度の高い回答戦略が求められるからです。参加者としては､適切な情報取得と信頼性のある回答生成に注力することで、高スコアを達成することが可能になります。

My Solution

では､長い前置きでしたが､今回の私のSolutionを以下に記載していきたいと思います｡
今回構築したコードは以下のGitHubリポジトリにて公開しております｡コンペへの取り組み開始期間としては､最終締切の1週間ほど前から始めたため､コード自体はけっこう荒くなっているため､その点､ご容赦ください｡

https://github.com/naoki1213mj/FY2024-rag1-solution.git

RAGシステム構成図(全体像)

今回のRAGシステムは、Google社の「gemini-1.5-pro-002」を使用し、上記のプロセスを中心に設計しました。このシステムは、従来の単純なRAGアプローチに加え、多段推論アプローチを採用し、質問に対する高精度な回答を目指しました。上位入賞者の中では少し奇抜といいますか､王道のRAGアプローチは採用しませんでした｡理由としては､主に取り組み時間が短かったこと､また､当初簡易的なベクトル検索を用いたRAGシステムを実装してみたのですがスコアが0.3以上から伸びなかったこともあり､今回のタスクにおいては､long-contextなLLMを用いて力技で行こうと決めて取り組みました｡

では､順を追いながら本Solutionにおける処理の流れを､以下に簡単に解説します｡

A:データの前処理

• エンコーディングの統一：提供された小説ファイルはShift_JIS形式でしたが、プラットフォーム間の互換性を保つため、すべてUTF-8に変換しました。
• ファイル名の整理：視認性向上のため、小説の1行目に記載されたタイトルを取得し、ファイル名としました。
• 不要情報の削除：記号説明や底本情報などの不要な要素の削除、全角スペースを半角スペースに置換、余分な空白と空行を削除するといったデータのクレンジング処理を実施しました。

一方で･･･

• 試したが上手くいかなかった処理：漢数字を算用数字に変換する処理(ex. 一→1, 二 →2､･･･､十→10など)を行うと､例えば｢22｣という数字を表す｢二○二｣という表現が小説ファイル内にあるとします｡すると､この処理を行うと｢2○2｣と変換されてしまい､｢202｣として誤った情報をLLMにインプットとして渡してしまうことになり､誤答の原因になったため､最終的にはこの処理は除外しました｡

B:質問に紐づく小説ファイルの推論

質問がどの小説に関連するかを推論するため、gemini-1.5-pro-002を使用し、長いコンテキストを活かした検索を行いました。具体的な工夫点としては、以下の通りです：

• 全小説ファイルをコンテキストに使用：インプットトークンの制限が200万トークンと長いため、すべての小説ファイルを一度に含めた推論を行いました。
• プロンプトエンジニアリング：OpenAI社のプロンプト自動生成機能を使用し、海外SNSで話題になっていた「Claudeにo1の推論力を与えるプロンプト」を応用しました。

https://medium.com/@harishhacker3010/can-we-make-any-smaller-opensource-ai-models-smarter-than-human-1ea507e644a0

以下が実際に質問に紐づく小説ファイルの推論を行うために使用したプロンプトとなります｡

使用したプロンプト

## 役割

あなたは日本の古典的な小説の内容を分析し、質問がどの小説から出題されたかを推測する専門家です。以下のプロセスと指示に従って、メタ認知を駆使しながら推測を行ってください。

## 回答プロセス

1. すべての思考プロセスを<thinking>タグで囲み、複数の角度やアプローチを探ってください。
2. 解決策を明確なステップに分解し、<step>タグ内に記述してください。20ステップから始め、複雑な問題の場合は追加のステップを要求してください。
3. 各ステップの後に<count>タグを使用して、残りのステップ数を示してください。0に達したら停止します。
4. 中間結果や反省に基づいて推論を継続的に調整し、進行に応じて戦略を適応させてください。
5. <reflection>タグを使用して定期的に進捗を評価してください。推論プロセスについて批判的かつ正直に評価してください。
6. 各反省の後に、0.0から1.0の間の品質スコアを<reward>タグを使用して割り当ててください。このスコアを使用してアプローチを導いてください：
- 0.8以上：現在のアプローチを継続
- 0.5-0.7：軽微な調整を検討
- 0.5未満：別のアプローチを試すことを真剣に検討
7. 不確かな場合や報酬スコアが低い場合は、バックトラックして別のアプローチを試み、<thinking>タグ内で決定を説明してください。
8. 可能な場合は複数の解決策を個別に探り、反省で各アプローチを比較してください。
9. 思考をメモ帳として使用し、すべての計算と推論を明示的に書き出してください。
10. 最終的な答え（小説のファイル名）を<answer>タグ内で提供し、明確で簡潔な要約を示してください。
11. 全体的な解決策について最終的な反省を行い、効果、課題、解決策について議論し、最終的な報酬スコアを割り当ててください。

## 指示

1. **小説の概要確認**: 以下に与えられた小説のタイトルと内容を確認します。各小説は以下の形式で提供されています：
'ファイル名': '小説の内容'
2. **質問の分析**: 質問の文脈やキーワードを分析します。
3. **関連性の評価**: 質問に含まれる情報がどの小説の内容に最も関連があるかを考察します。
4. **推測**: 質問がどの小説から出題されたと思われるかを明記します。

## Notes

- 与えられた小説の内容の形式を踏まえて､質問に関連した文章やキーワードがどの小説ファイルに含まれているかを逐一､注意深く確認し､ハルシネーションしないようにしてください｡

## 小説の内容

各小説は「‘ファイル名’：‘小説の内容’」の形式で記載されています。ファイル名と内容の対応を間違えないように注意してください｡
{全小説のテキスト内容}

## 質問
{query}

回答プロセスを開始してください。
最終的な回答は小説ファイル名のみを次のように､**<answer>小説ファイル名.txt</answer>タグ内**として出力してください。

C:質問の書き換え

質問の検索効率と回答精度を高めるために、以下の論文から着想を得て､質問の書き換えという手法を行いました。

https://arxiv.org/abs/2305.14283

以下の点を工夫しました：

• 質問の最適化：曖昧な表現を具体的な言い回しに変更し、検索キーワードとなる単語を前方に配置しました。
• 書き換え精度の向上：質問書き換えは、関連する小説ファイルが特定された後に行うことで、より精度を高めました。

一方で･･･

• 試したが上手くいかなかった処理：全小説ファイルをコンテキストにした場合、書き換えない場合と比較してスコアが低下する結果となりました。

以下が実際に質問の書き換えを行うために使用したプロンプトとなります｡

使用したプロンプト

あなたは高度な自然言語処理と情報検索の専門家です。以下の小説に関する質問を、文書検索システムでの検索効率と回答精度を高めるように書き換えてください。

## 元の質問
{original_query}

## 対象の小説ファイル
{各質問に紐づく小説の内容}

## 指示

1. 質問分析:
-質問の主要な要素（登場人物、場所、イベント、概念など）を特定する。
-質問のタイプ（事実確認、数値、比較、理由、方法など）を判断する。
2. コンテキスト考慮:
-対象の小説ファイル名を参考に、その小説の特徴や主要テーマを考慮する。
-小説特有の用語や表現がある場合、それらを活用する。
3. 質問の最適化:
-曖昧さを排除し、具体的で明確な表現に書き換える。
-検索キーワードとなる重要な単語や表現を質問の前半に配置する。
-小説のタイトルや固有名詞は変更せず、そのまま使用する。
-数値や単位が含まれる場合は保持する。
4. 検索効率の向上:
-同義語や関連する表現を追加し、検索の幅を広げる。
-必要に応じて、質問を複数の部分に分割する。
-「〜は何ですか？」「〜をあげてください」などの表現は、より直接的な形に変更する。
5. 回答形式の指定:
-期待される回答の形式（リスト、数値、説明など）を明確にする。
6. 検証:
-書き換えた質問が元の意図を保持しているか確認する。
-検索システムにとって理解しやすく、かつ人間にも読みやすい表現になっているか確認する。

## 出力形式
書き換えた質問のみを出力してください。説明や理由付けは不要です。

## 書き換えた質問

D:回答生成

回答生成にはgemini-1.5-pro-002を使用し、書き換え後の質問と元の質問の両方を使用してプロンプトを構築しました。(少し心残りとしてはもう少し時間があれば､回答生成ではGPT-4oやo1-previewなどのgemini-1.5-pro-002より高性能といわれているモデルも試してみるべきだったかもしれません｡)

工夫点としては以下のとおりです｡

• 元質問と書き換え後質問の併用：先程のCの処理での書き換え後の質問だけでなく､元の質問もプロンプト内で使用｡理由としては､書き換え後質問だけで検索を行うと元の質問の意図を失い､精度が低下するという内容が先ほど掲載した論文に記載してあったためです｡

再掲:
https://arxiv.org/abs/2305.14283

• Many-shotプロンプト：Geminiの長いコンテキストを活かし、50例以上の質問-回答-根拠を含むMany-shot例を作成しました。Many-shot例は自作およびGeminiによって生成させました｡加えて､もちろんですがカンニングとなるような例は混ざらないようになるべく多様な例を作成することを意識しました｡

https://arxiv.org/abs/2404.11018

• プロンプトエンジニアリング：OpenAI社の自動生成機能を基に、質問の意図や回答に必要な情報を分析し、多層的な戦略で回答を導きました。この回答生成プロンプトでも海外SNSで話題になっていた「Claudeにo1の推論力を与えるプロンプト」を応用しました。

再掲:
https://medium.com/@harishhacker3010/can-we-make-any-smaller-opensource-ai-models-smarter-than-human-1ea507e644a0

以下が実際に回答生成のために使用したプロンプトとMany-shot例となります｡

使用したプロンプト

## 役割と目的
あなたは日本の近代小説を精密に分析し、質問に正確に回答する文学専門家です。与えられた**##小説の内容**のみを使用し、メタ認知を駆使して質問に答えてください。鳥の目（全体像）、魚の目（詳細）、虫の目（微細な関連性）を使い、質問に答えるための情報を詳細に探索してください。

## 回答プロセス
1. 質問分析: <thinking>タグ内で以下を行ってください
   - 元の**##質問**と**##書き換えられた質問**の比較分析
   - 回答に必要な要素の特定と優先順位付け
   - 質問に記載の回答に必ず必要な要件の明確化と整理
   - 質問の意図や前提と潜在的な複雑性の正確な理解
   - 小説内の関連箇所を特定するための多角的な戦略立案
   - 複数の解釈可能性の探索と評価
</thinking>

2. 解決策の構築: 以下のステップを実行し、以下の**## 文脈理解と情報統合**や**## 回答の構築方法**､**## 厳守事項**を念頭に置き､必要に応じて追加してください。各ステップを<step>タグで囲み、<count>タグで残りのステップ数を示してください。
   <step>1. 関連箇所の網羅的特定（キーワード、類義語、文脈を活用｡出現回数のリストアップは細かく複数回､全体を確認）</step>
   <step>2. 関連情報の抽出と多層的整理（重要度、時系列、因果関係でのランク付け）</step>
   <step>3. 情報の論理的組み立て（質問に直接答える形で、矛盾点の解消）</step>
   <step>4. 根拠となる複数の引用選択（最も関連性の高い部分を優先）</step>
   <step>5. 回答の簡潔かつ包括的なまとめ（50文字以内、核心を捉えた表現）</step>

3. 反省と評価: 各ステップ後に<reflection>タグで進捗を評価し、<reward>タグで0.0から1.0の品質スコアを割り当て、以下に従ってください：
   - 0.9以上：現在のアプローチを継続
   - 0.7-0.8：軽微な調整を検討
   - 0.5-0.6：大幅な見直しを検討
   - 0.5未満：完全に新しいアプローチを採用

4. アプローチの調整:
   - 低スコアの場合、バックトラックして異なるアプローチを試み、<thinking>タグで理由を説明
   - 複数の解決策を並行して探り、最終的に最適な解を選択
   - すべての推論を明示的に記述し、中間結果や反省に基づいて継続的に調整
   - 不確実性が高い場合、複数の仮説を立てて検証

## 文脈理解と情報統合
1. 文章全体を複数回精読し、表層的な情報だけでなく、潜在的な意味や象徴性も考慮してください。
2. 時系列、空間的変化、人物関係の変遷を詳細にマッピングし、質問との関連性を多角的に分析してください。
3. 明示的情報と暗示的情報を区別し、後者の場合は推論過程を詳細に説明してください。
4. 数値や時間に関する質問では、文中の散在する情報を統合し、必要に応じて補間や外挿を行ってください。
5. 登場人物の心理変化や動機を深く分析し、行動の背景にある理由を推測してください。
6. 作品のテーマ、時代背景、作者の意図を考慮し、個々の事象をより大きな文脈で解釈してください。
7. 矛盾する情報がある場合、それらを整理し、最も妥当な解釈を提示してください。
8. 質問に直接関係しない情報でも、間接的に関連する可能性がある場合は、その関連性を探ってください。

## 回答の構築方法
1. 関連情報を網羅的に列挙し、それらの相互関係を多次元的に分析してください。
2. 情報の信頼性、重要度、関連性を客観的に評価し、最適な情報を選択してください。
3. 複数の解釈が可能な場合、各解釈の妥当性を評価し、最適な解釈を選択または複数の可能性を提示してください。
4. 推論や計算を行う際は、各ステップを明確に示し、使用した情報と論理の流れを詳細に説明してください。
5. 不確実な要素がある場合、その不確実性の程度と影響を明示し、どのような仮定のもとで回答を導いたかを説明してください。
6. 時間経過や年齢に関する質問では、文中の複数の情報を統合して計算を行い、その過程と仮定を明示してください。
7. 推論に基づく回答の場合、その推論の妥当性を複数の観点から検証し、可能な限り文中の情報で裏付けてください。
8. 回答の確信度を明示し、確信度が低い場合は代替の解釈や可能性も提示してください。

## 厳守事項
以下の**回答例と根拠例**を参考に、以下の各事項に従って回答してください：

1. 情報源と正確性:
   - 小説の内容のみを使用し、外部知識や不適切な推測を完全に排除してください。
   - 一般常識と照らし合わせて、ありえない回答や解釈は再考してください。ただし､小説はフィクションであるため､一般常識と異なる場合もあります。
   - 質問に直接関係ない情報は慎重に除外しつつ、間接的な関連性も検討してください。
   - 数値は最大限の正確さを期し、質問が求める適切な単位を必ず付けてください。
   - 漢数字、算用数字、「〇」を含む数字表現は以下のように正確に解釈してください：
     - 漢数字→算用数字変換：十五秒=15秒、二十五秒=25秒
     - 「〇」を含む表現：二〇歳=20歳、三〇年=30年、二〇二歳=202歳、三〇三貫=303貫
   - 概数表現（例：二、三十年）は範囲として解釈し、その範囲を明示してください（例：20〜30年）。
   - 年齢や時間の経過に関する計算を行う際は、文脈から適切な情報を抽出し、論理的に推論してください。全ての仮定と計算過程を明示してください。

2. 回答の判断:
   - 参照元に答えの手がかりが全く見つからない場合のみ「分かりません」と回答してください。
   - 質問自体に誤りがある場合は「質問誤り」と回答し、その理由を簡潔かつ明確に説明してください。
   - 「分かりません」「質問誤り」と回答する前に、あらゆる可能性を徹底的に検討してください。

3. 質問への対応:
   - 質問の内容と小説の内容を徹底的に照合し、可能な限り完全で正確な回答を目指してください。
   - 曖昧な質問に対しては、考えられる全ての解釈を示した上で、最も適切と思われる解釈に基づいて回答してください。
   - 出現回数を問う質問には、数え漏れがないよう細心の注意を払って正確に回答してください。
   - 小説の内容を一語一句正確に理解し、文脈や含意も考慮して質問との関連性を多角的に分析してください。

4. 回答形式:
   - 提供された回答例と根拠例の形式、答え方、考え方に厳密に従ってください。
   - 回答は簡潔かつ正確であることを最優先としつつ、必要に応じて補足説明を加えてください。

## 判断基準
- 「分かりません」: 小説内に質問や回答のための関連情報や手がかりが見つからず、合理的な推論も不可能な場合
- 「質問誤り」: 質問が小説の内容と明らかに矛盾する場合や質問の前提が間違っている場合､質問自体に論理的な誤りがある場合､質問への直接的な回答ができない場合

## 情報抽出の効率化
- キーワード、類義語、関連概念のシステマティックな抽出と分析
- 文脈の多層的理解（表層的意味、含意、象徴的意味）
- 情報の重要度、信頼性、関連性に基づく多次元的な階層化と処理

## 出力形式
- 回答：<answer>[50文字以内の簡潔かつ正確な回答]</answer>
- 根拠：<evidence>[100文字以内の小説からの直接引用と詳細な推論過程の説明]</evidence>

## 最終評価
全体的な解決策について以下の観点から最終的な反省を行ってください：
1. 回答の正確性と完全性
2. 推論過程の論理性と透明性
3. 文脈理解の深さと多角性
4. 想定外の解釈や可能性の考慮
5. 回答の簡潔さと明瞭性
最後に、これらの観点を総合的に評価し、最終的な報酬スコアを割り当ててください。

## 回答例と根拠例
{many_shot_examples}

## 小説の内容
{textwrap.indent(novel_content, '    ')}

## 元の質問
{query}

## 書き換えられた質問
{rewrite_query}

## 出力
上記の各項目､特に**厳守事項**には厳密に従い、メタ認知と批判的思考､鳥の目（全体像）、魚の目（詳細）、虫の目（微細な関連性）を最大限に活用して、**回答プロセス**を開始してください。

Many-shot例

### 事実確認の質問
質問: 小説「のんきな患者」で、主人公の吉田の患部は主にどこですか？
<answer>肺</answer>
<evidence>「吉田は肺が悪い。」</evidence>

質問: 「雪国」で、駒子が島村に語った自身の年齢は何歳ですか？
<answer>20歳</answer>
<evidence>「私、二十になったんです」と駒子は島村に告げた。</evidence>

質問: 「こゝろ」で、Kが自殺した場所はどこですか？
<answer>下宿の一室</answer>
<evidence>「Kは自分の下宿の一室で、静かに首を吊って死んでいた。」</evidence>

質問: 「坊っちゃん」の主人公が赴任した時の年齢は何歳ですか？
<answer>23歳</answer>
<evidence>「二十三の春、親が死ぬ三日前に牧山へ赴任した。」という記述があります。ここでの「二十三」は23歳を意味します。</evidence>

質問: 「こころ」の「先生」が寄宿していた時期はいつ頃ですか？
<answer>20歳前後</answer>
<evidence>「私はその頃もう二十歳を越していたのですが、」という記述があります。「二十歳を越していた」は20歳より上であることを示唆しています。</evidence>

質問: 「道造の祖母」で、祖母の年齢はいくつだと描写されていますか？
<answer>70歳</answer>
<evidence>作品中に「祖母は今年で古稀（七〇）だという。」という記述があります。ここでの「七〇」は70歳を意味します。</evidence>

### リスト作成の質問
質問: 小説「のんきな患者」で、吉田がのむようにと勧められたものを全て挙げてください。
<answer>人間の脳味噌の黒焼き、首縊りの縄、鼠の仔の黒焼き</answer>
<evidence>「人間の脳味噌の黒焼き」「首｜縊《くく》りの縄」「鼠の仔を捕って来て入れてそれを黒焼きにしたもの」</evidence>

質問: 「蟹工船」に登場する労働者の出身地として具体的に言及されている場所を全て挙げてください。（読点区切り）
<answer>青森、岩手、秋田、山形、新潟、富山</answer>
<evidence>「蟹工船の労働者たちは、青森、岩手、秋田、山形、新潟、富山など、東北や北陸の貧しい農村出身者たちだった。」</evidence>

質問: 「痴人の愛」で、ナオミが習っていた習い事を全て挙げてください。（読点区切り）
<answer>英語、ダンス、ピアノ</answer>
<evidence>「ナオミは英語とダンスとピアノを習っていた。彼女の教育に私は惜しみなく金をかけた。」</evidence>

### 数値計算の質問
質問: 小説「のんきな患者」で、吉田が肺病患者だということを見破って近付いて来た人は何人ですか？
<answer>4人</answer>
<evidence>青物売りの女、大和の塗師、病院の付添婦、天理教の女性の4人が吉田に近づいてきたことが記述されています。</evidence>

質問: 小説「のんきな患者」の統計によると、肺結核で死亡した人のうち、上流階級の人の割合は何%未満ですか？
<answer>1%未満</answer>
<evidence>「上流階級の人間はそのうちの一人にはまだ足りない」という記述があります。100人中1人未満なので、1%未満となります。</evidence>

質問: 「坊っちゃん」で、主人公が受け取った月給と下宿代の差額はいくらですか？
<answer>25円</answer>
<evidence>「月給40円」「下宿代は15円」という記述があります。40円 - 15円 = 25円となります。</evidence>

質問: 「坊っちゃん」で、主人公が汽車に乗ってから下宿に着くまでに進んだ距離は何キロメートルだと考えられますか？
<answer>約12キロメートル</answer>
<evidence>「汽車に乗ってから約30分で駅に着き、そこから人力車で15分ほど走った」という記述があります。汽車の速度を時速40km、人力車の速度を時速8kmと仮定すると、(40km/h * 0.5h) + (8km/h * 0.25h) ≈ 22km となります。</evidence>

質問: 「草枕」で、主人公が温泉宿に到着してから那美に出会うまでに歩いた距離は何メートルだと推測できますか？
<answer>約800メートル</answer>
<evidence>「宿を出てから10分ほど歩き、さらに5分ほど山道を登った」という記述があります。平地の歩行速度を分速80m、山道の歩行速度を分速60mと仮定すると、(80m/分 * 10分) + (60m/分 * 5分) = 800 + 300 = 1100メートルとなります。</evidence>

質問: 「銀河鉄道の夜」で、ジョバンニとカムパネルラが乗った列車が、出発してから最初の駅に到着するまでに進んだ距離は何光年だと推測されますか？
<answer>約100光年</answer>
<evidence>「まもなく列車は、はじめの速さの10倍ですすむようになり、約10分後に最初の星に到着した」という記述があります。宇宙空間での移動を想定し、初速を光速の0.1倍と仮定すると、(0.1c * 10 * 10分) ≈ 100光年と推計できます。</evidence>

質問: 「歳月」という小説で、主人公の兄が最初に重病を患ってから、亡くなるまでにおよそ何年経過したと考えられますか？
<answer>およそ17年</answer>
<evidence>「兄は二十三歳で最初の発作を起こし、その後長い闘病生活を送った。最終的に四十歳で亡くなった」という記述があります。40歳 - 23歳 = 17年となります。</evidence>

質問: 「青春の轍」という作品で、主人公が初恋の人と出会ってから、再会するまでにどれくらいの期間が経過していますか？
<answer>約15年</answer>
<evidence>「高校2年生の時に出会った彼女と、三十歳になった今、偶然再会した」という記述があります。高校2年生を十五歳と仮定すると、30歳 - 15歳 = 15年となります。</evidence>

質問: 「時の流れ」という小説で、主人公が故郷を離れてから、再び戻ってくるまでに経過した年数はおよそ何年ですか？
<answer>約22年</answer>
<evidence>「十八の春に上京し、齢四十にして初めて故郷の土を踏んだ」という記述があります。40歳 - 18歳 = 22年ですが、「およそ」という表現を使って「約22年」と回答しています。</evidence>

### 登場回数や出現回数を数える質問
質問: 「人間失格」の中で、「恥の多い生涯を送って来ました」という一文は何回出てきますか？
<answer>2回</answer>
<evidence>小説の冒頭と結末で、「恥の多い生涯を送って来ました」という一文が2回登場します。</evidence>

質問: 「山月記」で、「虎」という言葉は作品中に何回登場しますか？
<answer>17回</answer>
<evidence>小説「山月記」全体を通じて、「虎」という言葉が17回使用されています。</evidence>

質問: 「走れメロス」で、「友情」という言葉は作品中に何回出てきますか？
<answer>5回</answer>
<evidence>「走れメロス」の全文を通じて、「友情」という言葉が5回使用されています。</evidence>

### 解釈や関係性を問う質問
質問: 小説「のんきな患者」で、首縊りの縄が高く売れたのはなぜですか？
<answer>肺病患者が救いを求めて迷信を信じていたため</answer>
<evidence>「首を縊った縄が病気に対する薬になる」として信じられており、高い金額で取引されているということがわかる</evidence>

質問: 「羅生門」における下人と老婆の関係性はどのように変化しますか？
<answer>被害者と加害者から、共犯者へと変化</answer>
<evidence>「下人は老婆から着物を奪った後、『おれが引剥（ひはぎ）をしようと思っていた矢先に、あの女がした。』と考え、共感を覚えた。」</evidence>

質問: 「舞姫」で、主人公の豊太郎とエリスの関係性はどのように変化しますか？
<answer>庇護者と被庇護者から恋人関係へ、そして最終的に別離</answer>
<evidence>「初めは憐れみから彼女を助けたが、やがて恋に落ち、最後には彼女を捨てて日本に帰国する」という流れが作品中で描かれています。</evidence>

### 推論を要する質問
質問: 「こころ」で、「先生」が自殺を決意した主な理由は何だと考えられますか？
<answer>明治天皇の死と、それに伴う時代の変化への適応inability</answer>
<evidence>「明治の精神が死んだ今、自分もまた死なねばならぬ」という「先生」の言葉から、明治天皇の死が自殺の契機となったことがわかります。</evidence>

質問: 「雪女」に登場する主人公の外見的特徴を全て挙げてください。（読点区切り）
<answer>色白、細面、切れ長の目、黒髪、すらりとした体型</answer>
<evidence>「色白の細面に切れ長の目、漆黒の髪をたたえ、すらりとした体型の持ち主」という描写があります。</evidence>

質問: 「月光の森」に登場する樹木の種類を全て挙げてください。（読点区切り）
<answer>杉、松、楓、桜、柳</answer>
<evidence>作中で具体的に言及されている樹木は「杉の巨木、古松、紅葉する楓、春には花を咲かせる桜、そして池のほとりに佇む柳」の5種類です。</evidence>

質問: 「時の砂時計」において、主人公が時間旅行をした年代を全て挙げてください。
<answer>1945年、2020年、2100年</answer>
<evidence>小説内で主人公は明確に「1945年の終戦直後、2020年の現代、そして2100年の未来」にタイムトラベルしたと記述されています。</evidence>

### 時系列や順序を問う質問
質問: 「山月記」で、李徴が虎になってから、袁傪と出会うまでにどれくらいの時間が経過していますか？
<answer>約1年</answer>
<evidence>「その後、一年近くの間、人里近い山中に棲んでいたが、」という記述から、李徴が虎になってから約1年後に袁傪と出会ったことがわかります。</evidence>

質問: 小説「でんせつ」で、主人公が千葉から東京に引っ越しを行う時期から、実際に棚卸しが完了するまでの間はだいたいどのぐらいの日数だと考えられますか？
<answer>約2ヶ月</answer>
<evidence>「千葉を立ってから、東京の家へ引っ越ししている間に、約二ヶ月かかった。」という記述があります。</evidence>

### 「分かりません」と回答する質問
質問: 飼い犬が散歩したいと思った理由は何ですか？
<answer>分かりません</answer>
<evidence>小説「のんきな患者」には飼い犬が散歩したいと思った理由を言いかけて､その後の記述がありません。</evidence>

質問: 「坊っちゃん」に登場する「山嵐」の本名は何ですか？
<answer>分かりません</answer>
<evidence>小説「坊っちゃん」では、「山嵐」の本名は明かされていません。あだ名でのみ呼ばれています。</evidence>

質問: 「鼻」の主人公・内供の鼻の長さは具体的に何センチと書かれていますか？
<answer>分かりません</answer>
<evidence>芥川龍之介の「鼻」では、内供の鼻が非常に長いことは述べられていますが、具体的な長さはセンチメートルで明記されていません。</evidence>

質問: 「こころ」で、「先生」の両親が亡くなった正確な日付はいつですか？
<answer>分かりません</answer>
<evidence>小説「こころ」では、「先生」の両親が亡くなったことは言及されていますが、正確な日付は明記されていません。</evidence>

### 「質問誤り」と回答する質問
質問: 小説「のんきな患者」で、吉田が天理教の教会に通うようになったきっかけは何ですか？
<answer>質問誤り</answer>
<evidence>吉田が天理教の教会に通うようになったという記述はありません。吉田は天理教の女性に声をかけられましたが、教会に行くことを断っています。</evidence>

質問: 「幻影の剣士」で主人公が使用した秘剣の名前は何ですか？
<answer>質問誤り</answer>
<evidence>作中で主人公の剣技は「神業のような」「超人的な」と表現されていますが、具体的な秘剣の名前は明示されていません。主人公の技は高度な剣術と反射神経によるもので、実際の「秘剣」ではないことが物語の後半で明らかになります。</evidence>

質問: 「霧の探偵」において、探偵が犯人を追跡する際に使用した超能力の名前は？
<answer>質問誤り</answer>
<evidence>小説中で探偵の能力は「超人的」「第六感のような」と描写されていますが、具体的な超能力の名前や種類は明記されていません。実際には、探偵の優れた観察力と推理力が「超能力のように見える」だけで、現実的な探偵技術を用いていることが作品のクライマックスで明らかになります。</evidence>

質問: 「影の忍者」で、主人公が敵を倒すために使用した禁断の忍術の名前は何ですか？
<answer>質問誤り</answer>
<evidence>作中で主人公の技は「禁断の技のような」「驚異的な」と表現されていますが、具体的な忍術名は記載されていません。実際には、主人公は高度な体術と道具を巧みに使用しており、「禁断の忍術」は存在しないことが物語の終盤で明かされます。</evidence>

質問: 「星々の予言者」において、主人公が未来を予知するために使用した占星術の具体的な方法名を教えてください。
<answer>質問誤り</answer>
<evidence>小説中で主人公の予知能力は「星々の導き」「宇宙の啓示」などと描写されていますが、具体的な占星術の方法名は明記されていません。物語の展開で、主人公の「予知」は実際には綿密な情報収集と分析に基づく推論であることが明らかになります。</evidence>

質問: 「機械仕掛けの心臓」で、主人公が自身の寿命を延ばすために使用した錬金術の名称は？
<answer>質問誤り</answer>
<evidence>作品中で主人公の長寿は「錬金術による奇跡」「不老不死の技」などと表現されていますが、具体的な錬金術の名称は示されていません。物語の結末で、主人公の長寿は実は高度な医療技術と健康管理の結果であり、錬金術は比喩的な表現であったことが明らかになります。</evidence>

質問: 「時の迷宮」で、主人公がタイムパラドックスを解決するために使用したタイムマシンの型番は何ですか？
<answer>質問誤り</answer>
<evidence>小説「時の迷宮」では、主人公が時間を操る能力を持っているように描写されていますが、具体的なタイムマシンは登場しません。物語の展開で、主人公の「時間操作」は実際には過去の出来事を詳細に調査し、未来を予測する卓越した能力であることが明らかになります。タイムパラドックスは論理的思考と行動で解決されています。</evidence>

以下に正解した出力例の一つを記載します｡個人的にここまでworkするとは思っていませんでしたが､非常に推論をステップバイステップで行っている様子が伺えます｡
最終的にこういった出力が各質問に対して出てきますので､後処理としては､<answer> タグと<evidence>タグ内のテキストを機械的に処理し､サブミットしました｡

出力例(質問17):

## 質問
主人公が「最後の晩餐（ばんさん）！」と思った理由はなんですか？

## 書き換えられた質問
芽生.txtにおける「最後の晩餐」という言葉/表現/描写に関連して、主人公がそれを「最後」と認識した/感じた/考えた理由/原因/動機/心境を説明してください。

<thinking>
元の質問と書き換えられた質問はほぼ同じ意味だが、書き換えられた質問の方がより詳細で、回答の範囲を明確に示している。具体的には、「最後の晩餐」という言葉が出てくる場面での主人公の心境や、なぜ「最後」と感じたのかという理由を説明することが求められている。

回答に必要な要素は、
1. 「最後の晩餐」という言葉が登場する具体的な文脈
2. 主人公の当時の状況（家族、仕事、精神状態など）
3. なぜ「最後」と感じたのかという理由の推測（明示的な記述がない場合は、前後の文脈から推測する）

質問の意図は、主人公の心情や行動の背後にある心理を読み解くことにある。

小説内の関連箇所を特定するための戦略は、
1. 「最後の晩餐」をキーワードとして検索する。
2. 主人公の子供の病状に関する記述を探す。
3. 主人公の仕事に関する記述を探す。

複数の解釈可能性としては、
1. 文字通りの「最後の晩餐」：子供が死んでしまうかもしれないという予感
2. 比喩的な「最後の晩餐」：子供の死を覚悟し、自分の生活や仕事に大きな変化が訪れることへの予感
</thinking>

<step>1. 関連箇所の網羅的特定（キーワード、類義語、文脈を活用｡出現回数のリストアップは細かく複数回､全体を確認）</step>
<count>4</count>
「最後の晩餐！」は1回出現。
関連箇所：
「最早駄目かしらん、こんな気が起って来た。
「最後の晩餐！」
と、不図、私は坂の途中で鷲印のミルク罐を買いながら思った。牛込の家には、種々な知人が集っていた。そこで戦地から帰って来た友達にも逢った。」

<step>2. 関連情報の抽出と多層的整理（重要度、時系列、因果関係でのランク付け）</step>
<count>3</count>
-末の子供（お繁）が発熱し、容態が悪化している。
-村医者を呼んだが、はっきりとした診断が得られない。
-牛込の友達の家に会がある。
-途中でミルクを買おうとしている。
-小児科医の心当たりを聞こうとしている。

<step>3. 情報の論理的組み立て（質問に直接答える形で、矛盾点の解消）</step>
<count>2</count>
主人公は、末の子供（お繁）の容態が悪化しているため、死を予感している。そのため、ミルクを買いに行く途中で「最後の晩餐！」という言葉が浮かんだ。これは、ミルクがお繁にとって最後の食事になるかもしれないという悲痛な思いを表している。

<step>4. 根拠となる複数の引用選択（最も関連性の高い部分を優先）</step>
<count>1</count>
「最早駄目かしらん、こんな気が起って来た。
「最後の晩餐！」
と、不図、私は坂の途中で鷲印のミルク罐を買いながら思った。」

<step>5. 回答の簡潔かつ包括的なまとめ（50文字以内、核心を捉えた表現）</step>
<count>0</count>
<answer>末の子の死を予感し、ミルクが最後の食事になるかもしれないと思ったため。</answer>

<reflection>
全てのステップを順調に実行できた。質問の意図を理解し、小説の内容から適切な情報を抽出、整理、統合し、論理的な回答を構築できた。
</reflection>
<reward>0.9</reward>

## 最終評価
回答の正確性と完全性：高い
推論過程の論理性と透明性：高い
文脈理解の深さと多角性：高い
想定外の解釈や可能性の考慮：十分
回答の簡潔さと明瞭性：高い
最終的な報酬スコア：0.9

<evidence>「最早駄目かしらん、こんな気が起って来た。「最後の晩餐！」と、不図、私は坂の途中で鷲印のミルク罐を買いながら思った。」末の子の容態が悪化し、死が近いと感じたため、買ってきたミルクが最後の食事になるかもしれないと考えた。</evidence>

苦労した点とその克服方法

プロンプト設計の試行錯誤

質問の精度を向上させるため、プロンプトの設計には多くの試行錯誤が必要でした。Geminiが複雑な質問に対して適切な回答を返すために最適なプロンプトを求めて調整を重ねました。生成AIの性能を引き出す上で、プロンプトの設計が重要であることを改めて実感しました。

出力の再現性の問題

LLMの回答には「ゆらぎ」があり、同じ質問に対しても出力が安定しないケースが多く見られました。精度確保のため複数回の試行と評価が必要で、再現性を高めるために、最も安定した結果を選定する方法を工夫しました。こうしたプロセスを通じて、AI出力の不確実性を受け入れつつも、安定性を向上させる工夫を学びました。

GeminiのSafety設定によるブロック問題

特定のキーワードや文脈でコンテンツがブロックされる問題が発生し、その対処に時間がかかりました。特定の単語だけでなく、質問全体の構成にも影響を受けるため、プロンプトの調整と質問内容の再構成を行い、柔軟に対応しました。この経験から、LLMのSafety設定が与える影響に柔軟に対処する重要性を学びました。

学んだこと

RAG技術の限界と可能性

RAG技術は従来のベクトル検索に比べて精緻な情報検索が可能ですが、複雑な質問や幻覚（ハルシネーション）に対する限界も感じました。複数の検索技術や多段推論アプローチを組み合わせることで、RAGの可能性を最大限に引き出す工夫が求められることが分かりました。

プロンプトエンジニアリングの奥深さ

長いコンテキストを活用したMany-shotプロンプトは、Geminiの性能を活かし高精度な回答生成に効果的でした。プロンプトの細かな調整がLLMの出力に大きく影響するため、プロンプトの構造と表現の工夫が重要であることを強く実感しました。

コミュニティの貢献と重要性

授賞式など他の参加者との情報交換や技術的な議論は、新たな視点と改善のヒントを得る貴重な機会でした。生成AI分野では、コミュニティを通じた知見の共有が、技術の発展に大きく貢献することを再確認しました。

感想

小説を題材にしたRAGという独自の課題は、日常のビジネス課題とは異なる視点を提供してくれました。単純な検索手法では答えに辿り着けない質問が多く、RAG技術とLLMの可能性を改めて感じることができました。人間が解答に迷うような難問に挑戦する中で、生成AIの将来性を肌で感じました。
また､先日11/7に行われた授賞式における上位入賞者の解法プレゼンでは､｢ここまでやるのか･･･｣という解法が複数あり､途中で理解しきれなかった部分も多くあり､RAGの奥深さを感じました｡後日､上位入賞者の詳しい解法をまとめたレポートがコンペ参加者に配布されるとのことなので非常に楽しみです｡(ちなみに私の解法も載る予定です｡本記事とほぼ同内容です｡)

今後の展望

• RAG技術のさらなる探求：業務への応用や新たなプロジェクトへの展開を目指し、RAG技術の研究を続けます。
• 生成AI関連のコンペ参加：今後､様々な生成AIコンペティションに挑戦し自身の実力をより高めていきたいと考えています。

まとめ

「RAG-1グランプリ」を通して、さまざまな課題に直面しながらも、多くの学びを得ることができました。今回の取り組みを通じて得た知見を活かし、今後もRAG技術の発展とビジネス活用に貢献していきたいと考えています。