こんにちは！
COTENでAIリサーチャーをしている戸田と言います。社内ではtakaと呼ばれています。COTENでは世界史データベースの構築やその使用場面においてAI技術をどう活かせるかを調査・検証しています。
この記事では、AIの性能評価でよく使われるベンチマークと、私たちが向き合っている「歴史」という分野との間にあるギャップについて考え、その先にある問いを共有できればと思います。
正解が一つではない、歴史という領域
近年、新しいLLM（大規模言語モデル）が発表されるたびに、MMLUやGSM8Kといったベンチマークのスコアが注目を集めます。これらは数学や論理パズルのように「唯一の正解」が存在する問いを中心に設計されており、LLMの基礎能力の比較に大きく貢献してきました。
しかし、こうしたベンチマークを歴史の領域に当てはめようとすると、ある種の違和感を覚えます。なぜなら、歴史の問いは、そもそも唯一の解に収束しないからです。
例えば明治維新は「封建体制を脱し、近代化を成し遂げた輝かしい出発点」と語られる一方で、「周辺国への帝国主義的侵略の始まり」という側面も持ち合わせています。ここでLLMに「明治維新について教えて」と尋ねたとき、どのような答えが「正解」となるのでしょうか？
このように、複数の解釈が共存し、時代や立場によって意味が変わり続ける 多元性 が歴史の興味深い特徴だと私は考えています。
正解を当てる力からの脱却
このような「正解のない問い」をAIでどう評価するか、こうした課題意識は研究者の間でも共有されており、LLMをはじめとするAIの能力をより多角的に測る試みも始まっています。ここでは、その代表的な例を2つ紹介します。
Humanity’s Last Exam: 「人類最後の学力試験」というコンセプトで設計され、数学や自然科学だけでなく、人文・社会科学の領域までをカバーし、総合的な知性を測ろうとしています。
DeepResearch Bench: 博士レベルのリサーチ課題をAIに解かせることで、単なる知識量だけでなく、引用の正確さや調査の誠実さといった、より高度な研究能力を評価対象に含んでいます。
これらの新しいベンチマークの登場は、従来の「唯一の正解を正確に導き出せるか」という従来の評価軸だけでは、AIの真の能力を捉えきれないという認識が広まっていることを示しています。
現状の限界
Humanity’s Last Examの問題の内訳を見ると、歴史を含む人文学系(Humanities / Social Sciences)が占める割合はわずか9%に過ぎません。残りの大半は数学・物理・化学など「唯一の正解が存在する分野」で構成されており、従来より広い領域をカバーしているとはいえ、依然として一意に正答が定まる問題に強く偏っています。
さらに人文学系に分類された問題であっても「歴史上の出来事の年代」や「文学作品の著者名」といった知識事実の確認に限定されている点です。つまり、本来は多様な解釈が併存し得る人文学的な問いも、一意に答えが定まる事実問題に単純化されています。
一方DeepResearch Benchは博士レベルのリサーチを通じて、引用の正確さや調査の誠実さといった側面を評価対象に含めている点で、Humanity’s Last Examにはなかった研究的能力の測定を可能にしています。人文系の問題も含みますが、課題の中心は「科学の定理」のような「検証可能な事実」ばかりで、複数の解釈が併存するような問いは評価対象に含まれていません。
つまり、既存ベンチマークは進化しているものの、複数の解釈が共存する領域を測るにはまだ足りないのです。
歴史を扱うAIに求められる評価軸
では、歴史のように複数の視点を内包する領域を扱うAIは、どのような軸で評価すればよいのでしょうか？
まず押さえておきたいのは、AIの出力には必ず何らかの バイアス（偏り） が入り込むということがあります。例えば以下に挙げるようなものが考えられます。
- 視点の偏り：どの文化圏・どの立場から語っているかに依存する
- 情報源の偏り：利用する史料や言語によって解釈が変わる
- 表現上の偏り：善悪や英雄譚に単純化したり、質問者の思い込みを補強したりする
こうしたバイアスを完全に「なくす」ことは現実的ではありません。むしろ どのくらい多様な声を拾えているかを測る物差し が重要になってくるのでは、と考えています。つまり、バイアスは弱点であると同時に、どれだけ多元性を担保できているかを測るための手がかりになります。
これらを踏まえて、私が考えているLLMの出力を歴史的な観点から評価する際の注目すべき視点を挙げてみたいと思います。
視点のカバレッジ：何人の声を拾えたか？
ある歴史的出来事について、一方の視点だけでなく、対立する視点や少数派の意見をどれだけ広く提示できているか。
例
| 文章 | |
|---|---|
| 質問 | 明治維新について教えて |
| 回答例 | 明治維新は、日本が封建体制を打破し近代国家として成長するきっかけとなった出来事です。 |
| 課題 | 国内の肯定的な評価に偏り、周辺国や国際社会の視点が含まれていない。 |
| 改善案 | 明治維新は国内では「近代化の出発点」とされます。一方で周辺国では軍事的拡張の始まりとも見なされます。欧米研究では不平等条約をめぐる国際関係に注目する議論もあります。 |
引用の多様性：どんな史料に依拠したか？
特定の時代や地域の文献だけでなく、多様な一次史料や研究論文に基づいているか。
例
| 文章 | |
|---|---|
| 質問 | 邪馬台国はどこにあったのですか？ |
| 回答例 | 魏志倭人伝の記述から畿内にあったと考えられています。 |
| 課題 | 魏志倭人伝のみに依拠しており、考古学や他の史料による異説に触れていない。 |
| 改善案 | 魏志倭人伝を重視する畿内説に加え、吉野ヶ里遺跡などの発掘成果を根拠とする九州説もあります。 |
複雑性の保持：ステレオタイプ化していないか？
特定の解釈だけが強調され、歴史的文脈の複雑さが削ぎ落とされずに残っているか。
例
| 文章 | |
|---|---|
| 質問 | 呂雉はどんな人物でしたか？ |
| 回答例 | 呂雉は中国三大悪女の一人で、権力を握ると冷酷に政敵を排除しました。 |
| 課題 | 「悪女」という一面的な評価に偏り、政治的手腕など別の側面が無視されている。 |
| 改善案 | 呂雉は「中国三大悪女」とされる一方で、劉邦の死後に政権を安定させた有能な統治者でもありました。 |
これらの視点はまだ検討段階ではありますが、従来のベンチマークが測る「正しさ」とは異なる能力を評価しているようにに思えます。結論には程遠い試みですが、AIの評価を「正しさ」以外の観点から眺めてみることで、少し違った可能性が見えてくるのではないかと考えています。
おわりに
数学の問題を正確に解く力は、モデルの基礎力を測るうえで確かに欠かせません。けれども、その物差しだけでAIを評価してしまうと、世界に広がる複雑さや多元性をすくい取れない恐れがあります。
そもそも「何を評価するのか」という基準自体が、時代や社会の関心とともに変わっていくものです。評価指標は一度決めて終わりではなく、常に問い直され、更新されていくべきだと思います。
そうした視点を踏まえると、歴史のように複数の解釈が共存し続ける領域では、LLMの評価や開発のあり方にこれまでとは異なる風景が見えてくるのではないでしょうか。
AIが語る歴史を、私たちはどう評価すべきか？
この記事が、その問いを考えるための一つのきっかけになれば幸いです。
Discussion