COTEN の佐原です。会社では k と呼ばれています。
先日、“いちから Try2025” 審査会にて優秀賞をいただきましたので、その報告をしたいと思います。テーマは『歴史書を対象とした RAG データ構築とそれを使用したバイアス検知』です。なお、本件の概要については以下にも掲載されています。
参加の経緯
例によって今回の背景からです。自分はこの 2025 年、「人文知にはコンピュータサイエンスによって明らかになることが、もっともっとあるのではないか」という仮説のもと、専門家たちとの交流を増やすための活動を各方面で行ってきました。
（上記と時間的には前後しますが）今回はその第 3 弾ということになります。
ただ実は当初、本取り組みは COTEN とはまったく関係のない個人のテーマで進めるつもりでいました。複数社による研究ということになると、権利面の調整が必要になると考えたからです。実際、応募時には哲学を分析の対象としています。
しかしせっかくの機会だったので、人工知能学会の懇親会の席でたまたま？隣になったいちからの研究者にこの状況を相談したところ、「COTEN にデータがあるならそれを活用してみたらどうか」というアドバイスをいただき、最終的には両者を組み合わせて研究を進めることになりました。
発表の内容
さて、再掲となりますが今回のテーマは『歴史書を対象とした RAG データ構築とそれを使用したバイアス検知』です。ここではその触りの部分だけをご紹介します。
と言っても、バイアスに関する私たちの問題意識については、すでに以下の記事に集約されています。
数学の問題を正確に解く力は、モデルの基礎力を測るうえで確かに欠かせません。けれども、その物差しだけで AI を評価してしまうと、世界に広がる複雑さや多元性をすくい取れない恐れがあります。
では、その複雑さや多元性をどのように認知すればよいのか？私たちには超強力な味方がついています。 COTEN の歴史調査チームと、彼らが扱う歴史書です。
ここで最もイメージしやすいのは RAG (Retrieval-Augmented Generation) でしょう。ある程度質と量が担保された歴史に関するドキュメントを LLM が参照できるようにすれば、それらの文脈を踏まえた回答が出力されるはずです。実際に歴史調査で出てきた問いを LLM に回答させる実験を、社内でも開始しています。
しかし、よく言われるように事前学習モデルが内包しているバイアスを、完全に除去することは困難です。そもそもバイアスのない表現など存在するのか、という根源的な問いもあります。
そこで次に注目したのは歴史調査を行う、チームそのものです。彼らは歴史の事象や解釈を俯瞰的 / 多角的 / 構造的に捉えることを常に意識しているように見えます。もしそうだとすれば、先ほどのツールへの質問、あるいはインタラクションの仕方も一般ユーザーのそれとは異なるものになるでしょう。そして、それらは幸いにもログとして残っています。
このログ、言い換えるとこの QA データセットを使うと、どんなことがわかるのでしょうか？
残念ながら紙面？の都合でここに詳細を述べることは叶いませんが、今後本研究の成果を対外的に発表する予定もあるので、そのときをお待ちください！
最後に
先述の 3 つの取り組み（SciSci / JADH / いちから Try）によって、 2025 年に実現しようと考えていた私の目論見は達成されました。それと直接の関係があるのかどうかはわかりませんが、社内でも最近正式に Lab チームが発足しています。データサイエンスの力で人文知を理解するというチャレンジを、このチームで今後より加速させてゆきたいと考えています！
Discussion