LLM は二次資料？情報源としての LLM との向き合い方

LLM が現れてから数年が経ちましたが、未だに変化が激しく、多くの人が向き合い方を模索している途中だと思います。LLM には様々な使い道がありますが、私は最近、情報を得る手段として LLM を利用するときの向き合い方に悩んでいるので、思ったことを記事にしてみます。色々な人の意見が知りたいので、反応が頂けると大変嬉しいです。

前置き①　二次資料のでき方

LLM が現れる前から「一次資料 (primary sources)」と「二次資料 (secondary sources)」の区別は存在しました。

一次資料はオリジナルの情報源で、二次資料は誰かがそれをまとめたものです。つまり、二次資料にも、それを作った人がいます。そこで、ある A さんが一次資料に基づいて二次資料を作る過程を考えてみます。

A さんには A さんの考え方があります。これは、生まれつきの性格や、それまでに体験・見聞きしたことなど、色々な要素で決まります。そのため、A さんが新たな情報に触れると、A さんなりの解釈が生まれます。

もし A さんの背景知識に反する情報があれば、A さんはこれを受け入れなかったり、逆にこれに合わせて A さん自身の考え方を修正したりするでしょう。こうして、A さんの中には一連の物語ができ上がります。

この物語が、A さんの作る二次資料になります。そのため、1 つの二次資料に相容れない 2 つの物語が共存することはなかなか無いでしょう。

では、LLM はどれほど二次資料として振る舞えるのでしょうか。それがこの記事の中心的な問いです。

前置き②　学問の分野

学問には様々な分野があり、各分野に携わる人ひとりずつの頭の中に、その分野についての物語があります。この物語ができ上がる過程には、同じ分野に携わる他の人たちが関わります。

たとえば数学者の物語はとても厳密なのだと思います。ずっと昔の人が書いた数学の教科書、大学の講義やゼミ、論文や学会などを通して、他の数学者の物語に触れ続けた結果なのでしょう。それが、数学以外の様々な要素と合わさって、その人自身の物語を作っています。

こうして分野が存続するので、「分野内で共通の物語」がある程度存在します。いくら専門が違っても、同じ数学者なら、定義をして、定理を立てて、証明をするという流れは流石に共通でしょう。

これは、今までその分野に関わってきたたくさんの人が疑問を立て、それにまたたくさんの人が答えてきた結果です（数学史に詳しければ、ここで解析学の基礎付けとか何とかの例をかっこよく出したかったな……）。

分野についての背景知識を持たない人が、自力で思いつく程度の疑問を LLM に尋ねたところで、この物語は得られなそうです。これを踏まえて、私たちは「情報源としての LLM」とどう向き合うべきなのでしょうか。

本題　LLM は二次資料か？

GPT や Gemini や Claude を見ていると、回答の傾向に違いはありますが、基本的にはどれも汎用的な人工知能という感じです。デフォルトでは平均化されたフラットな物語を持ち、クエリで文脈を与えられてはじめて専門的な鋭い視点を持ち始めます。

たとえば数学者が物理学の本を読んで、厳密性の無さを感じることがあるでしょう。しかし、著者の興味の中心は、理論が実際の現象をよく表すことにあります。このとき、数学と物理学は 1 つの物語として共存できていません。では、ある質問に対する物理学者の回答が、数学者にとっては受け入れがたいものだとします。同じ質問を LLM に投げかけたとき、LLM は数学と物理学どちらの視点で答えるべきでしょうか。少なくともユーザが「物理学者の考えと数学者の考えは違うことがある」と知っていないと、適切な回答は引き出せないでしょう。

少なくとも今の LLM は、1 つの物語を持たないという点で、二次資料とは区別すべきだと私は考えています。これは、このまま LLM の精度が向上してハルシネーションが無視できる確率になったとしても、「汎用的な人工知能」である限り残り続ける問題です。

ただ、裏を返せば、専門家が適切に使えば LLM も間違いなく情報源として有用です。そこで私は、一次資料・二次資料と区別するために、LLM を二階資料 (second-order sources) と呼んでいます。言葉を与えることで、違いを議論しやすくなりました。

LLM 開発者が今後も汎用的な人工知能だけを開発し続けるかは分かりません。ドメイン特化型の小さなモデルをたくさん用意して、ユーザが手動で選択する方法なども考えられます。いま話題のコンテキストエンジニアリング (context engineering) によって、質問者が専門外でも、質問の内容に応じてもっと適切な物語を引き出せるようになる可能性もあります。

また、それ以前の問題として、そもそも一次資料と二次資料を区別する意識が薄い人もいます。そういう人は LLM の回答もそのまま信じていることが多いように見えます。まず背景知識を蓄え、二次資料の違和感を察知し、一次資料を確認できること。それができない専門外の分野については、あれこれ言わないこと。LLM でそれっぽい資料が量産できる今、この基本がますます重要になっていると思います（これは自戒でもあります）。

これからの二次資料のあり方

上の話をひっくり返せば、ただ一次資料を並べ立てるだけの二次資料なら、LLM の発達に伴って不要になるとも考えられます。RAG なり何なり、資料を引っ張ってくる技術は既にあるので、検索対象を一次資料に制限できればいいわけです。

そこで、二次資料のもつ物語という要素が際立ちます。どんな視点で書くか。どんな読者を対象とするか。たとえば、「初心者の視点から、理解しやすい順に並べる」とか。そういうのを大切に……って、結局これも昔から言われてきたことかもしれませんね。

まだ色々、考えが定まらないことが残っています。LLM を使って、数学者と相容れない物語に基づく長文を生成し、未解決問題を解決したと主張するような人が、今後増えたらどうするか……とか。

下のコメント欄でも、X や Misskey でも、はてブでもいいので、何かコメントを頂けると嬉しいです。あなたの物語に基づいたコメントを……。