llms.txtは本当に必要か?
llms.txtとは
llms.txtはウェブサイト上の情報をLLMにとって読み取りやすい形で提供することを目的としたテキストファイルです。
2024年9月にAnswer.AI共同創設者のJeremy Howard氏によって提案されAnthropic社と協働して開発された比較的新しいウェブ標準"案"です。
形式はMarkdown記法を採用しており、サイト内の重要なページへのリンクや概要を構造的に記述します
例として以下はAnthropicの開発者向けドキュメントのllms.txtです。
前提
ただ前提としてOpenAI、Anthropic、Googleについてはllms.txtのサポートを表明していません。
(llms.txtを公開していることとクローラーが対応していることを混同している記事がいくつか見受けられました)
これら主要サービスが対応していない以上、少なくともこの記事の執筆時点(2025年6月)ではllms.txtを導入する実際的なメリットは殆ど無いといえるでしょう。
構造的な課題
では今後普及する可能性はどれだけでしょうか?
llm.txtは以下のような構造的な課題を抱えておりそれを踏まえるとその可能性は低いのではないかと考えています。
プロンプトインジェクションに対する脆弱性
llms.txtをどうして信頼できるでしょうか?
これはllms.txtにおける事例ではないですがこのような形でのプロンプトインジェクションが報告されています。
これと同じように例えば自社サイトを優先的に表示させるようなプロンプトが仕込まれていないとも限りません。
実装上のコストの問題
llms.txtをAI検索に組み込むとすれば、まず存在するかもわからないllms.txtを確認し、存在した場合にはその膨大なコンテキストを消費した上で該当のURLにアクセスするという流れを踏むことになると思います。
それによるトークンの消費、レイテンシーの増加等のコストを踏まえると単に検索エンジンの結果を使うだけの実装として比較して費用対効果の低いアプローチと言わざるを得ません。
Google(Gemini)が対応するメリットが薄い
最強の検索エンジンを握るGoogleからすればその優位性を落とすことにもなり得るllms.txtの普及には消極的にならざる負えないでしょう。
またRedditでは上記の問題を踏まえたうえで検索エンジンの担当者であるJohn Mueller氏はRedditでこのような発言をしています。
(Google翻訳) 私の知る限り、どのAIサービスもLLMs.TXTを使用しているとは言っていません(サーバーログを見れば、チェックすらしていないことがわかります)。私にとって、これはキーワードメタタグに相当するものです。サイト所有者が自分のサイトについて主張する内容です…(本当にそのサイトがLLMs.TXTを使用しているのでしょうか? まあ、確認すればいいでしょう。その時点で、サイトを直接確認すればいいのではないでしょうか?)
もちろんこれはGoogleの公式な見解ではありませんがその筋の専門家がllms.txtに高い価値を見出していないことは明らかです。
おわりに
最近はSEO業界ではAIブームとともにAIOやLLMOなどがバズワードです。
それに対してわかりやすくそれらしい1つの回答を示すのがllms.txtだったというただそれだけなのでは?というのが個人的な感想です。
Discussion