<h2 id="llm%E6%99%82%E4%BB%A3%E3%81%AEweb%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%A8%E3%81%AF" data-line="1" class="code-line">
<a class="header-anchor-link" href="#llm%E6%99%82%E4%BB%A3%E3%81%AEweb%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%A8%E3%81%AF" aria-hidden="true"></a> LLM時代のWebアクセスとは</h2>
<p data-line="3" class="code-line">世は大LLM時代。皆が元気にTavilyでWebクロールしたり、AI AgentでガンガンDeep Researchする時代は、人間用のWebサイトにえげつない負荷を与えているのであった。</p>
<p data-line="5" class="code-line">そんな時に「仕様を1枚のテキストにまとめたよ！」みたいな情報が時々流れてくるが、これは<code>LLMs.txt</code>というらしい。恥ずかしながら仕様の存在を知らなかったので、勉強がてらにまとめてみる。</p>
<h2 id="llms.txt%3F" data-line="7" class="code-line">
<a class="header-anchor-link" href="#llms.txt%3F" aria-hidden="true"></a> LLMs.txt?</h2>
<p data-line="9" class="code-line">Answer.AI の Jeremy Howard 氏が2024/9/3に提案したのが発端のようだ。</p>
<p data-line="11" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__795137260fee9" src="https://embed.zenn.studio/card#zenn-embedded__795137260fee9" data-content="https%3A%2F%2Fllmstxt.org%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://llmstxt.org/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://llmstxt.org/</a></p>
<p data-line="13" class="code-line">LLMs.txtはLLM（推論エンジン）向けの課題を解決するための提案である。LLMのコンテキストウィンドウの制限に対応したり、不要なマークアップやスクリプトを削除し、AI処理に最適化された構造でコンテンツを提供できる。ということらしい。シングルファイルなのでCDNにポン置きできるし、人間用のサイトへの負荷も減らせていいように思う。</p>
<p data-line="16" class="code-line">ある意味当然なのだが、このサイトにも<code>https://llmstxt.org/llms.txt</code>があり、本記事もそこからの知識をNotebookLMに突っ込んでインプットにしている。(なので便利さを理解している。)</p>
<h3 id="%E4%BB%96%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%A8%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%81%A5%E3%81%91" data-line="19" class="code-line">
<a class="header-anchor-link" href="#%E4%BB%96%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%A8%E3%81%AE%E4%BD%8D%E7%BD%AE%E3%81%A5%E3%81%91" aria-hidden="true"></a> 他ファイルとの位置づけ</h3>
<p data-line="21" class="code-line">説明を見ていると検索エンジン用のファイルを思い出すが、役割の違いを再確認する。</p>
<ul data-line="23" class="code-line">
<li data-line="23" class="code-line">robots.txt
<ul data-line="24" class="code-line">
<li data-line="24" class="code-line">
<strong>検索エンジンのクローラー</strong>のアクセスを制御するもの</li>
</ul>
</li>
<li data-line="25" class="code-line">sitemap.xml
<ul data-line="26" class="code-line">
<li data-line="26" class="code-line">インデックス可能な<strong>ページのリスト</strong>
</li>
</ul>
</li>
</ul>
<h2 id="%E5%88%86%E9%A1%9E" data-line="28" class="code-line">
<a class="header-anchor-link" href="#%E5%88%86%E9%A1%9E" aria-hidden="true"></a> 分類</h2>
<p data-line="30" class="code-line">LLMs.txtは厳密には<code>llms.txt</code>と<code>llms-full.txt</code>の2種類がある。</p>
<h3 id="llms.txt" data-line="32" class="code-line">
<a class="header-anchor-link" href="#llms.txt" aria-hidden="true"></a> llms.txt</h3>
<p data-line="34" class="code-line">サイトの構造をLLMに伝えるためのサマリー的な役割のファイル。</p>
<p data-line="36" class="code-line">ファイルのFormatはうっすら決まっていて、概ねこんな感じ。</p>
<div class="code-block-container"><pre class="language-md"><code class="language-md code-line" data-line="38"><span class="token title important"><span class="token punctuation">#</span> Title</span>

<span class="token blockquote punctuation">&gt;</span> Optional description goes here

Optional details go here

<span class="token title important"><span class="token punctuation">##</span> Section name</span>

<span class="token list punctuation">-</span> <span class="token url">[<span class="token content">Link title</span>](<span class="token url">https://link_url</span>)</span>: Optional link details

<span class="token title important"><span class="token punctuation">##</span> Optional</span>

<span class="token list punctuation">-</span> <span class="token url">[<span class="token content">Link title</span>](<span class="token url">https://link_url</span>)</span>
</code></pre></div><ul data-line="54" class="code-line">
<li data-line="54" class="code-line">H1 プロジェクト名から始める</li>
<li data-line="55" class="code-line">Documentのリンク集をMarkdown形式で列挙する</li>
<li data-line="56" class="code-line">優先度の低い項目を<code>Optional</code>として下部にまとめる</li>
</ul>
<h3 id="llms-full.txt" data-line="59" class="code-line">
<a class="header-anchor-link" href="#llms-full.txt" aria-hidden="true"></a> llms-full.txt</h3>
<p data-line="61" class="code-line">Markdown形式のサイト情報を表す完全なドキュメント。コンテキストの限り突っ込むならこちらのファイルを使う。</p>
<p data-line="63" class="code-line">具体例としてAntropic, Cloudflareのものを共有する。(すごいテキスト量だ！)</p>
<p data-line="65" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__769a22c4559c" src="https://embed.zenn.studio/card#zenn-embedded__769a22c4559c" data-content="https%3A%2F%2Fdocs.anthropic.com%2Fllms-full.txt" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://docs.anthropic.com/llms-full.txt" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://docs.anthropic.com/llms-full.txt</a></p>
<p data-line="67" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__c6eee9924bf71" src="https://embed.zenn.studio/card#zenn-embedded__c6eee9924bf71" data-content="https%3A%2F%2Fdevelopers.cloudflare.com%2Fllms-full.txt" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://developers.cloudflare.com/llms-full.txt" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://developers.cloudflare.com/llms-full.txt</a></p>
<h3 id="%E5%85%B7%E4%BD%93%E4%BE%8B" data-line="69" class="code-line">
<a class="header-anchor-link" href="#%E5%85%B7%E4%BD%93%E4%BE%8B" aria-hidden="true"></a> 具体例</h3>
<p data-line="71" class="code-line"><code>/llms.txt directory</code>というサイトがあって、先ほど挙げたものだけでなく、Perplexity、Cursor、DuckDBなど著名なプロダクト・サービスのLLMs.txtを読むことができる。</p>
<p data-line="73" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__fc292c98bb7f8" src="https://embed.zenn.studio/card#zenn-embedded__fc292c98bb7f8" data-content="https%3A%2F%2Fdirectory.llmstxt.cloud%2Fllms.text" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://directory.llmstxt.cloud/llms.text" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://directory.llmstxt.cloud/llms.text</a></p>
<h2 id="llms.txt%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9" data-line="76" class="code-line">
<a class="header-anchor-link" href="#llms.txt%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9" aria-hidden="true"></a> LLMs.txtの使い方</h2>
<p data-line="78" class="code-line">AI Agentに使わせるのもいいが、NotebookLMに食わせるとシンプルに強い。(Twitterで見た使い方)</p>
<p data-line="80" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__3c2eac0dd2e8b" src="https://embed.zenn.studio/card#zenn-embedded__3c2eac0dd2e8b" data-content="https%3A%2F%2Fvoluntas.ghost.io%2Fgoogle-notebooklm-plus-introduction%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://voluntas.ghost.io/google-notebooklm-plus-introduction/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://voluntas.ghost.io/google-notebooklm-plus-introduction/</a></p>
<p data-line="82" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/5c395776fa31-20250218.png" loading="lazy" class="md-img"></p>
<p data-line="84" class="code-line">仕様について雑に聞き放題の先生が作れる。</p>
<p data-line="86" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/be12a990e4f1-20250218.png" loading="lazy" class="md-img"></p>
<h2 id="%E8%AA%B2%E9%A1%8C" data-line="89" class="code-line">
<a class="header-anchor-link" href="#%E8%AA%B2%E9%A1%8C" aria-hidden="true"></a> 課題</h2>
<p data-line="91" class="code-line">LLMs.txtは使われているとはいえ標準とまでは達していないため、AI AgentにLLMs.txtを渡すスマートな方法はないらしく、当面は手動で扱う運用になりそうだ。</p>
<p data-line="93" class="code-line">一応Python用のモジュールは見つけた。</p>
<p data-line="95" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__b11458e22770f" src="https://embed.zenn.studio/card#zenn-embedded__b11458e22770f" data-content="https%3A%2F%2Fllmstxt.org%2Fintro.html%23how-to-use" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://llmstxt.org/intro.html#how-to-use" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://llmstxt.org/intro.html#how-to-use</a></p>
<p data-line="97" class="code-line">LLM利用者的には「こういう概念があるので、RAGや解説物をLLMにさせるときはLLMs.txtを探そう」と理解しておけば良さそう。</p>
<p data-line="99" class="code-line">サービス提供者側がすぐ公開しないとマズい、という性格のものではないが、動向は意識しておくと良いのだろう。</p>
<h2 id="%E5%8F%82%E8%80%83" data-line="102" class="code-line">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83" aria-hidden="true"></a> 参考</h2>
<p data-line="104" class="code-line">以下の記事があるので参考にした。</p>
<p data-line="106" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__e160a2d8b421" src="https://embed.zenn.studio/card#zenn-embedded__e160a2d8b421" data-content="https%3A%2F%2Fqiita.com%2Fnumekudi%2Fitems%2F16799a62b62f7c012981%23%25E5%25AF%25BE%25E7%25AD%2596%25E3%2581%25A8%25E3%2581%2597%25E3%2581%25A6%25E3%2581%25AEllmstxt" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://qiita.com/numekudi/items/16799a62b62f7c012981#%E5%AF%BE%E7%AD%96%E3%81%A8%E3%81%97%E3%81%A6%E3%81%AEllmstxt" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://qiita.com/numekudi/items/16799a62b62f7c012981#対策としてのllmstxt</a></p>
<p data-line="108" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__0b1660b6c5651" src="https://embed.zenn.studio/card#zenn-embedded__0b1660b6c5651" data-content="https%3A%2F%2Ftowardsdatascience.com%2Fllms-txt-414d5121bcb3%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://towardsdatascience.com/llms-txt-414d5121bcb3/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://towardsdatascience.com/llms-txt-414d5121bcb3/</a></p>


LLMs.txtについての覚書

Discussion