🧯
”llmstxt.new”でWebサイトからllms.txtを作れる
はじめに
Firecrawlの発表したllmstxt.newが凄そうなので試してみる。
llmstxt.new
ざっくり言うとllmstxt.new/example.com/のようにURLの後ろに対象のWebサイトを指定するとLLMs.txtが作れるらしい。すごい。
試してみる
1. URLに付与する形式
Clineの公式にはllms.txtがない。
よってhttps://llmstxt.new/https://cline.bot/でアクセスしてみる。レスポンスが無くて不安になるのだが、待っているとllms.txtが作れる。
# https://cline.bot llms.txt
- [Collaborative AI Coder](https://cline.bot/): Collaborative AI tool for developers to enhance productivity.
- [Join Cline's Mission](https://cline.bot/careers): Join Cline to revolutionize AI-assisted software development.
- [Enterprise AI Development](https://cline.bot/enterprise): Customizable AI development platform launching in phases by 2025.
- [Cline AI Blog](https://cline.bot/blog): Explore Cline's AI coding tools, updates, and insights.
- [Cline FAQ Guide](https://cline.bot/faq): Comprehensive guide to using Cline AI coding assistant.
- [Cline AI Assistant](https://marketplace.visualstudio.com/items?itemName=saoudrizwan.claude-dev): AI coding assistant for Visual Studio Code, enhancing productivity.
- [Cline Privacy Notice](https://cline.bot/privacy): Cline's privacy notice details data collection and usage practices.
- [Cline Bot Terms](https://cline.bot/tos): Cline Bot's terms outline user agreements and service usage rules.
- [MCP Marketplace](https://cline.bot/mcp-marketplace): Explore and install various MCP servers for enhanced AI capabilities.
- [Join Cline's Mission](https://cline.bot/careers): Join Cline to revolutionize AI-assisted software development together.
*Note: This is an incomplete llmstxt result. To enable full generation, please provide your Firecrawl API key by either:
1. Adding the 'FIRECRAWL_API_KEY' header to your request (e.g., 'FIRECRAWL_API_KEY: your-api-key-here'), or
2. Including it as a query parameter (e.g., '?FIRECRAWL_API_KEY=your-api-key-here')
2. FormにURLを入れる形式
普通にhttps://www.llmstxt.new/にアクセスしてもいい。
このようにllms.txtが作れた！
*Note: This is an incomplete result, please enable full generation by entering a Firecrawl key.
# https://docs.cline.bot/ llms.txt
- [Cline Documentation](https://docs.cline.bot/): Comprehensive guide to using and extending Cline's capabilities.
- [AI Coding Assistant](https://docs.cline.bot/getting-started/what-is-cline): Cline is an AI assistant for coding productivity.
- [Cline Coding Essentials](https://docs.cline.bot/getting-started/for-new-coders): Essential guide for new coders using Cline tools.
- [Cline Installation Guide](https://docs.cline.bot/getting-started/installing-cline): Step-by-step guide to install and set up Cline.
- [Development Essentials Guide](https://docs.cline.bot/getting-started/installing-dev-essentials): Essential tools and installation guide for software development.
- [Cline Tech Stack Overview](https://docs.cline.bot/getting-started/our-favorite-tech-stack): Explore essential tools and technologies for Cline development.
- [Context Management Guide](https://docs.cline.bot/getting-started/understanding-context-management): Learn how to manage context effectively with Cline.
- [AI Model Selection Guide](https://docs.cline.bot/getting-started/model-selection-guide): Guide to selecting AI models based on context windows.
- [Cline Prompting Guide](https://docs.cline.bot/improving-your-prompting-skills/prompting): Learn to enhance your prompting skills with Cline effectively.
- [Cline Memory Bank Guide](https://docs.cline.bot/improving-your-prompting-skills/cline-memory-bank): A comprehensive guide to using Cline's Memory Bank effectively.
注意：対象のサイトを網羅するものではない
2. FormにURLを入れる形式で試した結果を読むと、llms.txtの中にMCPやカスタムモデルがないのがわかる。
つまり網羅性のあるファイルは作れておらず、何らかの方法でフィルタして列挙されていそう。全部盛りが欲しかったら、有料のAPIキーでllms-full.txtを作ってね。ということだろう。妥当ですね。
GitHubの内容をガバっと取ってくるならuithubでもいいんだと思う。
という訳で
この機会にFirecrawlに登録してみた。取得した結果をブログに貼ろうと思ったら、文字数超過してしまったので、Gistを参照。
これくらいの量だと、無料クレジット500のうち51を使った。
Discussion