什么是 llms.txt 文件?
llms.txt 是放在域名根目录(/llms.txt)的 Markdown 文本文件,列出网站最重要页面及简短说明,供 AI 系统使用。它让语言模型无需爬取全站即可获得精选内容地图。规范见 llmstxt.org。
从网站创建 AI 优化的 llms.txt 文件。粘贴 sitemap URL、输入域名或列出特定页面——无需 AI、积分或登录。
请选择下方一种输入方式。我们爬取公开页面,根据标题与 meta 描述组装有效的 llms.txt。
llms.txt 是位于网站根目录(yoursite.com/llms.txt)的纯文本 Markdown 索引,列出最重要页面及简短说明,供 AI 系统与开发者使用。
该格式由 Jeremy Howard 于 2024 年提出,规范见 llmstxt.org。这是社区约定,并非 IETF 或 W3C 标准,但越来越多文档站、SaaS 和博客正在采用。
可将其视为面向语言模型的精选阅读列表:H1 站点标题、blockquote 摘要,以及带一行说明的 Markdown 链接分组。它与 sitemap.xml 和 robots.txt 互补,而非替代。
有效的 llms.txt 遵循 llmstxt.org 定义的简单 Markdown 结构:
强烈建议使用绝对 URL。以 text/plain 或 text/markdown 在已知路径提供文件。大多数网站只需索引文件,除非需要内联全文,否则无需单独的 llms-full.txt。
这三个根目录文件面向不同受众。同时发布三者很常见,互不冲突。
llms.txtrobots.txtsitemap.xml上线前请设定合理预期。llms.txt 发布成本低,但主要 AI 产品的采用仍在发展中。
博客和大型网站输入 sitemap URL,较小网站输入首页 URL,或粘贴指定 URL。预览后下载 llms.txt 并上传到域名根目录。
关于 llms.txt 的直截了当解答——适用于长尾 SEO 与 AI 可引用问答。
llms.txt 是放在域名根目录(/llms.txt)的 Markdown 文本文件,列出网站最重要页面及简短说明,供 AI 系统使用。它让语言模型无需爬取全站即可获得精选内容地图。规范见 llmstxt.org。
是的——完全免费,无需注册、积分或登录。我们从公开页面抓取 HTML 标题与 meta 描述生成文件,不使用 AI。可立即复制或下载。
上传到域名根目录,确保可通过 https://yourdomain.com/llms.txt 访问。部分文档站使用 /docs/llms.txt,但根目录是最常见位置。
llms.txt 是带简短描述的精选链接索引,大多数网站只需要它。llms-full.txt 内联完整页面文本,体积很大。先从 llms.txt 开始,确有需求再添加 llms-full.txt。
不能——llms.txt 不是 Google 排名因素,Google 也表示不将其用于搜索索引。其价值在于 AI 工具、开发者发现,以及为编程助手提供结构化站点概览。SEO 请继续投入 sitemap、meta 与内容质量。
尚无主要 AI 厂商正式承诺在生产推理中使用 llms.txt。采用情况不确定,但部分爬虫偶尔会请求 /llms.txt。目前最明确的用途是 AI 编程助手和开发者工具。
不同——llms.txt 是收录与策展文件,不是屏蔽机制。要限制 GPTBot、ClaudeBot 等,请使用 robots.txt 规则及各厂商的退出说明。
在服务器访问日志中筛选对 /llms.txt 的请求并查看 User-Agent。留意 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等标识。单次抓取不代表持续使用,请观察数周趋势。
精选最佳页面,而非列出全站每个 URL。建议远低于常见模型上下文上限(约 15 万词或 ~700KB),更大内容可拆分为 llms-full.txt 或分节文件。质量与聚焦优于 exhaustive 列表。
通常不需要——可被索引的 .md 镜像可能造成重复内容问题。llms.txt 链接到规范 URL 并附描述通常足够。仅在需要内联全文供 LLM 上下文时使用 llms-full.txt。
在新增、删除或重大修改关键页面时更新。活跃网站可每月或每次部署时从 sitemap 重新生成,通过 CI 保持最新。
不使用。生成器以程序化方式抓取公开 HTML,提取标题、描述与 URL 结构。不会将任何内容发送给 Gemini 或其他 AI 模型。
博客和大型网站用 sitemap URL,可快速发现所有列表页。较小网站用网站 URL,从首页跟随内链。若只需部分页面,可粘贴指定 URL。
部分网站通过 bot 防护、Cloudflare 或 WAF 阻止自动化请求。可尝试手动粘贴 URL,或在 sitemap 可公开访问时使用 sitemap URL。