100% 免费 · 无需登录 · 无 AI · 爬取公开页面

免费 llms.txt 生成器

从网站创建 AI 优化的 llms.txt 文件。粘贴 sitemap URL、输入域名或列出特定页面——无需 AI、积分或登录。

✨ 免费生成器

构建你的 llms.txt 文件

请选择下方一种输入方式。我们爬取公开页面,根据标题与 meta 描述组装有效的 llms.txt。

Sitemap URL

适合大型网站:指向 sitemap.xml,我们将爬取其中列出的所有页面。

网站 URL

我们将扫描首页并自动跟随站内链接。

粘贴指定 URL

每行一个 URL,适合仅包含特定页面时使用。

Preview

生成内容预览

点击生成后,llms.txt 预览将显示在此处。
指南

什么是 llms.txt 文件?

llms.txt 是位于网站根目录(yoursite.com/llms.txt)的纯文本 Markdown 索引,列出最重要页面及简短说明,供 AI 系统与开发者使用。

该格式由 Jeremy Howard 于 2024 年提出,规范见 llmstxt.org。这是社区约定,并非 IETF 或 W3C 标准,但越来越多文档站、SaaS 和博客正在采用。

可将其视为面向语言模型的精选阅读列表:H1 站点标题、blockquote 摘要,以及带一行说明的 Markdown 链接分组。它与 sitemap.xml 和 robots.txt 互补,而非替代。

格式

llms.txt 文件格式参考

有效的 llms.txt 遵循 llmstxt.org 定义的简单 Markdown 结构:

  1. H1 — 站点或项目名称(必填;每个文件仅一个)
  2. Blockquote — 一到两句站点摘要(推荐)
  3. 自由正文 — 第一个 H2 之前的可选段落或列表(无额外标题)
  4. H2 分区 — 相关链接分组(如文档、API、博客)
  5. 链接项 — - [页面标题](https://绝对URL): 简短描述
  6. Optional 分区 — 标题为 Optional 的 H2,供短上下文时可跳过的次要链接

强烈建议使用绝对 URL。以 text/plain 或 text/markdown 在已知路径提供文件。大多数网站只需索引文件,除非需要内联全文,否则无需单独的 llms-full.txt。

对比

llms.txt vs robots.txt vs sitemap.xml

这三个根目录文件面向不同受众。同时发布三者很常见,互不冲突。

文件
用途
主要受众
llms.txt
为 AI 上下文精选的关键页面 Markdown 索引及描述
LLM 爬虫、AI 编程助手、开发者
robots.txt
爬取规则——允许或禁止爬虫访问路径
搜索引擎机器人及合规爬虫
sitemap.xml
机器可读的 URL 列表,含可选 lastmod 与 priority
搜索引擎(Google、Bing 等)
预期

llms.txt 能做什么——不能做什么

上线前请设定合理预期。llms.txt 发布成本低,但主要 AI 产品的采用仍在发展中。

它能做什么

  • 为 AI 编程助手(Cursor、Copilot 等)快速提供文档与关键页面地图
  • 帮助开发者与技术写作者了解你的信息架构
  • 以人类可读、LLM 友好的上下文补充结构化数据与 sitemap
  • 突出最佳内容,而非倾倒每个 URL

它不能做什么

  • 提升 Google 搜索排名——Google 已表示这不是排名因素
  • 保证 ChatGPT、Claude、Gemini 或 Perplexity 会读取或加权你的文件
  • 阻止或允许 AI 爬虫(请用 robots.txt 与厂商退出工具)
  • 替代 sitemap、正确的 meta 标签或高质量页面内容
用法

如何使用本生成器

博客和大型网站输入 sitemap URL,较小网站输入首页 URL,或粘贴指定 URL。预览后下载 llms.txt 并上传到域名根目录。

  1. 选择输入方式——文章多的网站用 sitemap 最快
  2. 点击生成 llms.txt,等待抓取页面标题与描述
  3. 查看生成内容预览,必要时本地编辑
  4. 下载文件并上传,使其可通过 https://yourdomain.com/llms.txt 访问
  5. 新增重要栏目或重构网站后重新生成
问答

常见问题

关于 llms.txt 的直截了当解答——适用于长尾 SEO 与 AI 可引用问答。

什么是 llms.txt 文件?

llms.txt 是放在域名根目录(/llms.txt)的 Markdown 文本文件,列出网站最重要页面及简短说明,供 AI 系统使用。它让语言模型无需爬取全站即可获得精选内容地图。规范见 llmstxt.org。

这个 llms.txt 生成器免费吗?

是的——完全免费,无需注册、积分或登录。我们从公开页面抓取 HTML 标题与 meta 描述生成文件,不使用 AI。可立即复制或下载。

llms.txt 文件放在哪里?

上传到域名根目录,确保可通过 https://yourdomain.com/llms.txt 访问。部分文档站使用 /docs/llms.txt,但根目录是最常见位置。

llms.txt 和 llms-full.txt 有什么区别?

llms.txt 是带简短描述的精选链接索引,大多数网站只需要它。llms-full.txt 内联完整页面文本,体积很大。先从 llms.txt 开始,确有需求再添加 llms-full.txt。

llms.txt 有助于 SEO 或 Google 排名吗?

不能——llms.txt 不是 Google 排名因素,Google 也表示不将其用于搜索索引。其价值在于 AI 工具、开发者发现,以及为编程助手提供结构化站点概览。SEO 请继续投入 sitemap、meta 与内容质量。

ChatGPT、Claude、Gemini 和 Perplexity 会读取 llms.txt 吗?

尚无主要 AI 厂商正式承诺在生产推理中使用 llms.txt。采用情况不确定,但部分爬虫偶尔会请求 /llms.txt。目前最明确的用途是 AI 编程助手和开发者工具。

llms.txt 与 robots.txt 相同吗?能阻止 AI 爬虫吗?

不同——llms.txt 是收录与策展文件,不是屏蔽机制。要限制 GPTBot、ClaudeBot 等,请使用 robots.txt 规则及各厂商的退出说明。

如何检查 AI 爬虫是否在抓取我的 llms.txt?

在服务器访问日志中筛选对 /llms.txt 的请求并查看 User-Agent。留意 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等标识。单次抓取不代表持续使用,请观察数周趋势。

文件应该多大?

精选最佳页面,而非列出全站每个 URL。建议远低于常见模型上下文上限(约 15 万词或 ~700KB),更大内容可拆分为 llms-full.txt 或分节文件。质量与聚焦优于 exhaustive 列表。

应该为每个页面创建 Markdown 副本吗?

通常不需要——可被索引的 .md 镜像可能造成重复内容问题。llms.txt 链接到规范 URL 并附描述通常足够。仅在需要内联全文供 LLM 上下文时使用 llms-full.txt。

应该多久更新一次 llms.txt?

在新增、删除或重大修改关键页面时更新。活跃网站可每月或每次部署时从 sitemap 重新生成,通过 CI 保持最新。

此工具使用 AI 或 Gemini 吗?

不使用。生成器以程序化方式抓取公开 HTML,提取标题、描述与 URL 结构。不会将任何内容发送给 Gemini 或其他 AI 模型。

Sitemap URL 与网站 URL 该选哪个?

博客和大型网站用 sitemap URL,可快速发现所有列表页。较小网站用网站 URL,从首页跟随内链。若只需部分页面,可粘贴指定 URL。

为什么无法爬取我的网站?

部分网站通过 bot 防护、Cloudflare 或 WAF 阻止自动化请求。可尝试手动粘贴 URL,或在 sitemap 可公开访问时使用 sitemap URL。