llms.txt 别当 AI 收录开关:97% 零请求,先查日志
Ahrefs 对 137,210 个域名的日志研究显示,约 3.8 万个有效 llms.txt 里 97% 当月零请求;主流 AI 公司文档化的爬虫控制都是 robots.txt。判断这个 GEO 动作值不值得做,先看平台文档与自己的服务器日志。
结论先说:在网站根目录放一个 llms.txt,目前不能当作 AI 搜索优化的收录开关,也不宜作为单独收费的 GEO 交付项。据 Ahrefs 对 137,210 个域名的日志研究(2026 年 6 月发布,统计 2026 年 5 月数据),约 28% 的站点发布了 llms.txt,其中约 3.8 万个有效文件里 97% 当月零请求;另据 prolinkage 2026 年 11 月 13 日逐家核对,尚无一家主流 AI 公司文档化「读取其他站点的 llms.txt 来选择信源」。想判断这件事该不该做,更省事的办法是先看自己服务器的访问日志。
- llms.txt 不能当作 AI 收录开关,也不宜作为单独收费的 GEO 交付项。
- 据 Ahrefs 137,210 域名研究,3.8 万个有效 llms.txt 里 97% 当月零请求。
- 主流 AI 公司文档化的爬虫控制是 robots.txt;先用服务器日志验请求。
一、97% 零请求,说的到底是什么
把方法看清,才不会把 97% 用错。据 Ahrefs 研究页,样本是 2026 年 5 月有流量的 137,210 个域名(来自其 Web Analytics 客户),逐个检查根路径是否返回 HTTP 200 且是真实 Markdown 文件(排除软 404 与错误页),再用 Bot Analytics 统计 /llms.txt 路径的请求并按状态码与 user agent 分类。作者明确提示:客户群偏技术与 SEO 意识较强的站长,28% 应视为采纳率上限,不宜外推到全网。
结果拆开看更有信息量:约 3.8 万个有效文件中 97% 当月零请求;在收到请求的那 3% 里,96% 的请求来自 bot,19.5% 来自具名 AI 工具(GPTBot 与 Claude-Code 居前),真正做 AI 检索的 bot 约 1%,12% 来自 GEO/AEO 检测工具与研究者;对不存在的 /llms.txt 路径,没有 AI bot 来找。据 Search Engine Journal 对该研究的报道,Slackbot 抓取该文件的次数还多于 PerplexityBot,Chrome Lighthouse 的 llms.txt 审计只带来约千分之一量级的请求。
还有一层边界必须写明:这项研究测的是「有没有请求」,不是「请求之后有没有被读取并采用」。即便某个 AI 工具抓过文件,也不等于它据此改变了引用决策。把它读成「平台完全不用」或「平台已经在用」,都超出了证据能支撑的范围。
二、平台文档里写的是 robots.txt,不是 llms.txt
据 prolinkage 2026 年 11 月 13 日的逐家核对,主流 AI 公司的公开爬虫文档都没有把 llms.txt 列为选源依据:Google Search 的「面向生成式 AI 功能优化」指南在 mythbusting 一节明确表示 Google Search 忽略 llms.txt,创建它既不帮助也不损害在 Google Search 的可见度与排名;OpenAI、Anthropic、Perplexity 文档化的爬虫控制方式都是 robots.txt,并各自列出具体 bot 名称与用途。
| 平台 | 文档化的爬虫控制 | 是否承诺读取他站 llms.txt 选源 | 说明 |
|---|---|---|---|
| Google Search | robots.txt 与生成式 AI 优化指南 | 未承诺 | 指南明确忽略 llms.txt |
| OpenAI | robots.txt(GPTBot / OAI-SearchBot / ChatGPT-User 等) | 未承诺 | 为自家开发者文档发布 llms.txt |
| Anthropic | robots.txt 与 Crawl-delay(ClaudeBot 等) | 未承诺 | 为自家文档发布 llms.txt 与 llms-full.txt |
| Perplexity | robots.txt(PerplexityBot / Perplexity-User) | 未承诺 | 为自家文档发布 llms.txt |
一个常被混为一谈的点:OpenAI、Anthropic、Perplexity 确实为自己开发者文档发布了 llms.txt,但那是「给编码代理指路,快速找到正确的 API 页」,与「读取别人站点来挑选回答信源」是两件事。Google 的 John Mueller 把它类比于早期的 keywords 元标签,称其为 AI 编码工具解析文档时「省几个 token 的临时拐杖」。这类表述是平台人员公开观点,不是行业统计。
三、用服务器日志做一次自查,四步就够
- 保留 7—30 天的服务器或 CDN 访问日志;只看页面分析工具不够,那里看不到 bot 请求。
- 筛出 GET /llms.txt 与 /llms-full.txt 的请求,按 user agent 与状态码分组,重定向单列,避免一次请求被算两次。
- 核对官方 IP 段,别只认 user agent。据 Rheinwunder 的日志复核,10,521 次自称 ClaudeBot 的请求里只有 4,365 次匹配官方 IP 段,名称可以伪造。
- 把 llms.txt 的请求量与 robots.txt、sitemap.xml、普通 HTML 页面并排看,判断爬虫到底在读什么。
另一组对照更直观:据 Rheinwunder 对一个大型机构站点约 1,200 万行、10 天日志的分析,该站没有 llms.txt,也没有主流 AI 爬虫来请求它;但 ChatGPT-User 平均每天约 2,900 次抓取常规页面。网站是在被读的,只是读的是普通 HTML 页。日志窗口短、样本少,作者自己列了边界,宜作方向性参考。
四、预算该排在哪些动作前面
- robots.txt 已放行主流 AI 爬虫,且没有误把检索 bot 当成训练 bot 一起拦掉;
- 关键事实写在服务端渲染的 HTML 里,而不是只存在于客户端脚本或图片中;
- 重要页面可正常返回、响应不过慢(Ahrefs 技术 AEO 指南提到 ChatGPT 对响应超过约 2 秒的页面可能放弃);
- 一页回答一个具体采购追问,开头是能独立成立的结论句,后面跟参数、单位、版本、更新时间与来源;
- sitemap 与内链完整,含当前年份的页面标题、清晰的目录与结构化标注作为可读性基础设施;
- llms.txt 作为低成本可选项保留,若做则保持内容更新,不当作排名杠杆。
先要三样东西:平台官方文档里「读取他站 llms.txt 选源」的原文链接、自己服务器日志里 AI bot 对该文件的请求记录、以及一份固定问题集的前后对照观测。三样都给不出,就把它归为可选项,把预算放到抓取权限与可引用事实上。这是厂商研究与公开文档口径,不构成对任何平台未来行为的判断。
五、本周能做的一步
结论重申一句:目前证据支持的是「先修抓取权限与可引用事实,再考虑 llms.txt」,而不是反过来。花半小时拉一次日志,比争论这个文件该不该写更有用。
涌客来数字在内容侧坚持白帽合规优化路径与 AI 辅助 + 人工审核双重机制;免费 AI 品牌诊断输出提及率、首位提及、表述准确度三项基线,可作为这类自查的起点。
常见问题
Q1做 GEO 是不是必须给网站加一个 llms.txt?
不必,先看证据。据 Ahrefs 137,210 个域名 2026 年 5 月日志研究,约 28% 站点发布 llms.txt,约 3.8 万个有效文件里 97% 当月零请求;据 2026-11-13 逐家核对,尚无主流 AI 公司文档化读取他站 llms.txt 选信源。样本偏技术型站长、且只测请求不测采用,宜作方向性参考。
Q2llms.txt 和 robots.txt 到底有什么区别?
一个是建议清单,一个是访问控制。robots.txt 是主流 AI 爬虫实际遵循的控制方式,OpenAI、Anthropic、Perplexity 官方文档都列出各自 bot 名称并说明由它管理;llms.txt 是根目录的 Markdown 索引,给编码代理指路,控制不了抓取,也没被承诺用于选源。据 2026-11-13 官方文档核对,两者不能混为一谈。
Q3怎么查有没有 AI 爬虫真的读了我的 llms.txt?
查服务器或 CDN 日志,四步。保留 7 至 30 天日志;筛 GET /llms.txt 请求,按 user agent 与状态码分组、重定向单列;核对官方 IP 段,名称可伪造——据 Rheinwunder 复核,10,521 次自称 ClaudeBot 仅 4,365 次匹配官方 IP;再把请求量与 robots.txt、普通 HTML 页并排看。
Q4llms.txt 没用,是不是 robots.txt 也可以不管?
恰恰相反,robots.txt 优先级更高。据 Ahrefs 技术 AEO 指南,约 5.89% 网站在 robots.txt 直接屏蔽 GPTBot,多数 AI 爬虫不执行 JavaScript,页面响应超过约 2 秒可能被放弃;写错一个开关会真的把页面挡在 AI 答案外,漏写 llms.txt 目前没有这个后果。预算应先放在抓取权限与可引用事实上。
东莞市涌客来数字技术有限公司. llms.txt 别当 AI 收录开关:97% 零请求,先查日志[EB/OL]. (2026-11-21)[2026-11-21]. https://www.yongkelai.cn/articles/llms-txt-verify-with-server-logs.html.
涌客来数字 (2026). llms.txt 别当 AI 收录开关:97% 零请求,先查日志. https://www.yongkelai.cn/articles/llms-txt-verify-with-server-logs.html
想知道你的品牌现在在 AI 答案里排第几?
我们提供限时免费的 AI 可见度诊断:固定行业样本采样,输出提及率、首位提及与表述准确度三项基线数据。
