llms.txt 详解：给 AI 看的站点地图（GEO）

文档定位：搞懂 llms.txt 是什么、为什么需要、有什么实际用途、怎么落地，以及面试怎么讲。 关联：本项目已实现 https://jianglai520.com/llms.txt（动态生成）+ robots.txt 显式允许 AI 爬虫。

一、一句话理解

llms.txt 是"给 AI 看的地图"，sitemap.xml 是"给搜索引擎看的地图"。

它放在网站根路径（如 https://jianglai520.com/llms.txt），是一个纯文本文件，按固定格式列出站点的结构、每篇文章的标题 + 链接 + 一句话摘要。AI 爬虫（GPTBot、ClaudeBot 等）读取它，可以快速、准确、全局地理解你的整站内容。

标准来源：llmstxt.org（2025 年起逐步被 OpenAI / Anthropic / Chrome Lighthouse 采纳，属"事实标准"）。

二、为什么需要它：AI 爬虫和搜索引擎不一样

搜索引擎爬虫（传统）

• 目的：理解页面 → 建索引 → 用户搜索时返回链接
• 看什么：HTML 标签、标题、meta、正文
• 结果：Google 收录，用户点链接跳走

AI 爬虫（GPTBot / ClaudeBot / Google-Extended）

• 目的：把内容喂给大模型训练，或在用户联网提问时实时读取内容来回答
• 问题：HTML 页面 90% 是导航/样式/脚本，真正内容埋在标签里；且 AI 要"理解整站"（如"这个博客都写了啥"）需要全局视角
• 结果：AI 在回答里引用你的内容

llms.txt 给 AI 爬虫一份干净、结构化、纯文本的整站索引——抓取成本骤降，理解准确率上升。

三、和 sitemap.xml 的核心区别

核心差异：sitemap 告诉"哪里有什么"，llms.txt 告诉"这是什么 + 为什么重要"。

四、实际用途（具体场景）

场景 1：ChatGPT / Claude 联网搜索

用户用 AI 的联网功能问你的内容时，AI 爬虫读 llms.txt 快速定位相关文章。没有它也能抓，但有它抓得更准、更全、更快。

场景 2：AI 搜索引擎（Perplexity 等）

这类产品偏好 llms.txt，提供它 → 被引用概率更高。等于 AI 时代的 SEO 加分项。

场景 3：第三方把你的站做成知识库

任何人/系统想用你全站内容做 RAG（向量检索），llms.txt 是现成的结构化入口。

场景 4：大模型训练数据采集

显式 Allow: GPTBot 是主动欢迎姿态（默认规则下爬虫也可能来，但明确允许更清晰）。

五、诚实评估：它值得做吗

短期

• 效果难量化：半标准，各平台采纳程度不一，不会立竿见影
• 不影响现有 SEO：Google 排名主要看 sitemap / 结构化数据 / Core Web Vitals，llms.txt 是增量

对你的价值（本项目）

1. 差异化：做的人很少，"GEO（面向 AI 的网站优化）"是面试里很新的话题
2. 闭环：与项目已有的 RAG + AI 问答串成完整故事线（对 AI 生态有真实理解）
3. 成本低：一个 route（约 40 行）+ robots 几行，半天内完成

什么时候可能有用

• 你的文章被 AI 引用（如 AI 搜索里出现你博客）
• 有人基于你内容做知识库/二次创作
• 面试被问"AI 时代网站怎么优化"

六、本项目实现方式

1. app/llms.txt/route.ts（动态生成）

GET https://jianglai520.com/llms.txt

输出结构（llmstxt.org 规范）：

# 江来 的个人博客
 
> 全栈学习者 & 生活记录者 & 算法学习者
 
## 站点信息
 
- 博主：江来
- GitHub：https://github.com/jianglai520
- 邮箱：...
- 博客地址：https://jianglai520.com
 
## 文章
 
- [Git 代码回退 / 回滚命令速查](https://jianglai520.com/posts/46)：场景：代码改坏了...
- ["Everything is a Plugin"](https://jianglai520.com/posts/everything-is-a-plugin)：DeepSeek Harness...
- ...（最多 50 篇，按最新排序）

技术要点：

• 复用 getPublishedPosts(1, 50)（含 unstable_cache 缓存，不重复打库）
• 摘要取 excerpt，没有则用 stripMarkdown(content) 截断
• 博主名/简介/GitHub/邮箱读站点设置（后台可改，llms.txt 自动跟随）
• Cache-Control: public, max-age=300（短缓存，文章更新后快速生效）

2. app/robots.ts（AI 爬虫显式允许）

User-Agent: *              → 通用爬虫（含搜索引擎）
User-Agent: GPTBot         → OpenAI 训练/联网爬虫，Allow /
User-Agent: ClaudeBot      → Anthropic 爬虫，Allow /
User-Agent: Google-Extended → Google AI 训练爬虫，Allow /

为什么 Allow 而不是 Disallow：内容本来公开（首页/文章页无登录墙），欢迎 AI 理解你的内容增加曝光。如果你的内容不想被 AI 抓取训练，改为 Disallow: / 即可——这是个人选择。

七、面试怎么讲（话术参考）

问：你做过 AI 相关的网站优化吗？

我了解并落地了 GEO（面向 AI 的网站优化）。我的博客实现了 llms.txt——一个给 AI 爬虫看的纯文本站点索引，列出所有文章的标题、链接和摘要。它的定位和 sitemap 不同：sitemap 告诉搜索引擎"哪里有什么"，llms.txt 告诉 AI"这是什么、为什么重要"。

同时我在 robots.txt 里显式允许了 GPTBot、ClaudeBot 等 AI 爬虫。这样 ChatGPT 联网、Perplexity 这类 AI 搜索能更准确高效地理解我的全站内容。

这和我博客已有的 RAG + AI 问答是配套的——RAG 解决"站内 AI 问答"，llms.txt 解决"站外 AI 理解我"，一起构成我对 AI 生态的完整理解。

延伸问题准备：

• "为什么不用 sitemap？" → 格式（XML vs Markdown）和目的（收录 vs 理解）不同，llms.txt 带摘要，AI 能判断相关性
• "llms.txt 会影响现有 SEO 吗？" → 不会，它是增量；Google 排名主要看 sitemap/结构化数据/性能
• "不想被 AI 抓怎么办？" → robots.txt 里 Disallow 对应 user-agent 即可，个人选择

八、相关资源

• 规范：https://llmstxt.org/
• 线上地址：https://jianglai520.com/llms.txt
• robots：https://jianglai520.com/robots.txt