AI 抓不到你的网站:四步自查

AI 抓不到你的网站:四步自查

有一种情况很普遍:官网自己用浏览器打开一切正常,但在 AI 里问“某某公司做什么”,它答不上来。原因往往不在内容,而在抓取环节被堵住了。浏览器能访问,和爬虫能进入,是两件独立的事。

按下面四步查,通常十分钟能定位问题。

第一步:看 robots.txt 有没有把爬虫拦在门外

打开 你的域名/robots.txt,检查有没有针对 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Bytespider、Baiduspider、Googlebot 的 Disallow 规则。不少站点沿用了多年前的模板,一个 Disallow 把全部爬虫关掉,自己却不知道。

正确做法是逐条放行,并在文件末尾写明 Sitemap 地址。

第二步:用爬虫身份请求一次首页

这是最容易被忽略的一步。robots 放行了,不代表请求能到达源站——很多 CDN 和防火墙会在边缘直接按 User-Agent 拦截,返回 403,请求根本没进到你的服务器。

判断方法:用爬虫 UA 请求首页,看返回码。浏览器 UA 返回 200、爬虫 UA 返回 403,说明问题在 CDN 的策略,不在你的站点。看响应头更直接:如果 403 响应里没有源站的 Server 标识,只有一个简短的 403 和 no-store,基本可以断定是边缘节点拦的。

这种情况下要在 CDN 后台放行爬虫 UA,并检查三处:爬虫管理是否设成了白名单模式、WAF 有没有“UA 含 bot 即拦”的规则、CC 防护是否把爬虫当成了高频攻击。

第三步:确认页面能被读懂

抓到了不等于读懂了。检查三样东西:页面里有没有一句话说清“这家公司是谁、在哪、做什么”;重点页面有没有 Organization、Service、FAQPage 这类结构化数据;文章页有没有 Article 标注和发布时间。

AI 抽取信息时优先取结构清晰、主语明确的句子。“以匠心致初心”这类文案,它读不出业务范围。

第四步:sitemap 能不能访问

请求 你的域名/sitemap.xml,确认返回 200 且内容是 XML 而不是首页 HTML。有些站点配置了重写规则,sitemap 被跳转到首页,爬虫拿到的是网页而不是索引。

同时核对 sitemap 里的域名和 canonical 里的域名是否一致。两个域名混用,权重会被拆成两份。

四步都过了,再看内容

抓取通道通了,才轮到内容质量的问题。这一步开始才是“优化”,前面的都只是“让别人能看见”。顺序搞反,内容做得再多也不会被引用。

需要做一次完整的可访问性与结构化诊断,可以看AI GEO 优化服务,或直接联系我们。