本站由 SEO小平 使用 AI Agent(Codex和Grok Bot)全自动化构建,展现SEO和GEO与AI建站技术的完美结合

SEO小平

Codex等AI建站隐患多,快速排查教程

AI 建站容易留下收录、结构与内容隐患。本文把最要命的排查项写成可直接复制给 AI 的指令,不用懂原理,半小时出结论,适合 WordPress 与纯静态独立站自查。

AI 建站Codexcanonical孤岛页面soft 404GEO
Codex等AI建站隐患多,快速排查教程

我是 SEO 小平,在深圳做独立站 SEO 和 GEO的实战型卖家。

今年帮人看过的 AI 建站的案例太多了。Codex 建的、Claude Code 建的、WorkBuddy 建的、Grok Bot ,Trae,DeepSeek Harness建的都有,页面一个比一个漂亮。

效率很高,页面美观又大气,小白太喜欢这种又快又好的建站方法了。但打开源码,用SEO和GEO的标准去看的话问题很多。

按我以前的习惯,第一反应是让对方用尖叫青蛙(Screaming Frog)跑一遍。专业、全面,几百个检查项一次看透。

问题是——大部分人装不上、看不懂。跑完一屏红叉,也不知道该先修哪个。

所以我把最要命的几项,写成了几条指令。

你不用懂原理,复制给你的 AI,半小时出结论。

先看这 5 个问题

1. 不存在的网址,你的站也说"有"

随便输一个乱码网址,正常网站应该报 404。但很多 AI 建的站,任何找不到的路径都回退到首页。

搜索引擎会以为这个网址是真的,然后尝试收录。你的站凭空多出无数个内容一样的页面。

Google 管这个叫 soft 404。它不扣分,但它让搜索引擎对你整个站失去判断力。

2. 所有页面的 canonical 都指向首页

canonical 是告诉搜索引擎"这个页面的正版地址是哪个"的标签。AI 建站常在模板层把它写死。

结果 500 篇文章全部指向首页。搜索引擎会判断:这 500 篇都是首页的复制品,只留首页。

上个月一个 CNC 询盘站,62 个页面全指向首页。等于在 Google 眼里只有 1 个。

3. 全站 SEO Title 一模一样

搜索结果里那行蓝色标题,直接决定别人点不点你。

模板只取了网站名,全站标题就都一样。搜索引擎会认为这些页面主题相同,挑一个当代表,其余降权或丢弃。

4. 孤岛页面

sitemap 里躺着 300 个网址,但其中 200 个,从首页点不到,也没有任何其他页面链向它。

搜索引擎靠链接发现页面。没有入链,只能靠 sitemap 被顺带扫到,抓取优先级极低,可能几个月不收录。

5. 对 AI 爬虫关着门

有些 robots.txt 模板里写着 Disallow: /,或者屏蔽了一堆爬虫。你以为在防采集,实际把 GPTBot、ClaudeBot、PerplexityBot、Bytespider(豆包)、Baiduspider(文心)一起挡了。

还有个更隐蔽的:纯前端渲染的站,关掉 JS 就是白屏。AI 爬虫大多不执行 JS,抓到的是空页面。

人看得见,机器看不见。这就是"自我欣赏"的技术定义。

三条指令,复制给你的 AI

分别复制给 Codex、Claude Code、WorkBuddy,DeepSeek Harness或者任何能执行命令的 AI智能体,一定是让AI智能体来诊断哈,不要使用网页聊天窗口那种Gemini ,ChatGPT和DeepSeek,他们诊断不全面。用之前把 https://你的域名 换成你自己的网址。如果能在AI给你建站的那个文件夹里面直接提问是最好的,因为源文件都在里面,资料很齐全,找出问题也方便直接在此文件里面修改。PS:如果你是Shopify和WordPress绑定的AI建站的话,也可以试试。

指令 1 · 全站路由体检
你是技术SEO审计员。目标站点:https://你的域名  请实际发HTTP请求,不要凭经验推测。  1. 从 sitemap.xml 取出全部页面路径 2. 每个路径测4种变体:原样 / 加尾斜杠 / 加.html / 全大写 3. 再测一个假路径 /this-should-404-xyz123 4. 记录每个请求的状态码和重定向目标  输出一张表:路径 | 各变体状态码 | 是否多版本200 | 假路径状态码  最后回答三个问题: - 有没有软404(假路径返回200) - 多少页面存在多版本200(重复URL) - 是否存在301 是否存在404  如果查出上述问题并告知如何修改
指令 2 · 孤岛页面检测
你是站内链接分析师。目标站点:https://你的域名  从首页出发抓取全站内链,构建有向图,计算每个页面的入度(有多少页面链向它)。  输出三份清单: 1. 入度=0 的页面(孤岛,只能靠sitemap被发现) 2. 入度≥1 但全部来自导航或页脚的页面(弱连接) 3. 从首页点击深度≥4 的页面是埋太深,不利于爬行和收录,行业标准是从首页点击到任何页面的点击次数不超过 3次,所以按做聚合页包括产品分类页,文章分类页来放导航菜单,页脚菜单或侧边栏实现从首页点击到任何页面不超过 3次。  要求:入度必须实际算出来,不能凭观感判断。孤岛页给完整清单,不要写"等等"。
指令 3 · AI 能不能读懂你
你是 AI 生成式引擎 GEO审计员。目标站点:https://你的域名  检查5项,每项给"通过/不通过 + 证据":  1. robots.txt 是否 Disallow 了 GPTBot、ClaudeBot、PerplexityBot、Bytespider、Baiduspider 2. 关掉JavaScript后正文是否还在(AI爬虫多数不执行JS) 最后回答:如果用户在豆包,DeepSeek,ChatGPT,Gemini,Gork,Pperplexity里问这个领域的问题,这个站被上述AI引用的概率有多大?告诉我依据是什么?可以怎么提升优化现在的问题。

最后

网站不是给自己看的。

它唯一的价值,是让一个完全不认识你的人,在搜索框里打几个字,找到你。

这 5 项修起来通常不复杂,半小时能改完。难的是先知道问题在哪。

查完有问题,把网址发我,我帮你看一眼。