独立站上线前,技术 SEO 不是「有空再修」的边角料,而是整站能不能被抓取、收录、获得良好体验的地基。我给团队的硬规矩是:上线前先过一遍清单,上线后用 Screaming Frog 做诊断,再用 Google Search Console(GSC)按月看未抓取 / 已索引变化。HTTPS、Sitemap、robots、移动优先、Core Web Vitals(LCP / INP / CLS)、抓取与索引——这几项不过关,后面关键词和内容再努力也容易打折。
这篇文章按「上线前必须过」的检查项写,并回答:robots 会不会挡抓取、什么是移动优先索引、LCP/INP/CLS 官方怎么定义、CDN 要不要上。更完整的十五维审计,可对照我写过的 技术 SEO 审计完整指南。
先讲结论:上线前先过这 6 组检查

| 检查组 | 过关标准(定性) | 主要工具 |
|---|---|---|
| HTTPS / 安全 | 全站 HTTPS,HTTP 301 到 HTTPS,无明显混合内容 | 浏览器锁、curl、GSC 安全报告 |
| Sitemap | 只含希望被索引的正式 URL,并已提交 GSC | GSC Sitemaps、浏览器打开 XML |
| robots.txt | 不误挡关键目录与渲染所需 CSS/JS | 直接访问 /robots.txt、GSC |
| 移动优先 | 移动版关键内容与桌面等价,可渲染 | URL 检查、真机预览 |
| Core Web Vitals | 尽量达到 Google「良好」区间(见下文官方阈值) | GSC CWV、PageSpeed Insights |
| 抓取 / 索引 | 关键页可发现、无错误 noindex、无大面积软 404 | Screaming Frog、GSC 索引 |
我陪跑时强调:先诊断后方案。别一上线就狂发文,先把地基扫干净。
1. HTTPS:证书、301、混合内容
Google 长期把 HTTPS 视为安全与体验相关的重要信号;浏览器也会对纯 HTTP 给出「不安全」提示。上线前我至少查三件事:
- 证书有效、域名匹配、临期有续期提醒。
http://全站 301 到https://规范主机名(www 或非 www 只留一套)。- 页面内图片、脚本、样式不要再走 HTTP(混合内容)。
常见翻车:后台强制 HTTPS 了,CDN 或旧资源还在 HTTP;或 302「临时」跳转拖很久不改成 301。上线前用关键模板页抽查,比只看首页靠谱。
2. XML Sitemap:发现路径,不是「自动收录开关」
Sitemap 是告诉搜索引擎「我认为哪些 URL 重要」的清单,不保证收录。我要求:
- 文件可公开访问,通常在
/sitemap.xml或 Sitemap Index。 - 只放返回 200、可索引、canonical 正确的正式页。
- 不要塞 404、重定向页、noindex 页、筛选参数垃圾 URL。
- 在 GSC「站点地图」提交;中大型站建议把产品、博客等子地图也单独提交,方便看索引粒度。
细节我另文写过:什么是 XML 网站地图?如何正确配置并提交给 GSC?。
3. robots.txt:挡的是抓取,不是「一键消失」
很多人把 robots 当成屏蔽神器。我必须说清楚:robots.txt 控制抓取路径,不等于 noindex,更不等于安全权限。
上线前核对:
- 文件在根路径:
https://你的域名/robots.txt。 - 没有误
Disallow掉整站、重要分类、或渲染必需的 CSS/JS。 - 低价值路径(站内搜索结果、测试目录、部分参数路径)可以限制抓取,但要先列清单再写规则。
- 可在 robots 里声明
Sitemap:地址作辅助发现;正式仍以 GSC 提交为准。
想让已收录页退出索引,通常要配合 noindex、删除/410、301 等,不能只靠 robots。完整写法见:Robots.txt 文件编写指南。
4. 移动优先索引:Google 主要看移动版
Google Search Central 明确:Google 主要使用智能手机代理抓取的移动版内容做索引与排名,这就是 mobile-first indexing(移动优先索引)。官方强烈建议站点对移动友好,并推荐响应式设计(同一 URL、同一 HTML,按屏幕适配)。
上线前我重点查:
- 移动版是否包含与桌面版等价的关键正文、标题、图片与结构化数据。
- 移动与桌面的 robots meta 一致,避免移动版误加
noindex。 - 主内容不要依赖「用户必须点一下才加载」才能被看到。
- 资源不被 robots 误挡,否则渲染残缺。
不是「没有手机站就不能进搜索」,但不做好移动体验与内容等价,风险很高。外贸采购很多在手机上先搜、再回桌面询盘,体验差会直接伤转化。
5. Core Web Vitals:只用官方定义与阈值

Core Web Vitals 是衡量真实用户体验的一组核心指标。按 Google Search Central / web.dev 公开说明:
| 指标 | 含义 | 官方「良好」目标(约) |
|---|---|---|
| LCP(Largest Contentful Paint) | 加载性能:最大内容绘制 | 宜在页面开始加载后 2.5 秒内 |
| INP(Interaction to Next Paint) | 交互响应 | 宜 低于 200 毫秒 |
| CLS(Cumulative Layout Shift) | 视觉稳定性 | 宜 低于 0.1 |
Google 建议以现场数据第 75 百分位、并区分移动与桌面来判断。Search Console 的 Core Web Vitals 报告还会按 Good / Needs improvement / Poor 分组;阈值区间以 Google 帮助文档为准(例如 LCP 良好 ≤2.5s、需改进至约 4s、更差为 Poor 等)。
我不在这里发明站内分数承诺。实操上:
- 先看 GSC 现场报告有没有大面积「较差」。
- 用 PageSpeed Insights / Lighthouse 对钱页做实验室诊断(压缩图、减少阻塞脚本、预留图片尺寸降低 CLS 等)。
- CDN 可以帮缓存与就近分发,但 CDN 不是 CWV 万能药——源站 HTML 臃肿、第三方脚本失控、图片过大,换 CDN 也救不回来。
6. 抓取与索引:上线前最后一道闸
抓取(crawlability)决定蜘蛛能不能到;索引(indexability)决定愿不愿意收。上线前清单:
- 关键页无错误
noindex/ 冲突 canonical - 导航与内链能到达钱页(避免孤岛页)
- 自定义 404 返回真正 404,而不是软 404
- 预发布 / 测试环境不对公网或已屏蔽
- GSC 属性验证完成,Sitemap 已提交
- 用 Screaming Frog 抓一遍:状态码、标题重复、指令、断链
陪跑里我常用节奏:上线前 Screaming Frog 全站体检 → 上线后每周看 GSC 索引异常 → 每月对照「已发现 / 已抓取未索引 / 已索引」变化。未收录不一定是「没提交 Sitemap」,更多时候是质量、重复、指令或内链问题。
Screaming Frog 专项用法可参考:Screaming Frog 技术性 SEO 审计。
CDN 要不要上?
我的判断很务实:
- 流量与跨区访问明显、静态资源多:CDN 通常值得上,有助于就近缓存、减轻源站压力。
- 站很小、资源本就轻、主要问题是内容与索引:先修清单里的 P0,再考虑 CDN。
- 上 CDN 后务必复查:HTTPS 证书、缓存规则是否把 HTML 缓存错、回源是否仍 301 规范、是否误挡 Googlebot。
CDN 属于「体验与基础设施优化」,不能替代关键词、内容与 E-E-A-T。
上线前优先级(给我自己团队的排序)
| 优先级 | 动作 |
|---|---|
| P0 | HTTPS + 主机名归一;错误 noindex/robots 误挡;Sitemap 干净并提交 |
| P0 | 移动版关键内容等价;钱页可抓取可渲染 |
| P1 | CWV 大面积较差项修复;断链与错误重定向 |
| P1 | Screaming Frog 标题/描述/H1 重复清理 |
| P2 | CDN、图片格式、第三方脚本精简 |
| P2 | 结构化数据与可见内容一致(有再加,乱标不如不加) |
FAQ
robots.txt 会不会挡住谷歌抓取?
会——它本来就是抓取路线说明。写错 Disallow,可能挡住重要目录或 CSS/JS。但它不等于让页面从索引里彻底消失,也不等于权限保护。关键页该放行就放行,低价值路径再限制。
什么是移动优先索引?
指 Google 主要依据移动版内容进行索引与排名。响应式同 URL 最省事;务必保证移动版关键信息与桌面版等价,且不要在移动版单独加 noindex。
LCP、INP、CLS 分别是什么?
LCP 看加载(最大内容绘制),INP 看交互响应,CLS 看布局是否乱跳。Google 公开的良好目标大约是 LCP 2.5 秒内、INP 低于 200 毫秒、CLS 低于 0.1,并以第 75 百分位现场数据衡量。
独立站一定要上 CDN 吗?
不是硬性条件。跨区访问与静态资源压力大时更有价值;若主要问题是收录与内容质量,先把 P0 技术项修好。上 CDN 后要复查 HTTPS、缓存与回源。
上线后多久看一次技术指标?
我建议:上线后第一周密看 GSC 索引与抓取异常;之后至少每月对照未抓取/已索引与 CWV 报告,重大改版后再跑一轮 Screaming Frog。
下一步
技术地基过关后,再进入关键词捕鱼、内容工程与外链,整条闭环才站得住。需要我按你的站点做诊断式陪跑,可看 独立站 SEO+GEO 陪跑课,或从 seogeo.cc 继续读闭环与内容相关文章。
微信公众号:SEO小平 · 微信账号:Xiao_Ping_Up