本站由 SEO小平 使用 AI Agent(Codex和Grok Bot)全自动化构建,展现SEO和GEO与AI建站技术的完美结合

SEO小平

SEO 页面能不能做 A/B 测试:适用条件、样本量与结果判读

SEO 场景下哪些实验能做、哪些属于 cloaking 会被处罚;两比例检验的样本量公式与实测速查表(2% 转化率验证提升 20% 需每组两万多次),样本不足时的四种替代方案,以及新奇效应、周期性、辛普森悖论等噪声的排除方法。

A/B测试样本量统计显著性转化率优化SEO实验
SEO 页面能不能做 A/B 测试:适用条件、样本量与结果判读
能做,但绝大多数外贸独立站做不了——不是技术做不到,是流量不够。一个 B2B 站询盘转化率 2%,想验证「提升 20%」的改动,每组需要两万一千多次转化机会,两组合计四万二千多次。先算这个数,再决定要不要开实验,比做完再看结果省事得多。

先算再测这件事,很多人跳过了。跳过之后的结果通常是:跑了两周,B 版本比 A 高 3 个百分点,团队开会决定全量上线,三个月后发现没有任何变化。问题不在结论错,在样本根本不够支撑结论。

SEO 场景下哪些能做 A/B,哪些绝对不能做?

先说不能做的,因为这条线踩了就是违规,不是效果问题。

不能做:对同一个 URL,给 Googlebot 和真实用户返回不同内容(cloaking);用 noindex 或 robots 屏蔽实验变体;按 User-Agent 或 IP 分流做实验;把实验页提交到 sitemap 让搜索引擎收录两个版本。

这些做法在 Google 的垃圾内容政策里属于明确的欺骗性行为,风险是整站级别的——不是「这个实验白做了」,是「站点可能被整体降权」。用一次实验的收益去换这个风险,账怎么算都不划算。

可以做的有三类:

页面内部元素。CTA 文案与位置、表单字段数量、图片、信任模块(客户 logo、认证图标、案例截图)。这类改动不影响页面主题,实验风险最低。

布局结构。首屏信息顺序、参数表位置、相关推荐的位置。这类改动影响较大,但如果只是顺序调整、内容不变,风险仍然可控。

标题与描述的展示层实验。这类有额外风险,后面单独讲。

安全的实验方式只有一种:所有用户看到同一个 URL,分流发生在服务端或前端,且搜索引擎始终只看到「正式版本」。实验期要短、变体要少,因为变体越多,每个变体分到的流量越少。

最少需要多少流量?为什么必须先算再测?

这是全文最该记住的部分。样本量不是拍脑袋定的,有标准公式(两比例检验,95% 置信度、80% 统计功效):

每组样本 ≈ 7.84 × [p₁(1−p₁) + p₂(1−p₂)] ÷ (p₂−p₁)²

其中 p₁ 是当前转化率,p₂ 是期望的新转化率。7.84 来自两个 z 值之和的平方(1.96 对应 95% 置信度,0.84 对应 80% 功效)。

把它算成表,比记公式有用:

A/B 测试每组最小样本量速查(95% 置信度、80% 功效,两比例检验,按上式实算)
当前转化率期望相对提升绝对变化每组需要样本两组合计
1%+20%1.00% → 1.20%42,69185,382
2%+20%2.00% → 2.40%21,10642,212
5%+20%5.00% → 6.00%8,15516,310
10%+20%10.00% → 12.00%3,8397,678
2%+50%2.00% → 3.00%3,8237,646
5%+50%5.00% → 7.50%1,4682,936
10%+50%10.00% → 15.00%6831,366
30%+10%30.00% → 33.00%3,7607,520

怎么读这张表:你在意的不是「访问量」,是「转化机会数」。

举个具体的例子。一个产品页每月 800 次访问,询盘转化率 2%。你想验证「把询盘按钮从页底移到首屏能提升 20%」——按表需要 42,212 次访问,按每月 800 算,要跑 52 个月。这不是实验,这是长期观察。

反过来看这张表的另一半:如果期望提升从 20% 提到 50%,样本量降一个数量级(2% 基线从 21,106 降到 3,823)。这说明一件很重要的事——低流量站该做的是「大改」,不是「微调」。改一个按钮颜色,你永远测不出效果;重做首屏结构,才可能在有限样本里看到差异。

样本量不够时,替代方案是什么?

四个替代方案,按可信度从高到低。

第一,顺序测试。同一页面先跑 A 四周,再跑 B 四周。流量要求减半,代价是时间因素混入(季节性、算法更新)。用这个方法的前提是:实验期内没有其他改动,且两段时间长度一致、覆盖的周数结构一致。

第二,分段对比。不看整体,只看某一细分(移动端、某个国家、新访客)。代价是每段样本更小,但如果你只关心移动端,就没必要把桌面流量算进去——分母小了,但你要的结论本来也只针对这一层。

第三,定性证据。用会话回放和热力图看用户是否还卡在同一个位置。这不能告诉你「提升多少」,但能告诉你「有没有改善」。对低流量站,这往往是唯一可用的证据,也是最快能拿到的那一种。

第四,接受低置信度但要求大效应。如果你只想验证「这个改动有没有可能造成明显恶化」,可以降低功效要求(比如 70%),用更少样本先排雷。但反过来不成立——不能用小样本去证明「有小幅提升」。

结果怎么判读?哪些差异是噪声?

看到两个版本有差异,先排除四件事,再谈显著性。

新奇效应。老用户对新版的好奇会短期拉高点击,一两周后回落。判断方法:把实验期切成前后两半,看提升是否在缩小。如果前半段涨、后半段平,你测到的是好奇,不是价值。

周期性。周内波动很明显:B2B 站周一询盘最多,周末几乎为零。如果 A 跑周一至周三、B 跑周四至周六,结论一定是错的。必须按完整周对齐,且至少覆盖两个完整周。

辛普森悖论。整体看 B 更好,但拆到每个分段 A 都更好。这通常发生在两个版本在不同分段的流量占比不一致时。所以要看分段,不能只看总数。

指标漂移。实验期间你顺手改了别的东西——文案、价格、库存、甚至换了张图。那就不是实验了,是同时改了多个变量,任何结论都不可归因。

排完这四项,再看显著性。95% 置信度的准确含义是「如果两版其实一样,有 5% 的概率我会误判为有差异」。它不是「95% 确定 B 更好」。真正的判据是置信区间:如果区间跨过 0,就不能下结论,无论点估计差多少。

标题改动的实验要特别小心什么?

标题实验有三个额外风险,很多人没意识到。

第一,Google 会重写标题。你改了 title,SERP 上显示的可能是 Google 自己生成的一版。于是 CTR 的变化无法归因到你的改动——你测的是一个你没完全控制的变量。

第二,CTR 变化和排名变化会混淆。改标题后排名也可能变(标题是相关性信号),而排名一变,CTR 必然跟着变。你分不清是「标题更吸引人」还是「排得更高」。

第三,跨页面对比比单页 A/B 更可行。与其在单页上做 A/B,不如找 10 到 20 个同主题、同量级的页面,一半改标题一半不改,做准实验。这样既规避了单页流量不足,也规避了 Google 重写带来的噪声——即使部分页面标题被重写,两组的重写概率是相近的。

关于 SEO 场景的实验,还有哪些高频追问?

用 Google Optimize 做实验可以吗?
Optimize 已经停止服务,现在需要用其他实验工具或自建分流。但工具不是关键,关键是分流方式不能触发 cloaking:搜索引擎看到的必须始终是同一个正式版本。用第三方工具前,先确认它的分流逻辑会不会根据 UA 返回不同内容。
实验期间要不要在 sitemap 里排除变体?
如果变体是不同的 URL,必须排除,并且加 canonical 指向正式版。更稳的做法是让变体不产生独立 URL,只在前端切换内容——这样搜索引擎永远只看到一个地址、一份内容。
实验跑两周够不够?
取决于样本量,不取决于时间。两周只是「覆盖两个完整周」的最低要求,用来消除周内波动。样本没到就停,等于用噪声下结论;样本早就到了还继续跑,则是浪费流量和机会。
A/B 测试会不会被 Google 判为 cloaking?
会,如果搜索引擎和用户看到不同内容。合规做法有两种:让 Googlebot 始终拿到正式版本,或者干脆只做「所有用户都看到同一版本」的顺序测试。后者虽然慢,但没有合规风险,对低流量站反而更实用。
小站有没有必要做实验?
大部分没必要。月询盘个位数时,把精力放在「有明显问题的页面」上比做实验划算得多:表单被固定栏遮挡、参数表在手机上要横向拖动、首屏没有 CTA——这些问题不需要实验就能判断该改,而且改完的效果肉眼可见。
样本量算出来太大,是不是说明这个改动不值得做?
通常说明「预期收益太小」,不是「改动没价值」。同样 2% 基线,提升 20% 要两万一千样本,提升 50% 只要三千八。所以低流量站的策略是做大改动、做结构性改动,而不是在颜色和文案上反复微调。

实验只是验证手段,改什么还得先有判断。先看用户体验与 SEO 的交集确定哪些问题值得改;改完要量化,看有流量没询盘的表单与转化清单和GA4 询盘转化追踪。定性证据这一层,用 Clarity 热力图把体验问题变成证据是最省事的入口。如果实验目标是加载体验,先读LCP、INP、CLS 三项指标怎么读怎么修——性能类改动往往比按钮位置改动效应量大得多,更容易在小样本里看出差异。