先算再测这件事,很多人跳过了。跳过之后的结果通常是:跑了两周,B 版本比 A 高 3 个百分点,团队开会决定全量上线,三个月后发现没有任何变化。问题不在结论错,在样本根本不够支撑结论。
SEO 场景下哪些能做 A/B,哪些绝对不能做?
先说不能做的,因为这条线踩了就是违规,不是效果问题。
不能做:对同一个 URL,给 Googlebot 和真实用户返回不同内容(cloaking);用 noindex 或 robots 屏蔽实验变体;按 User-Agent 或 IP 分流做实验;把实验页提交到 sitemap 让搜索引擎收录两个版本。
这些做法在 Google 的垃圾内容政策里属于明确的欺骗性行为,风险是整站级别的——不是「这个实验白做了」,是「站点可能被整体降权」。用一次实验的收益去换这个风险,账怎么算都不划算。
可以做的有三类:
页面内部元素。CTA 文案与位置、表单字段数量、图片、信任模块(客户 logo、认证图标、案例截图)。这类改动不影响页面主题,实验风险最低。
布局结构。首屏信息顺序、参数表位置、相关推荐的位置。这类改动影响较大,但如果只是顺序调整、内容不变,风险仍然可控。
标题与描述的展示层实验。这类有额外风险,后面单独讲。
安全的实验方式只有一种:所有用户看到同一个 URL,分流发生在服务端或前端,且搜索引擎始终只看到「正式版本」。实验期要短、变体要少,因为变体越多,每个变体分到的流量越少。
最少需要多少流量?为什么必须先算再测?
这是全文最该记住的部分。样本量不是拍脑袋定的,有标准公式(两比例检验,95% 置信度、80% 统计功效):
每组样本 ≈ 7.84 × [p₁(1−p₁) + p₂(1−p₂)] ÷ (p₂−p₁)²
其中 p₁ 是当前转化率,p₂ 是期望的新转化率。7.84 来自两个 z 值之和的平方(1.96 对应 95% 置信度,0.84 对应 80% 功效)。
把它算成表,比记公式有用:
| 当前转化率 | 期望相对提升 | 绝对变化 | 每组需要样本 | 两组合计 |
|---|---|---|---|---|
| 1% | +20% | 1.00% → 1.20% | 42,691 | 85,382 |
| 2% | +20% | 2.00% → 2.40% | 21,106 | 42,212 |
| 5% | +20% | 5.00% → 6.00% | 8,155 | 16,310 |
| 10% | +20% | 10.00% → 12.00% | 3,839 | 7,678 |
| 2% | +50% | 2.00% → 3.00% | 3,823 | 7,646 |
| 5% | +50% | 5.00% → 7.50% | 1,468 | 2,936 |
| 10% | +50% | 10.00% → 15.00% | 683 | 1,366 |
| 30% | +10% | 30.00% → 33.00% | 3,760 | 7,520 |
怎么读这张表:你在意的不是「访问量」,是「转化机会数」。
举个具体的例子。一个产品页每月 800 次访问,询盘转化率 2%。你想验证「把询盘按钮从页底移到首屏能提升 20%」——按表需要 42,212 次访问,按每月 800 算,要跑 52 个月。这不是实验,这是长期观察。
反过来看这张表的另一半:如果期望提升从 20% 提到 50%,样本量降一个数量级(2% 基线从 21,106 降到 3,823)。这说明一件很重要的事——低流量站该做的是「大改」,不是「微调」。改一个按钮颜色,你永远测不出效果;重做首屏结构,才可能在有限样本里看到差异。
样本量不够时,替代方案是什么?
四个替代方案,按可信度从高到低。
第一,顺序测试。同一页面先跑 A 四周,再跑 B 四周。流量要求减半,代价是时间因素混入(季节性、算法更新)。用这个方法的前提是:实验期内没有其他改动,且两段时间长度一致、覆盖的周数结构一致。
第二,分段对比。不看整体,只看某一细分(移动端、某个国家、新访客)。代价是每段样本更小,但如果你只关心移动端,就没必要把桌面流量算进去——分母小了,但你要的结论本来也只针对这一层。
第三,定性证据。用会话回放和热力图看用户是否还卡在同一个位置。这不能告诉你「提升多少」,但能告诉你「有没有改善」。对低流量站,这往往是唯一可用的证据,也是最快能拿到的那一种。
第四,接受低置信度但要求大效应。如果你只想验证「这个改动有没有可能造成明显恶化」,可以降低功效要求(比如 70%),用更少样本先排雷。但反过来不成立——不能用小样本去证明「有小幅提升」。
结果怎么判读?哪些差异是噪声?
看到两个版本有差异,先排除四件事,再谈显著性。
新奇效应。老用户对新版的好奇会短期拉高点击,一两周后回落。判断方法:把实验期切成前后两半,看提升是否在缩小。如果前半段涨、后半段平,你测到的是好奇,不是价值。
周期性。周内波动很明显:B2B 站周一询盘最多,周末几乎为零。如果 A 跑周一至周三、B 跑周四至周六,结论一定是错的。必须按完整周对齐,且至少覆盖两个完整周。
辛普森悖论。整体看 B 更好,但拆到每个分段 A 都更好。这通常发生在两个版本在不同分段的流量占比不一致时。所以要看分段,不能只看总数。
指标漂移。实验期间你顺手改了别的东西——文案、价格、库存、甚至换了张图。那就不是实验了,是同时改了多个变量,任何结论都不可归因。
排完这四项,再看显著性。95% 置信度的准确含义是「如果两版其实一样,有 5% 的概率我会误判为有差异」。它不是「95% 确定 B 更好」。真正的判据是置信区间:如果区间跨过 0,就不能下结论,无论点估计差多少。
标题改动的实验要特别小心什么?
标题实验有三个额外风险,很多人没意识到。
第一,Google 会重写标题。你改了 title,SERP 上显示的可能是 Google 自己生成的一版。于是 CTR 的变化无法归因到你的改动——你测的是一个你没完全控制的变量。
第二,CTR 变化和排名变化会混淆。改标题后排名也可能变(标题是相关性信号),而排名一变,CTR 必然跟着变。你分不清是「标题更吸引人」还是「排得更高」。
第三,跨页面对比比单页 A/B 更可行。与其在单页上做 A/B,不如找 10 到 20 个同主题、同量级的页面,一半改标题一半不改,做准实验。这样既规避了单页流量不足,也规避了 Google 重写带来的噪声——即使部分页面标题被重写,两组的重写概率是相近的。
关于 SEO 场景的实验,还有哪些高频追问?
用 Google Optimize 做实验可以吗?
实验期间要不要在 sitemap 里排除变体?
实验跑两周够不够?
A/B 测试会不会被 Google 判为 cloaking?
小站有没有必要做实验?
样本量算出来太大,是不是说明这个改动不值得做?
实验只是验证手段,改什么还得先有判断。先看用户体验与 SEO 的交集确定哪些问题值得改;改完要量化,看有流量没询盘的表单与转化清单和GA4 询盘转化追踪。定性证据这一层,用 Clarity 热力图把体验问题变成证据是最省事的入口。如果实验目标是加载体验,先读LCP、INP、CLS 三项指标怎么读怎么修——性能类改动往往比按钮位置改动效应量大得多,更容易在小样本里看出差异。