A/B 测试怎么做才不是自我安慰

A/B 测试的道理人人都懂：做两个版本，看哪个好。但做错的方式也很固定。

一、最常见的错误：样本太少就下结论

A 版 20 个访问成交 2 单，B 版 20 个访问成交 4 单。于是宣布 B 版好一倍。

这个结论毫无意义。 这个量级下，两单的差别完全可能是随机波动——换一天再跑一遍，结果可能反过来。

一个粗略的判断标准：每个版本的转化事件（不是访问量）至少要几十个，才值得开始看结论。如果你的页面一周只有 5 个转化，那你不该做 A/B 测试，该先去解决流量或者先做定性访谈。

二、一次只测一个变量

同时改了标题、配图和按钮颜色，结果 B 版赢了——赢在哪？不知道。下次想复制也复制不了。

一次测一个。想测三件事，就跑三轮。

三、测有分量的东西

按影响大小排序，大致是：

1. 报价和承诺本身（卖什么、多少钱、包含什么）
2. 标题和第一屏文案
3. 页面结构（顺序、长短、表单位置）
4. 按钮文案
5. ...
6. 按钮颜色

很多人的 A/B 测试一辈子停留在第 99 项。按钮从蓝改成绿，改变不了你的生意。

四、先说好怎么算赢

开跑之前就要定：看哪个指标、跑多久、多大差距才算赢。

不然人会不自觉地一直盯着，看到某一刻 B 领先就喊停。这不叫测试，叫找个数据支持已有的结论。

五、别忘了下游

有的版本点击率高，但成交率低——标题夸张会带来更多点击，也会带来更多失望。

看到底层的那个指标（最终成交、退款率、退订率），不要在中间指标上庆祝。

六、没条件做测试的时候怎么办

如果流量还不够支撑测试（多数刚起步的生意都是这样），比 A/B 更有效的是：

• 找 5 个真实客户，看着他们用你的页面，记录他们卡在哪
• 读客服记录里重复出现的问题
• 看看没买的人在结账前一步做了什么

小流量阶段，5 次真实观察比 500 次访问的数据更有信息量。