A/B 测试跑了两周就宣布赢家，多半是白跑

后台面向品牌备案卖家的 A/B 实验功能，把测 Listing 变成了顺手的事：传两版主图，系统分流量，看哪版转化高。多数人败在同一步——第十天瞄一眼数据，差距明显，宣布赢家，关掉实验。那不是测试，是抽签。

周订单不够，差异全是噪声

转化率的自然波动比想象中大。周均五六十单的链接，A 版这周 12%、B 版 14%，这点差距靠波动就解释得通，不需要任何原因。我们内部的经验线是周均订单低于 100 单不测，低于这条线，实验报告的显著性再好看也不采信。要测就先攒流量，或者把变量挪到订单更厚的链接上先跑。

流量够不够还有个土办法自查：把过去四周的周转化率拉出来，看周与周之间的自然波动幅度。实验期跑出来的两版差距，如果不超过这个波动幅度，就当没看见，继续攒。这个办法比任何报表都直观，我带的新人先用它建立手感，再看报表。

判读窗口最少四周

A/B 实验的三段窗口：前两周不判读，三四周看趋势，五到八周才下结论

前两周是噪声区，横盘、反转、假领先都正常，这段时间把实验页面锁住不动。第三到四周看趋势，A 版连续两周压住 B 版，趋势才算成立。第五到八周是判读窗口，拿这段时间的数据下结论。复购周期长的品类还要再拉长，两周就分胜负的实验不如不做。

变量的测试顺序是主图优先

影响力从大到小：主图、标题、五点首行、价格。主图动一格点击率先动，反馈最快，永远第一个测。标题牵扯搜索匹配，收录和排名调整有滞后，测它周期拉到八周起步。五点首行排第三，它的反馈隔着点击率一层，效果慢半拍。价格放最后慎测——价格变量里混着促销心智，赢的那版可能是低价赢单，不是页面赢单，测完也学不到东西。

A+ 和五点后四条不进单变量测试。它们服务于展开后的长阅读，买家看到那里时决策权重已经很低，两版差异很难从噪声里分出来。把实验预算花在前五秒级的位置，是这条纪律背后的排序逻辑。

一次实验只许动一个变量

主图和五点一起换掉再测，赢了不知道功劳记给谁，下一轮优化没了方向。团队里最容易吵的就是这种实验：两个人各改了一处，赢了都说是自己的手笔。规矩定死：一次一个变量，说不清变量归属的实验不立项。

输了的那版也是资产

B 版输了不代表白做，它标出了这条链接当前的天花板和没用的方向。失败版本归档，注释里写清当时的判断和结果，半年后翻出来能看到自己的直觉哪次准哪次不准。我归档的输家里有两版换了链接重跑赢了——当时输在流量结构，不是版本本身。归档的时候把当时的流量来源截图一起存，不然三个月后连输的原因都复原不出来。

A/B 测试测的是运营的判断有没有被市场接住，跑不满周期的实验连这个问题都回答不了。