一个模型跑到底还是分两套交叉，看错误能不能用同一把尺子量出来

换模型这件事多数人做错了方向。他们在换模型上下功夫，而真正该问的是：这个错误，你有没有一把独立的尺子能量。量不了，交叉验证只是把同一个错做两遍。

分岔点在错误形态

两种错误形态：固定的、重复犯的，和分散的、看不出规律的。

固定型用单模型加回归题。错法总是同一种，人一眼能认出，说明错误源自输入或者口径，不源自模型。这类用换模型去治，治不好。

分散型用两套交叉。错在哪都看不出来，说明需要第二个独立意见，判断标准就是那把尺子。

单模型与双模型两条路的分岔点、时间代价、退回办法

两条路摆在这张表里

交叉验证有个必须说清的前提：两套给出一致的答案，只能证明形式对，证明不了实质对。两套一起错的时候——它们的数据来源相近、训练口径相近，错法就容易相近——一致反而是最危险的信号。

所以我加了一条反向检查：两套完全一致的时候，随机抽一条去找原始凭据核。核不了凭据，一致不作数。

两套交回来的东西长什么样

实践里两套给的一致率比想象中高，大部分活一致率在八成以上。剩下那两成的分歧，往往是最有价值的部分——分歧出现的位置通常就是这件事的边界没定义清楚。

我一直盯着两成不看。八个里面有一个不同，说明那个不同的点上有它自己的道理，直接去问为什么，比读十篇评测有用。

反过来，如果两套连格式都一模一样，得分不低，那要怀疑是不是同一份上下文喂出的两次采样。这种情况下换个问法再来一轮，才算真的两个意见。

什么时候单模型其实更划算

交叉验证有一笔固定成本：两份输出要并排读。并排读的疲劳比连读两份文档大得多，读到最后容易只看一份——那时候你花了双倍时间，得到的是单模型的效果加上一点安全感。

单模型配一条基准题，成本低得多。基准题每两周跑一次，两分钟出结果，错了立刻知道。

所以交叉验证应该用在点上：不是每条流程都交叉，只在「这个错我认不出来」的环节用。其他环节单模型跑。

优劣翻转的条件

判断依据单一、且需要交叉的环节不到全部工作量的十分之一时，单模型赢。这是我大多数时间的状态。

翻转到交叉更划算的情况有两个：一是错误本身代价很高，一次错就丢掉一个ASIN的权重；二是判断标准已经有多条但一直没用上，这时候交叉几乎免费，因为标准现成。

两种都不该走的情况：对错本来就靠主观判断的两件事，比如文案调子。交叉验证给不出第二把尺子，两套模型只会互相印证同一种审美，验证了个寂寞。这种活要换人看，不是换模型。