换模型之前，用旧题重考一遍比读十篇评测有用

换模型这件事，评测文章讲的是别人的题在我们这儿好不好使。我们的题只有我们自己留着。我们现在换模型前必做一件事：把固定的三十道题用旧版跑一遍存下来，新版拿同一批题再跑一遍，按错的条数决定换不换。成本不到两小时，比上线后返工便宜太多。

旧题从哪来

不是临时编，是日常复核里退回来的那些输出。退回的样本天然就是这道题的答案，因为人已经判过它错在哪。攒三十道要三个月，攒齐之后这道题库就不再依赖任何人的记忆，人离职也不影响。

三档判定按错的条数，参数一律调到出厂默认

三十道题里有三道是人工改过的正确答案，这三道单独算：它们过不去说明新版的格式遵循明显退步，跟内容能力没关系，要分开看。

回归对照表：抄这张

第四个字段三档是硬约束，只有三个值。「基本一样」这种写法一律退回，因为半年后没人知道一样指哪部分。

错几条就不能换

第二条是最有用的。错六条以上的时候，问题多半不在模型，在提示词——新版的表达习惯和旧版不一样，写着旧习惯的提示词自然跑不动。这时候先改提示词，改完再考一次，可能连换都不用换。我们有一次就是这样，最后发现该动的是提示词。

谁做、什么时候做、留什么记录

题库由日常复核的人维护，退回一次就登记一道，不额外安排人。换代测试由要发起换代的人自己跑，跑完把对照表存到题库目录旁边，文件名带日期和版本号。跑完不出结论的，不许把新版本用于正式流程，可以先拿新任务试。

什么情况下必须停换

三种情况直接停：一是这批任务里有对外承诺性质的输出，二是有明确截止日期的活正在跑，三是团队里没人熟悉两边的差异。前两种换了要重做，第三种出了错没人认领。满足这三条的情况下先跑并行：新旧各做一批，比对结果之后再决定要不要整体换。并行两周是最划算的做法，代价是多花一点时间，省掉的是一次全员返工。