提示词改过没人记，输出就再也不可比了

同一个提示词，三月用一次，五月用一次，七月再用一次。你以为你在对比同一个东西的三次结果，实际上你对比的是三个不同的提示词。

改的地方很小，没人记得住。改完之后三份输出放在一起，你分不出哪一版更好，因为变的不是模型，是输入。

漂移从哪来

提示词版本漂移，三版输出无法横向比较

第二种最隐蔽。你换了一个输入样例，模型会把它当成偏好信号，后面所有的结论都朝那个方向靠。单看每一版都合理，三版放一起才看得出偏移。

第四种是唯一一种越改越好的漂移，也是唯一一种会让输出覆盖面持续变窄的。每踩一次坑加一条禁令，加够七八条之后，提示词变成一张禁令清单，模型能发挥的空间被压到很小。

为什么这件事要紧

因为提示词是你现在唯一能调的东西。模型版本你选不了，参数你动不了，剩下的变量就这一个。

一个变量没有版本号，你就没有任何一次可以复现的实验。今天跑出来的结果好，你不知道是因为市场变了还是因为你上周加的那句话。

最少要留三列

版本号、变更内容、变更理由。写在提示词文件的开头，跟提示词放一起，不要单独建个表——单独建的表，两周后就没人更新了。

变更内容要写具体。写「优化了一下」等于没写，三个月后你看到这四个字，什么都想不起来。写「新增输出格式约束三条」，你至少知道动了哪里。

对照组怎么建

每次改提示词，保留上一版，用同一批输入各跑一遍，两份输出并排存。

这步花十分钟，但它是唯一能回答「这次改动有没有变好」的办法。不做对照，你只能凭感觉说新版更好，而感觉在这个事情上特别不可靠——新东西总是显得更好。

对照的输入要固定下来存成文件，不要每次现找一批数据。现找的那批数据本身就在变，你测出来的差异里混着数据差异，分不清是提示词的功劳还是样本的功劳。

一个最低成本的做法

不用上任何管理工具。在提示词最上面加三行注释：v几、改了什么、谁改的。每次改动往上加一行，旧的不删。

半年之后往下翻，你能看到一条完整的改动史。哪次改完采纳率上去了，哪次改完变差了，一目了然。

我踩过的坑

我们有个用了大半年的提示词，前后改了十几次，没留一行记录。有次输出质量明显下滑，我们把模型、数据、流程全查了一遍，最后发现是两个月前有人加了一句「尽量简洁」。

那句话压掉了输出里最有价值的那部分推理过程。删掉之后立刻恢复。查这件事花了两天，留记录只需要十秒。