跨境知识库数据团队

AI 出的报表,抽检比例按错的代价分档

我们让模型参与出报表大概八个月,效率上的收益很明显,原来两个人做一天的日报表现在一个人两小时。中间出过三次不大不小的事,三次都不是算错。

AI报表抽检机制数据质量

我们让模型参与出报表大概八个月,效率上的收益很明显,原来两个人做一天的日报表现在一个人两小时。中间出过三次不大不小的事,三次都不是算错。

一次是把退货口径从「申请」换成了「完成」,数字掉了四成,报表上没有任何提示;一次是时间窗按自然月取了,而我们的运营月是上月 26 号到本月 25 号;还有一次是它自己补了一个空值,补的方式是取前三天均值,正好那三天在做促销。

抽检抽的不是算错,是口径漂

模型算错的比率其实不高,加减乘除这类错误人工复核一眼就能看出来,模型也基本不会犯。真出问题的是口径:它选了另一个同样合理但你没在用的口径,而且选得悄无声息。

这类问题人工看报表也看不出来。数字是平的、趋势是连续的、总量对得上,只有当你拿它和另一张表对比的时候,才发现差了几个点。所以抽检必须拿它去对另一套已知正确的数,不是自己看一遍觉得没问题。

三档抽检比例

按错误代价划分的三档抽检比例
按错误代价划分的三档抽检比例

抽检比例跟着错误代价走,不跟着工作量走

第一档,对外报表。发给合作方、给工厂看销量、进汇报材料的,抽五成,而且抽的是关键行的原始值和计算过程,只看结果不算抽。

第二档,决策报表。拿它调广告、定备货、砍 SKU 的,抽三成。这类报表错了会直接变成钱的损失,但损失可控,纠偏也快。

第三档,观察报表。看趋势、看分布、不直接驱动动作的,抽一成,主要是防止口径整体漂移。

这个比例的来源是那三次事故:对外那次如果抽五成,能提前两周发现;决策那两次,抽三成就够。

抽检抽四项

抽检项怎么验常见失效形态
口径与另一套已知正确的数对比换了一个同样合理的口径
时间窗查起止日期是否按运营月按自然月取
空值处理查缺失值是剔除还是填充用异常期均值填充
单位与币种查表头与量级汇率用了旧值

四项里最容易被跳过的是单位与币种。它不常错,一旦错了数字会差一个量级,反而比口径漂更容易被发现——所以很多人觉得不用检。我保留它是因为有一次报表里的运费按美元算了,但成本按人民币,毛利直接变成负的,看报表的人第一反应是业务崩了。

抽到错之后,改的是输入

抽到错误,我们第一反应是改提示词。改了几次发现同一个错还会以别的形式回来,因为提示词里没有写死口径,模型每次都在合理范围内自由选择。

现在改成把口径写进输入准备清单:数据源、时间窗定义、空值处理方式、单位,四项在生成之前就填好,模型只负责执行。清单固定的部分不再出错,剩下能错的只有新增的分析逻辑。

抽检记录本身是一个指标

我们记了三个月的抽检结果,错误率从最初的百分之九降到现在的百分之二点几。降下来的部分几乎全部来自输入准备清单的固化,不是模型变好了。

这个数我按月看。它涨了,说明最近有新的分析类型进来,要补的是输入清单条目,抽检力度不用动。

← 返回数据团队板块