跨境知识库数据团队

字段改名后的五天,报表一直在画直线

一个字段改了个名字,五个工作日里我们所有的销售趋势图都在画一条贴底的直线。没有人报错,没有人收到消息,包括改字段的那个人。

·

数据管道变更管理监控

一个字段改了个名字,五个工作日里我们所有的销售趋势图都在画一条贴底的直线。没有人报错,没有人收到消息,包括改字段的那个人。

那个改名没有人通知

改名的动作用了两分钟,是后台一个不常用的功能,字段从 sales_amt 改成 sales_amount_value,多了两个词。改的人是我们自己数据组的同事,他记得当天跟研发确认过能不能改,研发说能。

问题是他确认的是能不能改,不是谁在下游用这个名字。这个区别在后台界面上看不出来,界面上没有"谁在用我"这一栏。

空值不报错,这是最难缠的地方

下游三个数据源还在按老名字取数,取回来的值全是空的。如果整张表取不到,通常会抛错,任务日志一片红。这次什么都没发生——任务状态正常完成,字段写着 0,报表照实画。

这就是最难受的五天:所有检查都过了,所有报警都没响,所有图都很难看,没有一个环节发出声音。人看图这件事本身是有阈值的,天天看的人对异常的感觉会钝掉。

一个字段改名,五个工作日无人知情
一个字段改名,五个工作日无人知情

改名、空值、零、四条掉到零的线

第五天下午是怎么被发现的

第五天下午一个运营在群里发了张截图,问这个品怎么一周都是零。我打开看,是全站的表,不是某个品。顺着查上去,第一个能对上的现象是流量那天的数也低——两个指标同时低,说明不是单一数据源的问题。

顺着这条线往回摸,四层的取数日志里都能看到那个字段,值是空的。整个过程两天,其中第一天有一半时间花在了确认不是运营那边的问题。

检查环节本该拦住什么这次的实际
改名时的影响面确认谁在用这个名字只问了能不能改
取数任务的状态校验值取不到任务正常完成
数据落库的空值检查一整列为空该列在,没值
看板的连续性校验曲线不该是平的没有人被要求看形状

四道本来能拦住的地方,四道都通过了。这种全绿最危险的地方在于,它让人把注意力从数据本身转到流程上去——流程看着正常,人就开始找人的问题。

那五天里没人怀疑数据

现在回头看最不该的,是那五天里没有任何人觉得不对。三条线掉到零,主观上就该引起怀疑。我们没有,两个原因:一是那个品本来销量就小,掉到零看着像断货;二是看图的人每天看的都是自己负责的那三五个品,铺满全屏的大盘图反而没人细看。

这件事让我加了一条反向的规矩:如果某个指标连续三天没有变化,主动去看它的取数日志,不等有人问。

管道里的字段名要挂责任人

后来我们加了一条:脚本里引用的字段名,一律登记在一张表上,写清责任人。改字段名的权限收归数据组自己,改之前先在这张表里查一遍有没有别人在用,查得到就得通知。

另一个动作更土但有效:每天早上扫一遍核心字段的非空率,掉到九成以下就推一条消息。空值率这个指标本身不复杂,它挡的就是这类静默失败。

这两件事加起来花了一个下午。那五天花掉的是一周,还搭上了一个被运营盯上的上午,以及那两天里所有基于这份数据做过的判断。

← 返回数据团队板块