文档灌进模型两个月没人用,坏的是文档不是检索
上半年把内部文档库几百篇东西整理灌进模型,做了个问答入口。上线那天演示效果很好,所有人都夸。第二个月,入口的周均打开次数掉到个位数。复盘的结论有点扎心:检索没有…
·
上半年把内部文档库几百篇东西整理灌进模型,做了个问答入口。上线那天演示效果很好,所有人都夸。第二个月,入口的周均打开次数掉到个位数。复盘的结论有点扎心:检索没有坏,坏的是那几百篇文档本身。
入口做得很干净:一个对话框,答案带原文链接。演示那天问的三个问题都答对了,会议室里有人当场说,以后找文档不用问人了。
上线头一周的热闹是新鲜感
第一周打开次数漂亮,问题集中在「好玩」的一类——休假制度、报销流程。真正干活的问题一上来,答案开始答非所问,提问的人跟着变少,信任的塌方是从第二周开始的。
三个不敢信的瞬间
头一个月记录在案的三次:问退货政策,答的是两年前的旧版,库里新旧两版并存,模型各取一半拼了个答案;问核价流程,检索到的是某次试行方案,正式版在另一篇里;新人问入职手续,搜出来的是另一个岗位的。三次之后,大家默契地回群聊里问人——入口没有坏掉,是被晾掉了。每一次错答都在替入口减分,这个账没人记,但人人心里有。
第一问的人是我自己。答案看着通顺,引用了条款编号,口径也对——正因为都对,才敢直接转发到运营群里。二十分钟后有人翻出公告,新版政策年初就生效了。
没人用的原因在文档状态失修,检索只是替罪羊
库里是什么状态
清库时统计:几百篇文档里,过期方案和现行版本并存的不在少数,试行版没有任何状态标识,岗位专属文档全局可命中。检索再准,命中的是一堆没写状态的历史层积——模型没法从「没标废弃」里读出「已经废弃」。
还有一类最难处理:同一件事有两篇文章,各写一半,都没标谁是正主。清库的人只能挨个打电话问当年写的人——一半的作者已经不在公司,只能按最新日期取。
| 文档问题 | 清理前 | 清理后 |
|---|---|---|
| 过期方案 | 与现行并存 | 标废弃,移出主库 |
| 试行版 | 无标识 | 标试行加起止日期 |
| 岗位专属 | 全局命中 | 标适用范围 |
| 现行文档 | 无生效标识 | 生效日期必填 |
三周清库,重灌,回升
清库花了三周,投入一个人全职,加各岗位每周两小时的确认。规矩只有一条:每篇文档必须带三行元信息——生效日期、状态、适用范围,缺一条不许入库。状态只许填现行、试行、废弃三个值,自造的值没法筛。
重灌之后入口周活回到两位数,新人培训的咨询量降了一半。检索那部分技术,一行没改。
先问有几成还作数
知识库项目死掉,很少死于检索技术,多死于文档没人维护状态。灌库之前该问的只有一句:这堆文档里有几成还作数。作数比例过不了六成,先治理再灌——把垃圾灌进模型,得到的是一个检索很快的垃圾场。
登录后可点赞
← 返回AI × 亚马逊板块