跨境知识库AI × 亚马逊

文档灌进模型两个月没人用,坏的是文档不是检索

上半年把内部文档库几百篇东西整理灌进模型,做了个问答入口。上线那天演示效果很好,所有人都夸。第二个月,入口的周均打开次数掉到个位数。复盘的结论有点扎心:检索没有…

·

知识库AI落地文档治理

上半年把内部文档库几百篇东西整理灌进模型,做了个问答入口。上线那天演示效果很好,所有人都夸。第二个月,入口的周均打开次数掉到个位数。复盘的结论有点扎心:检索没有坏,坏的是那几百篇文档本身。

入口做得很干净:一个对话框,答案带原文链接。演示那天问的三个问题都答对了,会议室里有人当场说,以后找文档不用问人了。

上线头一周的热闹是新鲜感

第一周打开次数漂亮,问题集中在「好玩」的一类——休假制度、报销流程。真正干活的问题一上来,答案开始答非所问,提问的人跟着变少,信任的塌方是从第二周开始的。

三个不敢信的瞬间

头一个月记录在案的三次:问退货政策,答的是两年前的旧版,库里新旧两版并存,模型各取一半拼了个答案;问核价流程,检索到的是某次试行方案,正式版在另一篇里;新人问入职手续,搜出来的是另一个岗位的。三次之后,大家默契地回群聊里问人——入口没有坏掉,是被晾掉了。每一次错答都在替入口减分,这个账没人记,但人人心里有。

第一问的人是我自己。答案看着通顺,引用了条款编号,口径也对——正因为都对,才敢直接转发到运营群里。二十分钟后有人翻出公告,新版政策年初就生效了。

知识库项目五个月
知识库项目五个月

没人用的原因在文档状态失修,检索只是替罪羊

库里是什么状态

清库时统计:几百篇文档里,过期方案和现行版本并存的不在少数,试行版没有任何状态标识,岗位专属文档全局可命中。检索再准,命中的是一堆没写状态的历史层积——模型没法从「没标废弃」里读出「已经废弃」。

还有一类最难处理:同一件事有两篇文章,各写一半,都没标谁是正主。清库的人只能挨个打电话问当年写的人——一半的作者已经不在公司,只能按最新日期取。

文档问题清理前清理后
过期方案与现行并存标废弃,移出主库
试行版无标识标试行加起止日期
岗位专属全局命中标适用范围
现行文档无生效标识生效日期必填

三周清库,重灌,回升

清库花了三周,投入一个人全职,加各岗位每周两小时的确认。规矩只有一条:每篇文档必须带三行元信息——生效日期、状态、适用范围,缺一条不许入库。状态只许填现行、试行、废弃三个值,自造的值没法筛。

重灌之后入口周活回到两位数,新人培训的咨询量降了一半。检索那部分技术,一行没改。

先问有几成还作数

知识库项目死掉,很少死于检索技术,多死于文档没人维护状态。灌库之前该问的只有一句:这堆文档里有几成还作数。作数比例过不了六成,先治理再灌——把垃圾灌进模型,得到的是一个检索很快的垃圾场。

← 返回AI × 亚马逊板块