1、现状: 当前现状伙伴提问,回答的准确率92% 基线正确数据量:444350 全量数据: 2、目的: 挤掉92%的数据水分 3、参考数据 表1:兜底表 表2:需要识别理解是否正确表 4、步骤 可全量 可抽样 (1)表2中 需要识别 输入 表2中a列 用户提出的问题 到 大模型or小模型 输出 标准问题a1 判断 表2中b列 标准问题 是否和 标准问题a1一致 如果一致 正确数字n+1 如果不一致 非正确数字m+1 初始值n=0 ,m=0 结论: 表2中正确问题占比:n/m+n 基线正确数据量:444350+n 回答准确率:444350+n/全量数据 (1)表1中数据新增 表2中回答不一致的问题和答案 (2)分析表1中用户问题哪些属于 复合型问题:哪些是识别了回答不了? 局限问题:哪些是识别不了? 复合型问题和局限问题在表1中大概占比有多少?预计占全量有多少? (3)表1中问题大类分类有几大类?哪些是局限问题?哪些是复杂问题? 比如:食品安全,饮料制作,清洁标准,人事,薪资,福利等 (4)是否可以从其他维度进行分析? 比如:人员角色等