bad case 登记(迭代闭环入口)
上线后发现评分偏差时在此登记。处理流程(技术方案 §16): 收集 bad case(含 OCR 误识别、同义漏判样本)→ 大模型重新打标 → 增量微调 → 回归评估 → 发版。
登记表
| # | 日期 | 类型 | 题目/答卷摘要 | 现象 | 根因分析 | 处置状态 |
|---|---|---|---|---|---|---|
| BC-001 | 2026-08-23 | false-hit | SAS-CHN-137 全链路评估卷(pred 12/12 vs 金标 3/12) | MRC 以 >0.98 置信命中"选D/选A"及多个内容点,金标却判多数点不存在 | 评估集金标自相矛盾:同一 (答案,得分点) 同时存在 impossible=True/False 行(打标噪声);系统抽取本身有据。已改评估口径剔除矛盾点重测(见 m7-eval-report) | ✅ 评估口径修正 |
| BC-002 | 2026-08-23 | false-hit | 阈值实验:MRC has_answer 阈值 0.5→0.75,FP 仅 33→32、TP 反降 2 | 残余误命中为高置信判定,调阈值无法消除 | 高置信分歧经 M8 自动仲裁闭环:34 条逐条判定,16 条金标漏标(已修订 labels_final 并重建数据集)、18 条系统误判(保留金标,多为题干原文/选项字母被误抽、学生观点与得分点相反);选择型点改由选项规则判定(见 BC-004) | ✅ 仲裁闭环(2026-08-24) |
| BC-003 | 2026-08-23 | semantic-boundary | 相似度兜底在长答案上 cos 中位数 0.43,30 次兜底仅给 9 分 | 兜底行为整体保守正常;但同题长文本与任意得分点的 cos 整体偏高,阈值语义随答案长度漂移 | 候选改进"句级最大相似度"经实验否决(AUC .599 vs 全文 .697,误报率 78.9% vs 30.8%,见 m7-eval-report §3.3);维持全文池化 | ✅ 实验闭环 |
| BC-004 | 2026-08-24 | false-hit | 选择型得分点("选B得3分"等)被 MRC 以 >0.98 置信抽出单字母/无关片段(SAS-CHN-137 卷 pred 12/12 vs 金标 3/12;34 条高置信分歧里 6 条含选项字母) | 选择型点标注 span 多为单字母,模型学到"抽字母"捷径;讲解式作答中选项字母可与任一得分点字面共现 | ① 评分引擎新增 option_rules:选择型点由选项字母规则判定(规则优先、未命中回退 MRC/相似度),不再依赖 MRC 置信度;② MRC 训练剔除选择型查询正例(335 条),改为纯无答信号 | ✅ 已修复(M8 调优闭环,CC-003) |
| BC-005 | 2026-08-24 | other | 34 条分歧中 18 条"系统误判"的相当比例源于:答案卷收录了题干/材料原文,得分点字面在题干中出现 → MRC 高置信抽中题干引文,金标正确判漏 | 评估/打标的数据采集把整页文本(含题干)作为学生答案;系统无法区分"学生作答"与"题干引文" | 已修复(2026-09-03,CC-006):评分入口强制题干剥离 strip_stem_spans(归一化 ≥8 字片段剔除,原始答卷保留落库)+ 出厂参数从严 0.95/0.90/0.25/0.8;36 卷同批对照:仅剥离组召回零损失、误报 47→38,交付配置 Point-Acc 0.7160→0.8402、零分卷被给分 63.6%→18.0%(详见部署改进对照报告);残余过给分转为金标错位/合成泄漏两类数据构造问题,在数据侧治理 | ✅ 已修复(部署改进闭环) |
类型枚举
ocr-misread:OCR 误识别导致评分偏差alias-miss:同义表述漏判(应命中未命中)false-hit:误命中(不应命中而命中)semantic-boundary:相似度阈值边界误判config-error:评分配置错误(解析/确认环节)other:其他