部署改进对照报告：题干剥离 + 评分参数收紧
2026-09-03 · 契约变更 CC-006 · 闭环 BC-005 所有数字由脚本从真实评测产物现场计算（
paper/scripts/paper_experiments.py的exp_deploy），三份逐点记录随论文材料存档。
1. 背景
M7/M8 的评测暴露出两类可操作的系统性误差（详见里程碑评审与 BC-005）：
- 题干污染：答卷在采集/OCR 时原样携带题干材料（诗句、阅读文段、设问句）， 而题干往往正是得分点表述的出处。逐点抽取的"忠于原文"退化为"忠于题干"—— 在专家判零分的答卷上产生置信度接近 1.0 的误报，人工抽检也极易误判为正确。 系统级评测中，专家判零分的 8 份答卷平均被给了 63.6% 的卷面分。
- 系统性偏松：改进前出厂参数（τ_hi=0.85 / τ_lo=0.60 / γ=0.5 / θ=0.5）下， 预测均值 9.44–9.74 分对专家均值 7.07 分，整体偏松约 37%。
两项修复都不需要重新训练：前者是输入净化，后者是参数收紧。
2. 改进内容
题干剥离（rubricspan-scoring::preprocess::strip_stem_spans）
- 匹配在归一化意义下进行：忽略空白、中英文标点、序号数字与①类注释上标，拉丁字母折叠小写；
- 答卷中与题干重合 ≥8 字的片段替换为空格；不足 8 字视为术语/短语的偶然重合，不剥离；
- 与片段掩码一致采用空格替代（保持字符索引与分词边界稳定）；
- 在评分入口强制执行，覆盖文本与 OCR 来源；原始答卷仍完整落库，可回溯复核。
评分参数从严
出厂默认收紧为 τ_hi=0.95 / τ_lo=0.90 / γ=0.25 / θ=0.8（契约字段不变， admin 与题级 thresholds 覆盖语义不变）。
3. 对照实验（36 卷 / 169 点，同一抽样、同一网关、同一模型文件）
| 配置 | 逐点准确率 ↑ | MAE ↓ | FP | FN | 等价给分率 | 零分带给分率 |
|---|---|---|---|---|---|---|
| 改进前基线（无剥离，宽松参数） | 0.7160 | 2.667 | 47 | 1 | 0.9911 | 63.6% |
| 仅剥离题干（参数不变） | 0.7692 | 2.146 | 38 | 1 | 0.9911 | 49.6% |
| 剥离 + 参数收紧（交付配置） | 0.8402 | 1.569 | 22 | 5 | 0.9554 | 18.0% |
其余系统级指标（交付配置）：Pearson 0.9654（95% CI 约 [0.933, 0.982]）、Spearman 0.9380、 QWK 0.8832、RMSE 2.332；混淆矩阵 TP=107 / FP=22 / FN=5 / TN=35。 模型级指标与评分配置无关，维持 FP32 0.8928 不变。
归因
- 剥离的贡献可被干净隔离：仅剥离组的 TP=111、FN=1、等价给分率 0.9911 与基线 逐位一致，差异全部落在误报侧（47→38）。即剥离只移除"从题干里抽答案"的伪证据， 没有损失任何真实召回；对不含题干的正常输入，匹配为空、原文原样返回， 仅增加毫秒级归一化匹配开销。
- 参数收紧的贡献：FP 再压 38→22、MAE 再压 2.146→1.569；代价是等价给分率 −3.6 个百分点、FN 1→5（从"绝不漏给"转向"先压误报"的主动取舍）。
- 误报构成（交付配置）：22 个 FP 中 MRC 抽取 18、选项规则 4；5 个 FN 全部是 MRC 未抽到且兜底余弦低于 τ_lo 的点。
交付配置的行为特征
- 交付阈值下 40 个兜底点余弦全部低于 τ_lo=0.90（最大 0.866，中位数 0.563）： 兜底通路不产生任何给分，退化为纯防御层——管理员放宽阈值时提供受控降级路径， 而非常规给分通路；
- 在交付配置逐点记录上重复阈值后验扫描（24 组），网格内最优组合的指标与交付配置 完全一致，且 γ=0 在所有低阈值组合上一致优于 γ=0.5——"部分给分偏松"结论在剥离后 的数据上复现（完整网格见论文附录 A）；
- 分学科得分率 MAE 全部下降：语文 0.273→0.239、政治 0.226→0.077、 历史 0.412→0.042、地理 0.567→0.133（n=3 仍无统计意义）。
残余误差（数据构造侧，非判定器可修复）
零分带残余 18% 集中在 3 份答卷，归为两类：
- 金标与内容错位（如 SAS-CHN-004）：答卷包含对得分点的实质性讨论却被专家判零分；
- 合成答卷泄漏参考表述（如 SAS-HIST-121）：采集时混入与参考答案几乎一致的语句， 片段并非来自题干，剥离触及不到。
两者的治理在数据采集/合成侧，是后续工作的优先项。
4. 复现
bash
cd backend && cargo build --release -p rubricspan-server
./target/release/rubricspan-server.exe --storage sqlite --store ../tmp/e2e-store/store.db
cd ../scripts && python m7_e2e_eval.py # POST 真实题干，经网关逐卷评分
python ../paper/scripts/paper_experiments.py # 全部指标由产物现场计算参数经 PUT /api/admin/scoring-settings 切换；逐点记录（baseline / strip_orig / strip_strict）与汇总见 paper/artifacts/（e2e_eval_*.json、strip_experiment_summary.md、tab_deploy.csv）。