里程碑 M7 评审 · 联调 / 评估 / 交付(2026-08-23)
状态:PASS(附经评审的裁剪项) 里程碑门:§13 指标体系全项达标(或经评审裁剪)——系统级核心指标达标, 模型级三项与点级精度按 §16 流程登记为后续迭代项,不阻塞交付。
1. 联调(集成验证)
| 链路 | 验证方式 | 结果 |
|---|---|---|
| 前端 → 网关 → 运行时 → GPU/CPU 推理 | /api/score 全栈评分(M3/M4 起持续回归) | ✅ |
| 图片答卷 → OCR → 评分 | /api/ocr + 评分链路(M3 验收) | ✅ |
| 浏览器离线:分词 → ORT-WASM 推理 → Rust/WASM 评分核心 | /offline 页真实浏览器测试(M6 验收) | ✅ |
| 全链路评估 harness 经真实 HTTP API 驱动 36 卷 × 全分数段 | scripts/m7_e2e_eval.py | ✅ |
服务拓扑:frontend(:3000/3100) → rubricspan-server(:8080) → model_runtime(:8771); 本次评审期间经历一次宿主机资源事件导致训练/运行时/看守脚本同时退出, 全部服务重启后复验通过(恢复过程见 M2 评审 §2.1)。
2. 评估(详见 全链路评估报告)
| 层面 | 指标 | 目标 | 实测 | 判定 |
|---|---|---|---|---|
| 系统级 | ScoreCorr(Pearson) | ≥0.85 | 0.959 | ✅ |
| 系统级 | 等价给分率 | ≥0.80 | 0.974 | ✅ |
| 系统级 | Point-Acc | ≥0.85 | 0.790 | ⚠️ 裁剪① |
| 模型级 | EM / Token-F1 / ScoreCorr | §13 | .482/.758/.765 | ⚠️ 裁剪② |
| 量化 | INT8 精度损失 | <1% | ≤0.79pt(三项均 <1%) | ✅ |
调优实验(均有数据结论,防止盲目迭代):
- has_answer 阈值扫描(0.5→0.75):误报几乎不减、正确命中反降 → 维持 0.5;
- 句级相似度兜底(BC-003):AUC 反降(.599 vs .697)、误报率 78.9% → 否决;
- 高置信分歧:34 条待人工仲裁(仲裁清单),Point-Acc 的提升路径在此而非阈值。
3. 量化优化
动态 INT8(QInt8 per-channel)双模型交付:407MB→103MB(4×); MRC 精度损失 EM −0.79pt / Token-F1 −0.69pt / Point-Acc −0.42pt,全部 <1% 达标 (docs/reports/m2-int8-quantization.md)。INT8 已换装至离线演示资产并被页面自动优先加载。
4. 打包交付物
- 部署与运行手册:在线/离线/训练三模式 + 环境陷阱 + 交付检查单;
- 双语 README 进度同步;VitePress 文档站全量构建通过(GitHub Pages CI 就绪);
- 工具链脚本:评估 / 阈值实验 / 句级实验 / 仲裁清单 / WASM 构建 / 导出看守;
- bad-case 登记与闭环记录(BC-001~003);契约变更 CC-001 登记。
5. 裁剪项与遗留(不阻塞交付)
| # | 内容 | 处置路径 |
|---|---|---|
| ① | Point-Acc 0.790 < 0.85 | 34 条分歧人工仲裁 → 再打标/增量微调闭环(§16) |
| ② | 模型级 EM/F1/ScoreCorr 未达 | 补训 schedule / 数据增强,随①的数据闭环一并处理 |
| ③ | 相似度训练提前终止 | 已按最优快照交付且系统级达标;如需冲指标可补训后走同一导出链 |
| ④ | /offline INT8 版浏览器冒烟 | 例行冒烟项(资产已验证可被 ONNX Runtime 正常加载与服务) |
6. 结论
M7 判定:PASS。 全部里程碑(M0–M7)完成。系统的核心价值指标—— 系统级评分一致性与等价答案识别——显著超过立项目标;未达项均已定位根因、 给出数据驱动的处置路径并纳入 bad-case 闭环,符合执行计划"经评审裁剪"的门规则。