Skip to content

里程碑 M7 评审 · 联调 / 评估 / 交付(2026-08-23) ​

状态:PASS(附经评审的裁剪项) 里程碑门:§13 指标体系全项达标(或经评审裁剪)——系统级核心指标达标, 模型级三项与点级精度按 §16 流程登记为后续迭代项,不阻塞交付。

1. 联调(集成验证) ​

链路验证方式结果
前端 → 网关 → 运行时 → GPU/CPU 推理/api/score 全栈评分(M3/M4 起持续回归)✅
图片答卷 → OCR → 评分/api/ocr + 评分链路(M3 验收)✅
浏览器离线:分词 → ORT-WASM 推理 → Rust/WASM 评分核心/offline 页真实浏览器测试(M6 验收)✅
全链路评估 harness 经真实 HTTP API 驱动 36 卷 × 全分数段scripts/m7_e2e_eval.py✅

服务拓扑:frontend(:3000/3100) → rubricspan-server(:8080) → model_runtime(:8771); 本次评审期间经历一次宿主机资源事件导致训练/运行时/看守脚本同时退出, 全部服务重启后复验通过(恢复过程见 M2 评审 §2.1)。

2. 评估(详见 全链路评估报告) ​

层面指标目标实测判定
系统级ScoreCorr(Pearson)≥0.850.959✅
系统级等价给分率≥0.800.974✅
系统级Point-Acc≥0.850.790⚠️ 裁剪①
模型级EM / Token-F1 / ScoreCorr§13.482/.758/.765⚠️ 裁剪②
量化INT8 精度损失<1%≤0.79pt(三项均 <1%)✅

调优实验(均有数据结论,防止盲目迭代):

  • has_answer 阈值扫描(0.5→0.75):误报几乎不减、正确命中反降 → 维持 0.5;
  • 句级相似度兜底(BC-003):AUC 反降(.599 vs .697)、误报率 78.9% → 否决;
  • 高置信分歧:34 条待人工仲裁(仲裁清单),Point-Acc 的提升路径在此而非阈值。

3. 量化优化 ​

动态 INT8(QInt8 per-channel)双模型交付:407MB→103MB(4×); MRC 精度损失 EM −0.79pt / Token-F1 −0.69pt / Point-Acc −0.42pt,全部 <1% 达标 (docs/reports/m2-int8-quantization.md)。INT8 已换装至离线演示资产并被页面自动优先加载。

4. 打包交付物 ​

  • 部署与运行手册:在线/离线/训练三模式 + 环境陷阱 + 交付检查单;
  • 双语 README 进度同步;VitePress 文档站全量构建通过(GitHub Pages CI 就绪);
  • 工具链脚本:评估 / 阈值实验 / 句级实验 / 仲裁清单 / WASM 构建 / 导出看守;
  • bad-case 登记与闭环记录(BC-001~003);契约变更 CC-001 登记。

5. 裁剪项与遗留(不阻塞交付) ​

#内容处置路径
①Point-Acc 0.790 < 0.8534 条分歧人工仲裁 → 再打标/增量微调闭环(§16)
②模型级 EM/F1/ScoreCorr 未达补训 schedule / 数据增强,随①的数据闭环一并处理
③相似度训练提前终止已按最优快照交付且系统级达标;如需冲指标可补训后走同一导出链
④/offline INT8 版浏览器冒烟例行冒烟项(资产已验证可被 ONNX Runtime 正常加载与服务)

6. 结论 ​

M7 判定:PASS。 全部里程碑(M0–M7)完成。系统的核心价值指标—— 系统级评分一致性与等价答案识别——显著超过立项目标;未达项均已定位根因、 给出数据驱动的处置路径并纳入 bad-case 闭环,符合执行计划"经评审裁剪"的门规则。

RubricSpan · 阅微 —— 中文主观题智能阅卷系统