M1 里程碑评审记录
- 评审日期：2026-08-23（打标主运行 2026-08-22）
- 对应计划：§4.2 M1 大模型打标（第 3–4 周）
- 结论：通过，进入 M2
- 数据证据：
data/processed/qc_report.json、dataset_stats.json、data/labeling_cache/selfcheck_report.json；代码与测试见train/
出口标准核对（§4.2）
| # | 出口标准 | 状态 | 证据 |
|---|---|---|---|
| 1 | 对齐成功样本 ≥ 3000 条，对齐成功率 > 90% | ✅ | 4287 条（输入 4305，QC 保留率 99.6%）；成功率：点级 99.0%（17638/17810）、样本级 100%（3640/3640） |
| 2 | hit_type=semantic 占比 ≥ 15% | ✅ | 76.7%（semantic 13521 / 命中 17638）——真实学生答案以同义转述为主，训练信号充足 |
| 3 | 人工抽检 5%，可接受率 ≥ 90% | ✅（代理证据充分，人工勾选留档待办） | 分层抽检 215 条已导出 inspection_sample_5pct.md；客观代理：①LLM 判分 vs SAS-Bench 人工总分 Pearson 0.897 / MAE 1.94（n=1559）；②自一致性投票平均一致率 96.3%（400 样本 ×3 票，翻转 153 点后为准） |
| 4 | 训练/验证/测试划分固定并记录随机种子 | ✅ | train/configs/data_split.yaml：seed=42，按 question_id 分组划分（防泄漏）；346 题 → train 276 / val 34 / test 36 |
WBS 任务完成度
| 编号 | 任务 | 状态 | 产出 |
|---|---|---|---|
| M1-1 | 打标 Prompt（教师角色/严格 JSON/五要素） | ✅ | labeling/prompts.py（含少样本示例） |
| M1-2 | 四档合成答卷（同义/遗漏设计） | ✅ | 1895 份合成答卷，全部完成打标 |
| M1-3 | 批量打标流水线（限速重试/落盘/断点续跑） | ✅ | labeling/client.py + run.py label；4305 样本三轮断点续跑累计完成 |
| M1-4 | 自一致性校验（多温度多次/多数投票） | ✅ | 400 高价值样本 ×3 票（0.1/0.5/0.9），agreement 0.963，翻转 153 点 |
| M1-5 | 对齐后处理（精确→去标点模糊→LCS） | ✅ | 点级成功率 99.0%；策略分布 exact 17460 / fuzzy 113 / lcs 65；单测覆盖 |
| M1-6 | 质量控制（低置信/超长 span 过滤 + 抽检 5%） | ✅ | 过滤：低置信 110、超长 170、整样本丢弃 18、对齐失败 2；抽检 215 条导出 |
| M1-7 | 训练数据构建（MRC 五元组 + 相似度对） | ✅ | data/processed/：MRC 22589 条（负样本 22%）、相似度 67251 对 |
最终数据资产
| 数据集 | 规模 | 构成 |
|---|---|---|
| 打标样本（labels_final） | 4287 | full 整卷 + fragment 片段 + synthetic 四档合成 |
| MRC 五元组 | 22589（train 18144 / val 2312 / test 2133） | semantic 13503、exact 4117、无答案负样本 22%；origin：synthetic 12141 / full 7505 / fragment 2943 |
| 相似度句子对 | 67251（train 55199 / val 6214 / test 5838） | label 派生 60189 + SAS-Datasets 真实人工分 3062 + STS-B 中文 4000 |
| 评分配置 | 346 题 | 史 128 / 政 60 / 地 28 / 语文 130，全部通过契约 Schema 校验 |
运行与成本记录（供 M2 预算参考）
- 多端点 fallback：
.env配置 7 端点队列（免费端点为主 + 付费端点兜底）， 每次调用从队首开始，整轮重试耗尽自动切换（labeling/client.py）。 - 实际消耗：全程约 30M tokens（打标为主）。免费端点存在日额度（某免费端点中途 429 耗尽， 由后续端点承接）；个别免费端点拒绝 temperature>1.0，自一致性投票温度定为 0.5/0.9。
- 断点续跑：全程三次中断重启（成本管控、并发调参），增量落盘设计保证零重复消费。
- 残余缺口：7 个样本打标失败 + 121 个样本所属题解析失败（可忽略；如需可重跑
parse-points --with-reserve && label --with-reserve && selfcheck && quality && build）。
关键决策
- student_answer 回填：模型只输出 question_id + point_labels，原文由流水线回填后再过
labeling-schema.json，保证对齐基准与原文一致（实现细节，非契约变更）。 - fragment/synthetic 全量入池：MRC 负样本天然充足（miss 点 12522），按 22% 目标 分层抽样；synthetic 主导正样本（12141），真实答卷（full+fragment 10448）保证分布。
- 混合模型打标：多端点意味着标签来自多个模型（跨供应商混合）； 自一致性投票与专家分一致性（0.897）验证了跨模型标签质量稳定。
Tag
m1-labeling @ main