基准评测
train/benchmark.py 给出 MaiLLM 与原始底座 Qwen3.5-0.8B-Base 的对照评测， 全部离线、顺序加载以控制 8GB 显存。
指标定义
- 困惑度 PPL
- 域内（in-domain）：训练集里教师回答文本 → 衡量是否学到分布。
- 域外（OOD）：通用中 / 英文段落（不含 LLM 领域）→ 检验是否遗忘基础语言能力。
- 越低越好。
- 蒸馏保真度：用 Qwen3.5-4B 教师对一批 HELD-OUT 提示词生成参考， 再算原始底座与 MaiLLM 输出相对参考的 ROUGE-L / BLEU（均贪婪解码，可复现）。 越高表示越贴近教师。
- 生成样本定性对比：逐条展示 Prompt / 教师参考 / Base / MaiLLM 输出。
实测结果（小样本 25 条初版）
| 模型 | PPL 域内(↓) | PPL 域外(↓) | ROUGE-L(↑) | BLEU(↑) |
|---|---|---|---|---|
| Base (Qwen3.5-0.8B-Base 原始) | 4.030 | 7.034 | 0.109 | 0.031 |
| MaiLLM (merged) | 3.411 | 6.986 | 0.121 | 0.042 |
指标解读
- 域内困惑度：MaiLLM 3.411 < Base 4.030（下降 0.619）→ 训练后模型对教师回答风格 / 分布的拟合更好，说明确实学到了东西。
- 域外困惑度：MaiLLM 6.986 ≈ Base 7.034（基本持平）→ 未显著退化基础语言能力， 无严重灾难性遗忘。
- 蒸馏保真度（ROUGE-L / BLEU）：MaiLLM 高于 Base → SFT 蒸馏后输出在形式上更贴近教师 （含其"思考过程"风格），n-gram 重叠更高；Base 输出更简短、与教师参考重叠低。
结论
小样本（25 条）快速蒸馏的初版验证，趋势正确：蒸馏有效且未破坏底座基础能力。 后续可补充：更大 / 更多样训练集、加入纯中文蒸馏数据、引入 Gemma 英文数据、 以及用标准 benchmark（C-Eval 子集 / MMLU 子集）做更严谨评测。
完整逐样本对比见
outputs/benchmark/report.md（运行benchmark.py后生成）。