项目定位与目标
一句话定位
MaiLLM 是一套端侧（on-device）多模态小模型训练流水线：以 Qwen3.5-0.8B-Base 为学生骨架， 通过双教师响应蒸馏 + QLoRA，把 Qwen 与 Gemma 两家最新端侧多模态模型的能力，压缩进一个 可在手机 / 边缘设备离线运行的 0.8B 小模型。
为什么做这件事
端侧大模型有三大现实约束：
- 体积甜点区间 = 2–4GB（INT4）：手机上速度 + 质量平衡最佳；7B+ 在端侧"勉强"。
- 中文首选 Qwen，多模态 / 英文首选 Gemma：单一家族难以兼顾。
- 跨家族"结合"是难点：Qwen 与 Gemma 架构、词表、embedding 维度都不同， 直接权重融合（MergeKit）大概率"歪"。
因此 MaiLLM 把命题收窄为：如何用蒸馏，把 Qwen（中文 / 推理）与 Gemma（多模态 / 英文）的优点， 叠加进同一个 Qwen 骨架学生——这是证据最充分、最稳的跨家族结合方式。
目标与边界
| 维度 | 目标 |
|---|---|
| 产物 | 一个 Qwen3.5-0.8B 架构的端侧多模态小模型（MaiLLM） |
| 硬件 | 训练：RTX 4060 Laptop 8GB；部署：手机 / 边缘 NPU |
| 体积 | 量化后 2–4GB（q4_k_m） |
| 能力 | 中文 + 多语言、推理、工具调用风格、基础多模态 |
| 方法 | 响应蒸馏（默认）+ QLoRA；可选同家族实时 logits 蒸馏 |
明确不做：
- 不做跨家族权重融合作为主方案（风险高，仅作实验性尝试）。
- 不"造知识"：蒸馏只能学风格 / 格式 / 已有能力的重组，新事实靠 RAG。
- 不追求刷榜：小样本初版验证看趋势，不追求绝对值。
与上游模型的关系
- 学生：
Qwen/Qwen3.5-0.8B-Base（Apache 2.0，原生多模态 VLM） - 教师 A：
Qwen/Qwen3.5-4B（同家族 VLM，中文 / 推理数据） - 教师 B：
google/gemma-4-E4B（跨家族多模态，英文 / 多语言数据）
MaiLLM 是上述模型的派生训练产物，所有上游权重遵循各自许可证。