知识蒸馏

它是什么

普通训练只告诉模型「正确答案是哪个」。知识蒸馏让学生模型去学教师模型给出的整个概率分布：教师认为第二、第三可能的选项是什么、有多可能。这些「软标签」比单一的正确答案携带更多信息，所以学生能用更少的数据、更小的规模学到接近教师的行为。

几种做法

• Logit 蒸馏：直接对齐教师和学生在每个 token 上的输出分布。需要拿到教师的完整输出，通常只在同一家公司内部可行。
• 数据蒸馏：让教师生成大量回答或推理过程，学生在这些文本上做监督微调。只需要教师的文字输出，所以也能通过 API 进行。
• 在线策略蒸馏：学生自己生成回答，教师逐个 token 给出它在同一位置会怎么写，学生向教师靠拢。学生在自己真会犯错的地方得到纠正，常与强化学习配合使用。

为什么它和开放模型、商业竞争有关

• 很多 30B 以下的开放权重模型，是从同一家的旗舰模型蒸馏下来的；发布说明里出现「蒸馏」，通常意味着能力上限由教师决定。
• 通过 API 批量收集推理过程去训练自己的模型，也是一种蒸馏。这就是闭源厂商在服务条款里限制、并开始用分类器拦截这类调用的原因。

局限

学生学的是教师的行为，也会把教师的错误和偏好一起学走；规模差距过大时，学生只能学到一部分。蒸馏模型的基准分数，要和教师的分数放在一起看。