大模型为什么越教越小？聊聊知识蒸馏

生产队队长

🧠 家用显卡跑不动千亿大模型，可手机上的助手却回答得头头是道——中间发生了什么？今天聊聊知识蒸馏。
💡 什么是"蒸馏"？
化学里的蒸馏是把精华提纯出来，模型蒸馏也一样：让大模型当"老师"，小模型当"学生"，学生学的不是标准答案，而是老师对每个选项的"把握程度"。

• ❌ 硬标签：图片是猫，正确项记 1 其余记 0，信息量极少
• ✔ 软标签：老师说"猫 90%、豹 8%、狗 2%"，附带类别间的相似关系
• 🔒 一句"豹和猫长得像"，比一千道判断题更能教会学生举一反三

🔍 蒸馏的两种常见姿势

• 响应蒸馏：学生模仿老师的输出概率分布，最经典
• 特征蒸馏：学生模仿老师中间层的特征表示，学得更"像"

✅ 为什么小模型也能这么强？

• 软标签携带了"暗知识"，监督信号比人工标注丰富得多
• 训练温度调高后，概率分布更平滑，细微差异被放大出来供学习
• 损失函数 = 模仿老师 + 对齐真实标签，两条腿走路

---

知识蒸馏的本质：把老师十年功力浓缩成一册秘籍，交给学生随身携带。

现实中，蒸馏支撑着端侧部署和推理降本，很多"小钢炮"模型都站在巨人的肩膀上。
💬 互动一下：你觉得学生学得像老师的标志是什么？是输出一致，还是没见过的题也不翻车？评论区聊聊。