每天进步一小步！由于DeepSeek-R1 爆火，所以为大家带来什么是LLM蒸馏技术的笔记。

几个助记词：教师模型，学生模型，软目标，硬目标。

另外强烈推荐阅读第二个引用的论文，是辛顿教授写的（没错就是传奇人物辛顿教授，2024诺贝尔物理学奖得主）。

全部笔记：https://t.co/gJjfpfOHm6