victory的博客

长安一片月,万户捣衣声

0%

模型蒸馏的核心思想是在保持较高预测性能的同时,通过知识迁移的方式,将一个复杂的大模型(教师模型)的知识传授给一个相对简单的小模型(学生模型),极大地降低了模型的复杂性和计算资源需求,实现了模型的轻量化和高效化。

阅读全文 »