模型蒸馏

模型蒸馏是一种知识迁移技术，其核心在于将一个大规模、预训练的教师模型（Teacher Model）所蕴含的知识传递给一个规模较小的学生模型（Student Model）。其目标是打造一个在性能上与大型模型相近，但计算资源消耗大幅降低的紧凑模型。