微软提出了新的模型蒸馏策略G2SD,利用掩码自动编码器结合特征蒸馏和KD蒸馏,学生模型的精度达到教师模型的98%!目前已开源!
发布人