Meta新研究：字节模型蒸馏后，天花板破了

Meta与华盛顿大学提出字节级蒸馏方法，将教师Token概率分布转换为256种字节取值进行蒸馏。End-Of-Token方案使下游准确率上限达52.4%，比传统Token蒸馏高出4个百分点，存储量减少至约1/5，但计算量增加约30.94%。