知识蒸馏共1篇
70B模型压缩到7B还能保住90%性能?Knowledge Distillation这个操作真的绝了🔥-Skill优仓

70B模型压缩到7B还能保住90%性能?Knowledge Distillation这个操作真的绝了🔥

Knowledge Distillation是一个专注LLM压缩的实战Skill,支持将70B大模型压缩至7B同时保留90%以上性能。覆盖温度缩放、软目标、MiniLLM反向KLD、logit蒸馏等核心技术,内置生产级DistillationTra...
Skill优仓的头像-Skill优仓Skill优仓6天前
05112