HQQ量化共1篇
不需要校准数据集!HQQ量化LLM模型4-bit压缩真的绝了🔥-Skill优仓

不需要校准数据集!HQQ量化LLM模型4-bit压缩真的绝了🔥

HQQ(Half-Quadratic Quantization)是一种无需校准数据集的大模型权重量化方案,支持8/4/3/2/1-bit多精度压缩,量化速度比GPTQ/AWQ快数十倍。原生兼容HuggingFace Transformers和vLLM,支持Mar...
Skill优仓的头像-Skill优仓Skill优仓5天前
0359