GPTQ是专为大语言模型设计的训练后量化方案，能将模型权重压缩至4-bit，内存占用减少4倍，推理速度提升3-4倍，同时精度损失控制在2%以内。支持Llama、Mistral、Qwen、DeepSeek等100+主流模型，...