AWQ（Activation-aware Weight Quantization）是MIT Han Lab提出的4-bit大模型量化方案，荣获MLSys 2024最佳论文奖。通过激活感知权重保护技术，将70B模型显存从140GB压缩至35GB，推理速度提升2...