TensorRT-LLM是NVIDIA开源的LLM推理优化库，在H100 GPU上跑Llama 3-8B可达24,000 tokens/秒，比PyTorch快100倍。支持FP8/INT4量化、In-flight Batching、多GPU张量并行，覆盖LLaMA、Qwen、DeepS...