HuggingFace Accelerate是目前最简洁的PyTorch分布式训练框架，只需4行代码改造，即可让单卡脚本无缝运行在多GPU、多节点、TPU等各类硬件上。统一支持DDP、DeepSpeed、FSDP、Megatron四种后端，...