PyTorch分布式训练-Skill优仓

训练百亿参数大模型还在手动分片？PyTorch FSDP Skill帮你搞定参数切片+混合精度，真的绝了🔥

pytorch-fsdp是一个专为大规模分布式训练设计的AI编程Skill，基于PyTorch官方FSDP文档提炼而来。覆盖全分片数据并行、混合精度、CPU卸载、FSDP2、DeviceMesh多维并行等核心能力，同时内置NCCL调...

Skill优仓6天前

0489