DeepSpeed Skill-Skill优仓

训练千亿参数大模型还在手动调参？DeepSpeed Skill帮你一键搞定ZeRO+混合精度🔥

DeepSpeed Skill是一个面向大模型分布式训练的AI编程助手技能，覆盖ZeRO优化（Stage 0-3）、FP16/BF16/FP8混合精度、流水线并行、1-bit Adam通信优化、DeepNVMe高速I/O、Flops Profiler性能分析...

Skill优仓6天前

03610