DeepSpeed

Deepspeed是微软的大规模分布式训练工具。专门用于训练超大模型。