分布式入门，怎样用PyTorch实现多GPU分布式训练

我们可以调整影响上述不等式的三个因子，从分布式算法中得到更多的好处。

• 通过以高带宽的快速网络连接节点，来减小 Tsync。
• 通过增加批大小 B，来增加 Tcomp。
• 通过连接更多的节点和拥有更多的副本来增加 R。

本文清晰地介绍了深度学习环境中的分布式计算的核心思想。尽管同步 SGD 很流行，但是也有其他被频繁使用的分布式算法(如异步 SGD 及其变体)。然而，更重要的是能够以并行的方式来思考深度学习方法。请注意，不是所有的算法都可以开箱即用地并行化，有的需要做一些近似处理，这破坏了原算法给出的理论保证。能否高效处理这些近似，取决于算法的设计者和实现者。

原文地址：

https://medium.com/intel-student-ambassadors/distributed-training-of-deep-learning-models-with-pytorch-1123fa538848

【本文是51CTO专栏机构“机器之心”的原创译文，微信公众号“机器之心( id: almosthuman2014)”】

戳这里，看该作者更多好文

【编辑推荐】

1. 对比复现34个预训练模型，PyTorch和Keras你选谁？
2. 分布式系统的“流言蜚语”
3. 自己动手撸一个分布式IM(即时通讯) 系统
4. 分布式系统Kafka和ES中，JVM内存越大越好吗？
5. 深入浅出百亿请求高可用Redis(codis)分布式集群揭秘

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!