提升12倍！香港浸会大学与MassGrid发布低带宽高效AI训练新算法
发布时间：2019-05-10 22:14:59 所属栏目：建站 来源：佚名
导读：本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 随着训练数据量的增加和深度神经网络（DNN）的日益复杂，分布式计算环境（如GPU集群）被广泛采用，以加速DNN的训练。分布式计算网络在机器学习方面的瓶颈在于节点之间的数据传输效率，
|
为验证相比对收敛速度没有影响，通过训练ResNet 来进行对比，实验结果如图2所示。 △ 图2 从Top-k算法中选择k个梯度进行模型更新的收敛结果 gTopKAllReduce：gTop-k稀疏化的高效AllReduce算法 从表1可以看到AllGather集合对从不规则索引进行AllReduce操作效率很低，特别是P对通信性能的影响。而新提出的有效算法的主要目的是减轻变量P对通信开销的影响。因为最终只需要选择k个值对模型进行更新，所以在通信过程中，每次只需要传输k个非0值。 （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
