提升12倍！香港浸会大学与MassGrid发布低带宽高效AI训练新算法
发布时间：2019-05-11 11:52:12 所属栏目：建站 来源：佚名
导读：本文经AI新媒体量子位（公家号ID:QbitAI）授权转载，转载请接洽出处。 跟实在习数据量的增进和深度神经收集（DNN）的日益伟大，漫衍式计较情形（如GPU集群）被普及回收，以加快DNN的实习。漫衍式计较收集在呆板进修方面的瓶颈在于节点之间的数据传输服从，
|
为验证对比对收敛速率没有影响，通过实习ResNet 来举办比拟，尝试功效如图2所示。 △ 图2 从Top-k算法中选择k个梯度举办模子更新的收敛功效 gTopKAllReduce：gTop-k稀少化的高效AllReduce算法 从表1可以看到AllGather荟萃对从犯科则索引举办AllReduce操纵服从很低，出格是P对通讯机能的影响。而新提出的有用算法的首要目标是减轻变量P对通讯开销的影响。由于最终只必要选择k个值对模子举办更新，以是在通讯进程中，每次只必要传输k个非0值。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
