漫衍式入门，奈何用PyTorch实现多GPU漫衍式实习

我们看一下更新方程的初次更新：

上面的第 2 点和第 4 点担保每个初始权重和梯度都是同步的。显然，它们的线性组合也是同步的(λ 是常数)。往后的全部更新都是相同的逻辑，因此也是同步的。

机能比拟

全部漫衍式算法的最大瓶颈就是同步。只有当同步时刻明显小于计较时刻的时辰，漫衍式算法才是有益的。让我们在尺度 SGD 和同步 SGD 之间做一个简朴的比拟，来看一下什么时辰后者是较量好的。

界说：我们假设整个数据集的局限为 N。收集处理赏罚巨细为 B 的 mini-batch 必要耗费时刻 Tcomp。在漫衍式环境下，all-reduce 同步耗费的时刻为 Tsync。

对付非漫衍式(尺度)SGD，每个 epoch 耗费的时刻为：

对付同步 SGD，每个 epoch 耗费的时刻为：

因此，对付漫衍式情形，为了与非漫衍式情形对比有明显的上风，我们必要满意：

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!