阿里巴巴资深技术专家曹政:高性能网络驱动极致智能计算
我们看一下颠末各类通讯优化后,对应用机能的影响,好比拍立淘万万分类模子,对比传统50GTCP收集,我们晋升了2.5倍的机能,BERT对通讯越发敏感,铰剪差也更大,右图更直观地展示了通讯优化对付计较资源操作率的结果,假如机能扩展性欠好的话,3000多张GPU卡的算力只能施展出1000多张,其余的算力都被通讯耗损掉了,行使我们的通讯优化后,相等于多施展出了1800多张卡的算力。 强资源弹性也是依靠于高机能收集,包罗软件池化和硬件池化,软件池化较量成熟,硬件池法还在事变之中。软件要领就是将当地的算子通过高机能收集转发到长途执行,有软件的参与,因此机能和框架侵入性上存在不敷,而硬件池化会通过超低耽误收集,亚微秒级此外收集,把原本属于处事器内的资源拉远,实现对上层软件的透明,这对收集机能的挑衅很是高。从这张机能评测图上可以看到,软件池化在CNN类应用下的示意照旧不错的,机能根基上不会有太大的降落,可是对付其他一些通讯敏感的场景存在不敷,以是硬件池化是我们研发的偏向。 将来对付高算力类应用,首当其冲的需求照旧更快、更宽、更大局限的收集,个中包罗400G的收集,Lossy RDMA等,其次是更智能的收集,必要收集提供更多的信息,让端侧更智能地选路,乃至一些计较要产生在收集之中。将来,收集和计较的相关将会越发细密,由于模子和数据混归并行已经形成趋势,推理和实习殽杂陈设正在产生,更大标准的AI+Big data+HPC产生融合,这些都对绝对机能以及机能断绝提出更高的要求,大计较的成长依靠于更高机能的收集。 延长阅读:
(编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |