用于HPC和深度进修事变负载的容器技能

　　【资讯】在应用措施开拓规模中，容器近几年来受到了普及的存眷——缘故起因有许多。这里简朴罗列几个利益：容器简化并加快了构建和断绝应用措施的进程;它们是轻量级的，并且一般打点开支较低;它们可以或许越发轻易地实现应用措施共享和再现性，由于容器映像包罗应用措施及其开拓情形。

　　出格是在深度进修(DL)框架中，容器化的重要性正在上升。为什么?每个DL框架都有很多依靠项。每个依靠库都有非凡的版本需求，全部DL框架都常常产生变革。大大都DL框架的友爱支持操纵体系是Ubuntu，而数据中心陈设凡是是运行Red Hat Enterprise Linux/Centos。容器化有助于开拓职员降服这些挑衅。全部对象都打包成一个单独的包，包罗全部必须的部件。

　　有很多技能可助力实验容器化，譬喻Docker、LXC、LXD和Singularity等。每一种技能都有各自的优弱点，可以迎合差异的受众范例，合用于差异的用例。对付专注于HPC技能使应用措施大局限化的用户来说——譬喻MPI和调治器(slurm, torque)，Singularity也许是一个更好的选择。另一方面，假如用例是基于微处事的扩展，那么Docker，再加上诸如Kubernetes或Docker集群之类的编排技能，也许会是更好的选择。

　　对付HPC和DL应用，在Singularity平台长举办容器化会有一些特另外上风。出格地，与Singularity相团结的容器化，有助于开拓职员降服与编译和大局限最佳运行相干的挑衅。它使开拓职员可以或许通过Singularity的MPI集成手段将事变负载扩展到单个节点。跟着DL数据集的局限不绝扩大，这种可伸缩性将成为很多用例的需求。

　　Singularity是在劳伦斯伯克利国度尝试室专门为HPC和DL事变负载开拓的。其焦点观念是，在容器启动时，用户上下文始终保持稳固。这里没有保卫历程。相反，Singularity是可执行的。Singularity容器在用户空间中运行，这使得用户的权限在容器内部和外部都是沟通的。

　　在戴尔EMC HPC和AI创新尝试室，研究团队将Singularit用在了一个项目中，这个项目包括了其内部用例的DL和HPC应用措施。在这个项目中，该团队发明集装箱化简化了DL在单节点和多节点设置中的构建和陈设。

　　更重要的是，研究团队发明与裸机对比，在Singularit上的DL应用措施没有机能丧失。在其基准测试中，研究团队较量了裸机运行与容器运行的比拟，发明相对机能差别小于2%。

　　这是要害。对付在深度进修和HPC规模事变的开拓职员来说，容器化的甜头是明显的，而无需对机能举办明显影响。显然，跟着组织充实操作DL技能提供由人工智能驱动的产物和处事，容器技能将变得越发重要。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!