宝德联手英特尔打造支持 Analytics Zoo Cluster Serving 的自动分布式可扩展推理平台

概述

依附在发掘数据富厚的内涵信息、拟合手段、数据扩展性等方面的上风，深度进批改在成为大量企业用户陈设人工智能 (AI) 应用的优先选择。但与此同时，深度进修相较平凡的呆板进修应用，在算法陈设、模子计划、算力基本办法构建等方面有着更高的门槛。

为辅佐企业用户低落深度进修陈设与应用门槛，构建软硬一体的漫衍式全栈推理平台，宝德推出了基于 AI 推理处事器 PR2715P2，可支持 Analytics Zoo Cluster Serving 的自动漫衍式可扩展推理平台。宝德PR2715P2回收了全新计划，融合了第二代英特尔® 至强® 可扩展处理赏罚器和英特尔® 深度进修加快（英特尔® DL Boost）技能，在机能与功耗之间实现了有用均衡，为深度进修应用提供了一个高效能的基本平台。

挑衅：怎样加快深度进修陈设与优化

跟着深度进修算法的不绝创新，越来越多的应用必要对深度进修模子举办大局限和及时的漫衍式推理处事。固然已经有一些器材可用于模子优化、处事、集群调治、事变流打点等相干使命，可是对付很多深度进修的工程师和科学家而言，开拓和陈设可以或许透明地扩展到大型集群的漫衍式推理事变流如故是一个严厉的挑衅。

为了便于构建和天生面向大数据的深度进修应用措施，英特尔推出了 Analytics Zoo 平台。该平台提供了同一的数据说明+ AI平台，可将TensorFlow、Keras、Pytorch、BigDl Spark、Flink和 Ray 措施无缝集成到一个同一的数据说明流水线中，用于漫衍式实习或猜测，利便用户构建深度进修应用。整个流水线可以透明地扩展到运行在由搭载英特尔® 至强® 处理赏罚器的处事器构成的 Hadoop/Spark 集群上，以举办漫衍式实习或推理。

Analytics Zoo 在较新的版本中还提供了对付 Cluster Serving 的支持，构建了轻量级、漫衍式、及时的模子处事办理方案。Analytics Zoo Cluster Serving 支持多种深度进修模子，提供了一个简朴的宣布/订阅 API，可支持用户可轻松地将他们的推理哀求发送到输入行列。然后，Cluster Serving 将行使漫衍式流框架在大型集群中举办及时模子推理和自动扩展局限。

图1. Analytics Zoo Cluster Serving 办理方案总体框架

要陈设基于 Analytics Zoo Cluster Serving 的深度进修算法与应用，企业必要举办硬件选型、优化与验证，以提供高机能的算力支撑，但在此进程中，企业也面对着难题的挑衅。起首，传统的办理方案并非是全栈计划，必要在硬件选型、软硬件适配与优化等方面淹灭大量的时刻与精神，也轻易带来总体拥有本钱 (TCO) 的上升。

其次，深度进修算法与应用对付 AI 机能有着很高的要求，未针对 AI 举办机能优化的 CPU 在运行服从上存在明明瓶颈。GPU 处事器固然可以或许提供富裕的算力支持，可是本钱相对较高，应用范畴受到较多的范围，并且其必要专门的陈设与调优，倒霉于深度进修应用的快速上市。

办理方案：基于宝德 PR2715P2 AI 推理处事器的自动漫衍式可扩展推理平台

搭载第二代英特尔至强可扩展处理赏罚器的宝德 PR2715P2 AI 推理处事器全面支持Analytics Zoo Cluster Serving漫衍式推理技能方案。该推理处事器是一款软硬一体的漫衍式全栈推理办理方案，专为高机能计较、高级人工智能说明使命而计划，具有精彩的机能功耗比。

图2：宝德 PR2715P2 AI 推理处事器

第二代英特尔至强可扩展处理赏罚器专为数据中心当代化刷新而计划，可以或许进步各类基本办法、企业应用及技能计较应用的运行服从，进而改进总体拥有本钱（TCO），晋升用户出产力。它拥有更高的单核机能，可以或许在计较、存储和收集应用中，为计较麋集型事变负载提供高机能和可扩展性。得益于英特尔® 超等通道互联（英特尔® UPI）、英特尔® Infrastructure Management 技能（英特尔® IMT）、英特尔® 高级矢量扩展指令集512（英特尔® AVX-512）等领先成果，它可满意严苛的 I/O 麋集型事变负载的需求。

另外，第二代英特尔至强可扩展处理赏罚器内置人工智能加快，并已针对事变负载举办优化，可以或许为各类高机能计较事变负载、AI应用以及高密度基本办法带来一流的机能和内存带宽。同时，回收矢量神经收集指令（VNNI）的英特尔® 深度进修加快（英特尔® DL Boost）明显进步了人工智能推理的示意，与上一代产物对比，机能晋升高达 14 倍。这使其成为拓展 AI 应用的卓越基本办法。

在宝德 PR2715P2 AI 推理处事器搭建的平台上，用户只必要筹备 Analytics Zoo Cluster Serving 的 Docker Image、设置文件、实习好的模子（当前支持的模子包罗TensorFlow、PyTorch、Caffe、BigDL和OpenVINO™的模子）及推理数据，即可在几分钟内启动并运行推理应用。

通过插手对付 Analytics Zoo Cluster Serving 的支持，宝德一体化漫衍式可扩展人工智能推理方案明显低落了设置和流程的庞洪水平，在提供高级定制化处事的同时，有用低落了 TCO。这种全新的集群模子处事支持有助于简化用户的漫衍式推理事变流，进步事变服从，并为深度进修场景带来领先的机能。

结果：自动漫衍式可扩展推理平台加快深度进修陈设与应用

通过陈设基于宝德 PR2715P2AI 推理处事器的自动漫衍式可扩展推理平台，用户可以或许实现如下代价：

• 晋升深度进修的陈设速率：得益于 Analytics Zoo Cluster Serving +宝德 PR2715P2 AI 推理处事器的全栈推理办理方案，用户可以节减在平台搭建、软硬件优化与验证等方面的大量时刻，快速陈设深度进修应用。
• 进步体系整体算力：第二代英特尔至强可扩展处理赏罚用具备强盛 AI 机能，为该办理方案的算力奠基了坚硬基本，在组建漫衍式集群之后，可以应对大型深度进修负载。
• 确保面向将来的扩展性：该办理方案不只在软件层面实现了自动扩展局限，还通过处事器的漫衍式陈设提供了火速扩展手段，可以或许火速应对将来的深度进修对付基本办法的要求。

瞻望：宝德与英特尔合力敦促 AI 技能成长

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!