弥合AI大局限落地的庞大缺口！阿里、腾讯、百度等连系推出互联网处事AI基准

为了构建端到端的临床诊断应用基准，AIBench 框架机动地提供了与 AI 相干的离线模块和在线模块。在离线模块中，选择方针检测、分类和保举的组件基准作为实习模子。在在线模块中，将这些模子作为处事举办加载以在线推理。

4.1 节点设置

作者陈设了一个 16 节点的 CPU 和 GPU 集群。对付 CPU 集群，全部节点都毗连到一个 1GB 的以太网收集。每个节点配备两个 Xeon E5645 处理赏罚器和 32 GB 内存。每个处理赏罚器包括六个内核。每个节点的操纵体系版本均为 Linux CentOS 6.9，Linux 内核版本为 3.11.10。软件版天职别是 JDK1.8.0、Python3.6.8 和 GCC 5.4。GPU 节点配备了四个 Nvidia Titan XP。每个 Titan XP 拥有 3840 个 Nvidia Cuda 内核和 12GB 内存。表 5 列出了每个节点的具体硬件设置。

表 5：硬件配置细节

4.2 基准陈设

在线处事器配置： 在线处事器陈设在 16 节点 CPU 集群上，包括 1 个查询天生器节点、1 个搜刮打算器节点、2 个保举器节点、9 个搜刮器节点、1 个排序器节点和 2 个数据存储节点。表 6 列出了具体的模块配置信息和涉及的软件信息。

表 6：在线处事器配置

离线实习器配置： 离线实习器陈设在 GPU 上。CUDA 和 Nvidia 驱动措施版天职别为 10.0 和 410.78，行使 1.1.0 版本 PyTorch 实现。

4.3 机能数据网络

作者行使 Network Time Protocol 在全部集群节点上实现时钟同步，并得到在线处事器的耽误和尾耽误怀抱。行使说明器材 Perf，通过硬件机能监督计数器（PMC）网络 CPU 微系统布局数据。对付 GPU 评测，作者行使 Nvidia 评测器材包 nvprof 来跟踪 GPU 的运行机能。

作者对端到端人工智能应用措施基准，包罗在线处事器和离线说明器中包括的 10 小我私人工智能组件基准举办了测评。

5.1 在线处事器评估

作者评估了 16 节点 CPU 集群上的在线处事器机能。产物数据库包括 10 万个具有 32 个属性字段的产物。查询天生器用 30 秒的预热时刻模仿 1000 个用户。用户在每个思索时距离断内持续发送查询哀求，遵循泊松漫衍。当 20000 个查询哀求完成时，网络机能数据。

图 3：在线处事器耽误

耽误是权衡处事质量的重要指标。图 3 给出了在线处事器的耽误。如图 3（a）所示，当前基准实现的整个执行路径的总耽误的均匀值、第 90 百分位和 99 百分位对应别离为 161.13 毫秒、392 毫秒和 956 毫秒。作者进一步深入说明白每个模块的耽误（图 3b），保举器占有了最大的耽误：均匀耽误 75.7 毫秒， 90 百分位耽误 209.4 毫秒，99 百分位耽误 557.7 毫秒。对比之下，搜刮器和保举求的耽误都在 4 毫秒之内。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!