LinkedIn 开源 TonY，让 Hadoop 原生支持 TensorFlow

LinkedIn 开源 TonY 项目，应承用户在单个节点或大型 Hadoop 集群上构建基于 YARN 的 TensorFlow 应用措施办理方案。 TonY 的事变方法就像在 Hadoop 中的 MapReduce，执行 Pig 和 Hive 剧本的要领相同，为 TensorFlow 使命提供第一级支持。 TonY 由三个首要组件构成，客户端，ApplicationMaster 和 TaskExecutor。 它提供了 GPU 调治，准确资源哀求，TensorBoard 支持和容错的四个首要成果。

LinkedIn 平台上有近 6 亿会员，跟着深度进修技能的成长，LinkedIn 的人工智能工程师全力将人工智能应用于很多成果，如择要或回覆，个中很多是行使谷歌开拓的。 构建了深度进修框架 TensorFlow。 一开始，LinkedIn 内部 TensorFlow 用户旨在小型应用措施和非托管的裸机上行使。但跟着后期的开拓，他们越来越意识到必必要让 TensorFlow 毗连并行使 Hadoop 大数据平台上的计较和存储资源。 LinkedIn 的 Hadoop 集群拥稀有百 PB 的数据，是开拓深度进修应用措施的抱负选择。

除了在 Hadoop 上执行根基的分手式 TensorFlow 之外，TonY 还实现了支持大局限实习的成果。 TonY 支持 GPU 调治，可以行使 Hadoop API 从集群哀求 GPU 资源。 另外，它还支持高精度资源哀求。 因为 TonY 可以哀求差异的实体作为单独的组件，因此用户可觉得每种实体范例哀求差异的资源，即用户可以节制应用措施行使的资源。 它还可以辅佐集群打点员停止挥霍硬件资源。

【编辑保举】

1. TensorFlow 2.0的焦点成果将是“Eager Execution”
2. Redis 模块开源容许证改观，多个项目不再开源遭质疑
3. 京东凹凸尝试室开源多端适配的 UI 组件库 Taro UI
4. 这12个最新AI开源项目，你必然要收下
5. 再添开源项目！腾讯AILab开源业内最大局限多标签图像数据集

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!