实现AI的将来将必要极大地扩展AI计较的局限

想象一下本性化人工智能(AI)，您的智妙手机变得更像是智能助手–纵然在嘈杂的房间中也能辨认您的声音，相识差异社友好况的配景或仅泛起与您真正相干的信息天天收到的数据 此类成果也许很快就会触手可及-但要实现此成果，将必要快速，强盛，节能的AI硬件加快器。

在最近颁发在《天然》上的一篇论文中，我们的IBM Research AI团队演示了行使与基于图形处理赏罚单位(GPU)的体系沟通的精度的大型模仿存储装备举办的深度神经收集(DNN)培训。我们以为，这是通往下一个AI打破所必须的硬件加快器之路的重要一步。为什么?由于实现AI的将来将必要极大地扩展AI计较的局限。

无论在云端照旧在边沿，DNN都必需变得更大，更快。这意味着能源服从必需大大进步。固然更好的GPU或其他数字加快器可以在必然水平上有所辅佐，但此类体系不行停止地会耗费大量时刻和精神将数据从内存转移处处理赏罚和返回。我们可以直接在数据位置执行模仿域中的AI计较，从而进步速率和能源服从-但这仅在最终的神经收集与通例数字硬件实现的神经收集一样智能的环境下才故意义。

涉及持续可变信号而不是二进制0和1的模仿技能对其精度具有固有的限定，这就是当代计较机凡是是数字计较机的缘故起因。可是，人工智能研究职员已经开始意识到，纵然将数字精度低落到险些对任何其他计较机应用措施来说都太低的程度，他们的DNN模子如故可以正常事变。因此，对付DNN，大概模仿计较也也许起浸染。

可是，直到此刻，还没有人最终证明这种模仿要领可以与当今在通例数字硬件上运行的软件做同样的事变。也就是说，可以行使这些技能将DNN真正实习成具有沟通的高精度吗?假如最终的分类精度始终低得令人无法接管，那么在实习DNN时就没有更快或更节能的意义。

在我们的论文中，我们描写了模仿非易失性存储器(NVM)怎样可以或许有用地加快很多最新AI前进的焦点“反向撒播”算法。这些存储器应承行使基本物理学在权重数据位置的模仿域中并行化在这些算法中行使的“乘法累加”运算。我们无需通过大型电路来将数字数字相乘和相加，而是简朴地将一小电畅通过电阻流经电线，然后将多条这样的电线毗连在一路以使电流积累。这使我们可以同时执行很多计较，而不是一个接一个地执行。并且，我们可以在模仿存储芯片内部执行全部计较，而不必在数字存储芯片和处理赏罚芯片之间举办远程运输时传送数字数据。

可是，因为当今模仿存储装备固有的各类缺陷，早年在大型现实NVM装备阵列上直接举办DNN实习的演示未能实现与软件实习收集相匹配的分类精度。

通过将相变存储(PCM)器件中的恒久存储，通例互补金属氧化物半导体(CMOS)电容器的近乎线性更新以及抵消器件间差别性的新奇技能相团结，我们对这些缺陷举办了风雅化处理赏罚，并实现了在各类差异的收集上，软件等效的DNN的精确性。这些尝试行使了殽杂的硬件-软件要领，将易于准确建模的体系元素(譬喻CMOS装备)的软件仿真与PCM装备的完备硬件实现相团结。对付我们的神经收集中的每个权重，都必需行使真实的模仿存储装备，由于此类新型装备的建模要领常常无法捕捉它们也许揭示出的全部装备间差别。

行使这种要领，我们验证了全芯片确实应该提供平等的精度，从而可以与数字加快器完成沟通的事变-但速率更快且功耗更低。鉴于这些令人激昂的功效，我们已经开始试探原型硬件加快器芯片的计划，这是IBM Research Frontiers Institute项目标一部门。

通过这些早期的计划事变，我们可以或许作为天然论文的一部门，以计较能效(28,065 GOP / sec / W)的情势提供此类基于NVM的芯片用于实习全毗连层的潜力的起源预计。 )和单元面积的吞吐量(3.6 TOP / sec / mm2)。这些值超出当今GPU的规格两个数目级。另外，全毗连层是神经收集层的一种范例，着实际GPU机能常常远远低于额定规格。

本文指出，尽量现有的模仿存储装备不完美，但基于NVM的要领仍可以提供等效于软件的实习精度，并在加快和能量服从方面进步了几个数目级。下一步将是在要求大型，全毗连层的大型收集上演示沟通的软件等效性，譬喻在呆板翻译的最新盼望背后的轮回毗连的恒久短期内存(LSTM)和门控轮回单位(GRU)收集，字幕和文天职析–并在基于NVM的原型硬件加快器上计划，实现和完美这些模仿技能。针对此应用举办了优化的新型更好情势的模仿存储器可以辅佐进一步进步面密度和能效。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!