谷歌开源新模子 EfficientNet：图像辨认服从晋升 10 倍，参数镌汰 88%

卷积神经收集凡是是再有限的资源下举办开拓，然后在前提应承的环境下将其扩展到更大的计较资源上以得到更好的精确率。谷歌 AI 的科学家们在论文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》中体系地研究了模子扩展的题目，并提出了新的复合扩展法以及一个更高机能的 EfficientNet，EfficientNet 模子的相干代码和 TPU 实习数据也已经在 GitHub 上开源。该论文已被 ICML2019 吸取，AI 前列对其举办了简朴地梳理总结，本文是 AI 前列第 81 篇论文导读。

模子扩展被普及地用于进步卷积收集的精确性。譬喻，ResNet 系列可以通过增进层数从 ResNet-18 扩展到 ResNet-200。谷歌的开源神经收集实习库 GPipe 通过对基线收集的四倍扩展可以在 ImageNet 数据库上到达 84.3% 的 top-1 精度。然而，固然有许多途径对卷积收集举办扩展，却鲜有事变对其举办深入的领略。很多先前的事变都是针对神经收集三个维度——深度、宽度和图像巨细中的一个身分举办调解。固然对个中恣意两个或三个身分举办调解看起来是可行的，但现实上这必要大量的人工调参来到达委偏言的已往的晋升。对付 EfficientNet 的结果，我们先来看张图：

图中横坐标暗示参数目，纵坐标暗示 ImageNet 数据库上的 Top1 精确率。可以看出 EfficientNet 系列完胜了其他全部的卷积收集。个中，Efficient-B7 取得了新的最高精确率，到达了 84.4%。可是它的参数目对比 GPipe 镌汰了 8.4 倍，而且推理速率到达了 GPipe 的 6.1 倍。越发细节的数据可以参考后头的尝试部门。

这篇文章的作者对神经网路的扩展进程举办了研究与反思。出格的是，作者提出了一个思索：可否找到一个类型化的神经收集扩展要领可以同时进步收集的精确率和服从。要实现这点，一个很要害的步调即是怎样均衡宽度、深度和判别率这三个维度。作者通过一些履历性的研究发明，可以行使一种牢靠比例的放缩操纵简朴地实现对三者的均衡。最终，作者提出了一种简朴却有用的复合扩展要领（compound scaling method）。譬喻，对付一个尺度的模子，假如想行使 2^N 倍的计较资源，作者以为只必要对收集宽度增进α^N，深度增进β^N，以及增进γ^N 倍的图像巨细。个中α、β、γ是一组恒定系数，他们的值通过在原始的尺度模子中行使小范畴的网格搜刮（grid search）获得。为了直观地声名本文提出的复合扩展要领与传统要领的区别，作者提供了下图作为参考：

个中，（a）是一个基线收集，（b）到（d）是三种差异的传统要领，别离对宽度、深度和图像判别率举办了扩展，（e）是本文提出的复合扩展要领，行使牢靠比率同时对三个维度举办了扩展。直观地讲，复合扩展法是说得通的。由于对付更大的输入图像，收集必要更多的层来增进感觉野，同时必要更多的通道来获取细粒度的信息。总的来嗣魅这篇论文的焦点事变首要分为两个方面：

提出了一种复合扩展要领，这是初次实行同时对卷积收集的三种维度举办扩展的要领。该要领可以有用地晋升现有的收集布局在大局限计较资源上的实习结果。

计划了一种新的机能卓越的收集布局——EfficientNet。该收集不只机能远超其他收集布局，收集参数还更少，推理速率更快。

这一部门将为各人具体先容什幺是收集扩展题目，并对差异的要领举办了研究，从而引出我们的主角：复合扩展法。

题目建模

卷积收集的本质是一个映射函数，这个函数可以写为下面这个情势：

个中 Fi 暗示第 i 层举办的运算，Xi 是输入的张量，我们假设这个张量的巨细为：

<Hi,Wi,Ci>。为了利便推理，省去了张量的批巨细信息。

凡是，我们会行使多个叠加的子模块来构成完备的卷积收集。譬喻 ResNet 由 5 个子模块组成，也被称为五个阶段。除了第一个阶段举办了降采样外，每个阶段中的全部层的卷积操纵都是一样的。因此，神经收集也可以被界说为下面这个情势（公式（1））：

个中， 暗示的是层 Fi 在第 i 阶段被一再了 Li 次。<Hi,Wi,Ci> 暗示的是第 i 层的输入张量 X 的外形。当一个输入的张量流经整个卷积收集，它的空间维度凡是会缩减，并陪伴着通道位数的增进，譬喻一个输入为 <224,224,3> 的张量颠末一个特定的卷积收集后它的外形最终会变为 <7,7,512>。

对付一个神经收集，作者假定全部的层都必需通过沟通的常数比例举办同一的扩展。因此，模子扩展题目的可以暗示为（公式（2））：

个中 w,d,r 别离是扩展收集的宽度、深度和判别率。

是基线收集中预界说的收集参数。

单维度扩展

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!