谷歌开源新模子 EfficientNet：图像辨认服从晋升 10 倍，参数镌汰 88%

现实上，差异的扩展维度之间并不是各自独立的。直观地讲，对付更高判别率的图像，该当行使更深的收集，这样会有更大的感觉野对图像举办采样与特性提取。同样的，收集的宽度也应该增进，这是为了通过度高判别图像中更多的像素点来捕捉越发细粒度的模式。基于上述直觉，本文的作者做出了一个假——“我们该当划一地对差异的扩展维度举办均衡，而不是像传统要领那样仅举办单维度扩展。”

为了验证这个假设，作者较量了差异深度和判别率下对收集举办宽度扩展时的尝试功效：

上图中每条线上的每个点暗示模子在差异宽度系数设置下的结果。全部的基线收集都行使表 1 中的布局。第一个基线收集（d=1.0,r=1.0）有 18 个卷积层，其输入的判别率是 224 224。最后一个基线收集（d=2.0,r=1.3）有 36 个卷积层，输入判别率为 299 299。可以看出，在宽度稳固得环境下，假如仅改变深度和判别率，精确率很快趋于饱和。在 FLOPS（每秒浮点运算次数）耗损沟通的环境下，判别率更高、收集更深的模子可以得到更好的精确度。通过这部门说明，作者得出：

调查 2：为了获得更好的精确率和服从，在卷积收集扩展中，均衡收集的宽度、深度和判别率这三种维度长短常要害的一步。

究竟上，一些相同的事变也实行过随机的均衡收集的宽度和深度，可是这些事变都必要冗长的手动微调。与上述要领差异，本文的作者提出了一种新的复合扩展要领。该要领行使一个复合系数Φ通过一种类型化的方法同一对收集的深度、宽度和判别率举办扩展：

个中α,β,γ是常数，它们有小型收集搜刮确定。Φ则是一个由用户指定的扩展系数，它用来节制到底有几多资源是模子扩展可用的。对付一样平常的卷积操纵，其 FLOPS 需求与 d,w^2,r^2 是成比例的。因为卷积收集中最耗损计较资源的凡是是卷积操纵，因此行使公式（3）对收集举办扩展会导致总 FLOPS 近似变为 。本文中作者行使公式

对这三个参数举办了束缚，因此，总 FLOPS 增进 2^Φ。

上面提到的模子扩展要领并不会改变基线收集中每一层的运算操纵，因此要想晋升模子的精确率，有一个好的基线收集也很是重要。在尝试部门，作者行使现有的卷积收集对复合扩展法举办了评估。可是为了更好地展示复合扩展法的有用性，作者计划了一个新的轻量级基线收集 EfficientNet。（注：这里的轻量级收集暗示可用于移动端的参数较少的卷积收集。）

EfficientNet 的布局已经在表 1 中列出，它的骨干收集是由 MBConv 组成，同时作者采纳了 squeeze-and-excitation 操纵对收集布局举办优化（见 SENet，ILSVRC 2017 冠军）。对付 Efficient-B0，若要行使复合扩展法对其举办扩大必要通过两步来完成：

第一步：起首将Φ牢靠为 1，假设至少有两倍以上的资源可用，通过公式（2）和公式（3）对α,β,γ举办网格搜刮。出格的是，对付 EfficientNet-B0，在束缚前提

下，α,β,γ别离为 1.2，1.1 和 1.15 时收集结果最好。

第二步：α,β,γ作为常数牢靠，然后通过公式（3）行使差异Φ对基线收集举办扩展，获得 EfficientNet-B1 到 EfficientNet-B7

这里之以是仅在小的基线收集上行使网格搜刮（步调 1）然后直接将参数扩展到大的模子上（步调 2）是由于假如直接在大模子长举办参数搜刮长短常昂贵且不行行的，因此作者回收了这种两步走的要领确定模子的扩展参数。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!