形象领略深度进修中八大范例卷积
|
作为深度可疏散卷积的第二步，为了扩展深度，我们应用1x1卷积，内核巨细为1x1x3。将5 x 5 x 3输入图像与每个1 x 1 x 3内核举办比拟，可提供巨细为5 x 5 x 1的映射。  因此，在应用128个1x1卷积后，我们可以获得一个尺寸为5 x 5 x 128的层。  深度可分卷积 - 第二步：应用多个1 x 1卷积来修改深度。 通过这两个步调，深度可疏散卷积还将输入层(7 x 7 x 3)转换为输出层(5 x 5 x 128)。 深度可疏散卷积的整个进程如下图所示。  深度可分卷积的整个进程 那么，深度可疏散卷积的上风是什么?服从!与2D卷积对比，对付深度可疏散卷积，必要更少的操纵。 让我们回首一下2D卷积示例的计较本钱。有128个3x3x3内核移动5x5次。这是128 x 3 x 3 x 3 x 5 x 5 = 86,400次乘法。 可疏散的卷积怎么样?在第一个深度卷积步调中，有3个3x3x1内核移动5x5次。那是3x3x3x1x5x5 = 675次乘法。在1 x 1卷积的第二步中，有128个1x1x3内核移动5x5次。这是128 x 1 x 1 x 3 x 5 x 5 = 9,600次乘法。因此，总体而言，深度可疏散卷积必要675 + 9600 = 10,275次乘法。这只是2D卷积本钱的12%阁下! 分组卷积2012年，在AlexNet论文中引入了分组卷积。实现它的首要缘故起因是应承通过两个具有有限内存(每个GPU 1.5 GB内存)的GPU举办收集实习。下面的AlexNet在大大都层上表现了两个独立的卷积路径。它正在跨两个GPU举办模子并行化(虽然，假若有更多的GPU，可以举办多GPU并行化)。  在这里，我们描写分组卷积怎样事变。起首，传统的2D卷积遵循以下步调。在此示例中，通过应用128个滤波器(每个滤波器的巨细为3 x 3 x 3)，将巨细为(7 x 7 x 3)的输入层转换为巨细为(5 x 5 x 128)的输出层。可能在一样平常环境下，通过应用Dout内核(每个巨细为h x w x Din)将巨细(Hin x Win x Din)的输入层调动为巨细(Hout x Wout x Dout)的输出层。  尺度2D卷积 在分组卷积中，过滤器被分成差异的组。每组认真具有必然深度的传统2D卷积。如下图。  具有2个滤波器组的分组卷积 以上是具有2个滤波器组的分组卷积的声名。在每个滤波器组中，每个滤波器的深度仅为标称2D卷积的深度的一半。它们具有深度Din/2。每个滤波器组包括Dout/2滤波器。第一个滤波器组(赤色)与输入层的前半部门([：，：0：Din/2])卷积，而第二个滤波器组(蓝色)与输入层的后半部门卷积([：，：，Din/2：Din])。因此，每个过滤器组城市建设Dout / 2通道。总的来说，两组建设2 x Dout/2 = Dout频道。然后，我们行使Dout通道将这些通道堆叠在输出层中。 【编辑保举】
点赞 0 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
