实用帖：大白话给你唠Hiton的胶囊网络!

　　【资讯】胶囊收集(CapsNets)是一个热点的新型神经收集系统布局，也许对深度进修，出格是计较机视觉，有深远的影响。等等，计较机视觉的根基题目已包办理了吗?我们不是全部人都能看到卷积神经收集(CNNs)在各类计较机视觉使命(如分类、定位、物体检测、语义支解或实例支解等伟大的神经收集(CNNs)到达超人类程度的惊人例子了么(见图1)?

　　一些首要的计较机视觉使命

　　简直，我们此刻已经看到了神话般的CNN，可是：

　　·他们接管了大量图像的实习(可能一再行使了神经收集的部门)。 胶囊收集可以行使少得多的实习数据举办归纳综合。

　　·CNN不能很好地处理赏罚歧义。而胶囊收集，纵然在拥挤的场景下，他们也可以示意精彩(尽量他们此刻如故与配景胶葛在一路)。

　　·CNN在池化层中丢失了大量的信息。这些层镌汰了空间判别率(见图2)，以是它们的输出对输入的小变革发生的变革根基不展现。当在整个收集中必需生涯具体的信息时，这就是一个题目了，譬喻在语义支解中。本日，这个题目的办理是通过在CNN周围成立伟大的系统布局来规复一些丢失的信息。行使将囊收集，具体的姿态信息(如准确的工具位置、旋转、厚度、歪斜、巨细等等)在整个收集中城市被保存下来，而不是丢失而且随后可以被规复。对输入的小窜改会导致输出的信息的渺小变革。这就是所谓的“equivariance”。因此，胶囊收集可以在差异的视觉使命中行使沟通的简朴而同等的系统布局。

　　·最后，CNN必要特另外组件来自动辨认一个部件属于哪个工具(譬喻，这条腿属于这只羊)。 而胶囊收集则为你免费提供部件的条理布局。

　　胶囊收集于2011年由Geoffrey Hinton等人在一篇名为Transforming Autoencoders的论文中初次提出，这一动静AI中国也曾存眷有过报道(https://www.toutiao.com/i6486220996138238478/)。可是仅在几个月前，即2017年11月，Sara Sabour、Nicholas Frosst和Geoffrey Hinton颁发了一篇名为《胶囊间的动态路由 》他们引入了一个胶囊架构，在MNIST(手写数字图像的闻名数据集)上到达了最先辈的机能，而且在MultiMNIST上得到了比CNN明明更好的功效(一个具有重叠的对的差异变体位数)。 见图3。

　　▲MultiMNIST图像(白色)及由CapsNet(赤色+绿色)重建。,“R”=重建; “L”=标签

　　尽量他们拥有许多的利益，但胶囊收集仍不足美满。 起首，此刻它们在CIFAR10或ImageNet等大图像上的示意不如CNN好。 另外，它们是计较麋集型的，当它们互相太接近时，它们不能检测到沟通范例的两个工具(这被称为“拥挤题目”，而且已经有表现，人类也拥有这个题目)。 但要害的设法长短常有前程的，并且好像他们只是必要一些调解来施展其所有的潜力。 事实，当代CNN是在1998年发现的，但颠末一些调解后，它们在2012年打败了ImageNet的最新技能。

　　那么，CapsNet毕竟是什么?

　　简而言之，CapsNet由胶囊而不是神经元构成。胶囊是一小组神经元，其进修检测图像的给定地区内的特定工具(譬喻矩形)，并输出其长度暗示所预计的概率的矢量(譬喻，8维矢量)该工具存在，而且其偏向(譬喻，在8D空间中)对工具的姿态参数(譬喻，准确的位置，旋转等)举办编码。假如工具轻微改变(譬喻，移动，旋转，调解巨细等)，则胶囊将输出沟通长度的矢量，可是定向稍有差异。因此，胶囊是等变的。

　　就像通例的神经收集一样，CapsNet组织在多个层(见图4)。最基层的胶囊被称为主胶囊：它们中的每一个都吸取图像的小地区作为输入(称为其接管场)，而且试图检测特定图案的存在和姿态，譬喻矩形。更高层的胶囊称为路由胶囊，可以或许检测更大更伟大的物体，如船只。

　　▲双层CapsNet

　　主胶囊层行使几个通例的卷积层来实现。譬喻，在本文中，他们行使两个卷积层输出256个包括标量的6x6特性映射。他们重塑这个输出以得到包括8维矢量的32个6x6舆图。最后，他们行使一个新的压缩函数来确保这些向量的长度在0到1之间(以暗示一个概率)。就是这样：这给出了主胶囊的输出。

　　接下来的层中的胶囊也实行检测物体和它们的姿态，可是它们的事变方法很是差异，行使称为按协议路由的算法。这就是胶囊收集的大部门魔力地址。我们来看一个例子。

　　假设只有两个主胶囊：一个长方形胶囊和一个三角胶囊，假设他们都检测到他们正在探求的对象。矩形和三角形都可所以屋子或船的一部门(见图5)。因为长方形的位置略微向右旋转，衡宇和船只也必需轻微向右旋转。思量到三角形的姿势，屋子将险些颠倒，而船会轻微旋转到右侧。请留意，外形和整体/部门相关都是在实习时代进修的。此刻留意到长方形和三角形对船的姿势告竣同等，而他们凶猛地差异意这个屋子的姿势。以是，矩形和三角形很也许是统一条船的一部门，并没有屋子的存在。

　　因为我们此刻确信长方形和三角形是船的一部门，因此将长方形和三角形胶囊的输出更多地发送到船舱，而不是发送到衡宇舱：这样，船舱将吸取更有效的输入信号，而且衡宇胶囊将会收到较少的噪音。 对付每个毗连，按路由协议算法保持一个路由权重(拜见图6)：当告竣同等时，它会增进路由权重，在呈现分歧时镌汰路由权重。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!