谷歌发布颠覆性研究：不训练不调参，AI自动构建超强网络

神经收集不只有权重偏置这些参数，收集的拓扑布局、激活函数的选择城市影响最终功效。

谷歌大脑的研究职员在论文开头就提出质疑：神经收集的权重参数与其架构对比有多重要？在没有进修任何权重参数的环境下，神经收集架构可以在多洪流平上影响给定使命的办理方案。

为此，研究职员提出了一种神经收集架构的搜刮要领，无需实习权重找到执行强化进修使命的最小神经收集架构。

谷歌研究职员还把这种要领用在监视进修规模，仅行使随机权重，就能在MNIST上实现就比随机揣摩高得多的精确率。

论文从架构搜刮、贝叶斯神经收集、算法信息论、收集剪枝、神经科学这些理论中得到开导。

为了天生WANN，必需将权重对收集的影响最小化，用权重随机采样可以担保最终的收集是架构优化的产品，可是在高维空间举办权重随机采样的难度太大。

研究职员采纳了“简朴粗暴”的要领，对全部权重逼迫举办权重共享（weight-sharing），让权重值的数目镌汰到一个。这种高效的近似可以敦促对更好架构的搜刮。

操纵步调

办理了权重初始化的题目，接下来的题目就是怎样收搜刮权重不行知神经收集。它分为四个步调：

1、建设初始的最小神经收集拓扑群。

2、通过多个rollout评估每个收集，并对每个rollout分派差异的共享权重值。

3、按照机能和庞洪水平对收集举办排序。

4、按照排名最高的收集拓扑来建设新的群，通过竞争功效举办概率性的选择。

然后，算法从第2步开始一再，在持续迭代中，发生伟大度逐渐增进的权重不行知拓扑（weight agnostic topologies ）。

拓扑搜刮

用于搜刮神经收集拓扑的操纵受到神经进化算法（NEAT）的开导。在NEAT中，拓扑和权重值同时优化，研究职员忽略权重，只举办拓扑搜刮操纵。

上图展示了收集拓扑空间搜刮的详细操纵：

一开始收集上是最左侧的最小拓扑布局，仅有部门输入和输出是相连的。

然后，收集按以下三种方法举办变动：

1、插入节点：拆分现有毗连插入新节点。

2、添加毗连：毗连两个之前未毗连的节点，添加新毗连。

3、变动激活函数：从头分派潜匿节点的激活函数。

图的最右侧展示了权重在[2,2]取值范畴内也许的激活函数，如线性函数、阶跃函数、正弦余弦函数、ReLU等等。

权重依然重要

WANN与传统的牢靠拓扑收集对比，可以行使单个的随机共享权重也能得到更好的功效。

固然WANN在多项使命中取得了最佳功效，但WANN并不完全独立于权重值，当随机分派单个权重值时，偶然也会失败。

WANN通过编码输入和输出之间的相关起浸染，固然权重的巨细的重要性并不高，但它们的同等性，尤其是标记的同等性才是要害。

随机共享权重的另一个甜头是，调解单个参数的影响变得不重要，无需行使基于梯度的要领。

强化进修使命中的功效让作者思量推广WANN要领的应用范畴。他们又测试了WANN在图像分类基本使命MNIST上的示意，功效在权重靠近0时结果不佳。

有Reddit网友质疑WANN的功效，对付随机权重靠近于0的环境，该收集的机能并欠好，先强化进修尝试中的详细示意就是，小车会跑出限制范畴。

对此，作者给出表明，在权重趋于0的环境下，收集的输出也会趋于0，所往后期的优化很难到达较好的机能。

传送门

原文链接：

https://weightagnostic.github.io/

源代码：

https://github.com/weightagnostic/weightagnostic.github.io

【编辑保举】

1. 谷歌“忏悔”断供华为：被曝正在游说，寻求禁令宽免
2. 谷歌开源新模子 EfficientNet：图像辨认服从晋升 10 倍，参数镌汰 88%
3. 此刻认错晚了！谷歌“忏悔”断供华为的来由真够奇葩
4. 谷歌：不能榨取华为手机行使 Android，会威胁国度安详
5. 谷歌公布即将裁减32位版Android Studio与Android模仿器

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!