Uber的综合实习数据将深度进修速率进步了9倍

Uber AI尝试室已经开拓了一种称为天生解说收集（GTN）的算法，该算法可为神经收集天生综合实习数据，与行使真实数据对比，该要领可使收集的逊?з度更快。操作这些综合数据，Uber加速了9倍的神经系统布局搜刮（NAS）深度进修优化进程。

在arXiv上颁发的一篇论文中，团队描写了该体系和一系列尝试。GTN受神经系统布局搜刮（NAS）题目的开导，该系统布局可以实习很多差异的深度进修模子布局，并选择对一组测试数据示意最佳的模子。尽量一种典范的要领是在完备数据集上针对多个迭代（或历元）实习每个模子，但这既耗时又昂贵。可是，可以在更短的时刻内按照GTN的综合数据对模子举办实习，从而按照现实实习数据对模子的真实结果举办估算。因此，可以快速评估模子并收缩搜刮时刻。

研究职员暗示：GTN神经架构搜刮（GTN-NAS）与最先辈的NAS要领对比具有竞争上风，该要领可实现最佳机能，同时行使的计较劲要比典范NAS要领少几个数目级。

神经系统布局搜刮是自动化呆板进修（AutoML）的活泼研究规模。NAS的一个弱点是，它必要实习很多深度进修模子来确定哪种模子机能最佳。很多研究齐集在有用地试探搜刮空间上，这意味着该体系将实习较少的模子。相反，Uber的体系发生了一个新的数据集，该数据集应承对每个模子举办更少的迭代实习，从而使体系可以在沟通的时刻内实行更多的模子。

实习模子举办较少迭代的题目在于，在实习的早期阶段，大大都模子的机能均较差，而且必要多次迭代才气确定模子的真实机能。可是，研究表白，并非全部实习样本都是沟通的，可以通详尽心选择输入样原来加速逊?з度。Uber的设法是行使元进修来天生实习样本。相同于天生反抗收集（GAN），Uber的GTN实习了发电机神经收集，觉得进修者收集天生实习样本。对进修者的真实测试数据举办评估，以发生“元丧失”，而元丧失的梯度会更新天生器。行使这项技能，Uber建设了一个天生器，该天生器天生了用于实习计较机视觉（CV）体系的样本，以辨认MNIST数据齐集的数字。CV体系仅需32个培训步调就可以到达98.9％的精确性。在CIFAR10数据集长举办的相同尝试中，Uber表白他们可以行使合成数据举办128个实习步调来猜测模子机能，而行使真实数据可以举办1200个步调来猜测模子机能，速率进步了9倍。

论文的作者Jeff Clune在推特上宣布了一张由体系天生的合成图像数据的图片，称其为“异类和不实际”。他还说：

GTN天生的数据可以更换神经系统布局搜刮中的真实数据，因此可以显著加速任何NAS算法的速率。到今朝为止，我们只表现了合用于Random Search-NAS的内容，但我们但愿看到其他人行使更高级的NAS要领来实行！

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!