Facebook 宣布无梯度优化开源器材 Nevergrad,可应用于种种呆板进修题目
Nevergrad 平台还可以执行在许多呆板进修场景中城市呈现的离散方针函数。这些场景包罗,举例来说,在一组有限的选项中举办选择(譬喻神经收集中的激活函数)和在层的各个范例中举办选择(譬喻,抉择在收集中的某些位置是否必要跳过毗连)。 现有的更换平台(Bbob 和 Cutest)并不包括任何离散的基准。Nevergrad 可以执行颠末 softmax 函数(将离散题目转换成有噪声的持续题目)或持续变量离散化举办处理赏罚了的离散域。 Facebook 研究团队留意到在这个场景中,FastGA(https://arxiv.org/abs/1703.03334)的示意最好。DoubleFastGA 对应的是 1/dim 和 (dim-1)/dim 之间的突变率,而差池应 1/dim 和 1/2。这是由于原始范畴对应于二进制域,而在这里,他们思量的是恣意域。在几种场景中,简朴同等的突变率殽杂(https://arxiv.org/abs/1606.05551)示意精采。 为研究者和呆板进修科学家扩展器材箱Faacebook 将会一连为 Nevergrad 增进成果,从而辅佐研究者建设和评估新算法。最初的版本拥有根基的人工测试成果,不外 Facebook 打算为其增进更多成果,个中包罗暗示物理模子的成果。在应用方面,他们将继承让 Nevergrad 变得更易用,并实行用它来对无法很好地确定梯度的 PyTorch 加强进修模子中的参数举办优化。Nevergrad 还可以辅佐 A/B 测试以及功课调治等其他使命举办参数扫描。 【编辑保举】
点赞 0 (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |