加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

Facebook 宣布无梯度优化开源器材 Nevergrad,可应用于种种呆板进修题目

发布时间:2018-12-25 02:20:52 所属栏目:移动互联 来源:丛末
导读:大大都呆板进修使命从天然说话处理赏罚、图像分类到翻译以及大量其他使命,都依靠于无梯度优化来调解模子中的参数和/或超参数。为了使得参数/超参数的调解更快、更简朴,Facebook 建设了一个名叫 Nevergrad(https://github.com/facebookresearch/nevergrad)

Nevergrad 平台还可以执行在许多呆板进修场景中城市呈现的离散方针函数。这些场景包罗,举例来说,在一组有限的选项中举办选择(譬喻神经收集中的激活函数)和在层的各个范例中举办选择(譬喻,抉择在收集中的某些位置是否必要跳过毗连)。

现有的更换平台(Bbob 和 Cutest)并不包括任何离散的基准。Nevergrad 可以执行颠末 softmax 函数(将离散题目转换成有噪声的持续题目)或持续变量离散化举办处理赏罚了的离散域。

Facebook 研究团队留意到在这个场景中,FastGA(https://arxiv.org/abs/1703.03334)的示意最好。DoubleFastGA 对应的是 1/dim 和 (dim-1)/dim 之间的突变率,而差池应 1/dim 和 1/2。这是由于原始范畴对应于二进制域,而在这里,他们思量的是恣意域。在几种场景中,简朴同等的突变率殽杂(https://arxiv.org/abs/1606.05551)示意精采。

Facebook 宣布无梯度优化开源器材 Nevergrad,可应用于种种呆板进修题目

为研究者和呆板进修科学家扩展器材箱

Faacebook 将会一连为 Nevergrad 增进成果,从而辅佐研究者建设和评估新算法。最初的版本拥有根基的人工测试成果,不外 Facebook 打算为其增进更多成果,个中包罗暗示物理模子的成果。在应用方面,他们将继承让 Nevergrad 变得更易用,并实行用它来对无法很好地确定梯度的 PyTorch 加强进修模子中的参数举办优化。Nevergrad 还可以辅佐 A/B 测试以及功课调治等其他使命举办参数扫描。

【编辑保举】

  1. 人工智能期间,荣之联助力新媒体开创新生态
  2. 中国首款国产量子计较机节制体系降生
  3. 猜测:2019将发作的10项人工智能技能!
  4. Julia vs Python:哪种编程说话会是2019年呆板进修界的No 1?
  5. 【WOT2018】怎样操作数据实习人工智能?三位大咖教你发掘数据代价
【责任编辑:张燕妮 TEL:(010)68476606】
点赞 0

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读