给人工智能降点温：深度进修不是全能良药

近几年，深度进修已经进入必然水平的狂热状态，人们正试图用这个技能办理每一个题目。然而，深度进修真是全能的吗？阅读此文后，你便可以或许从深层领略为什么深度进修并不是想象的那般“神话”了。

克日，在深度进修规模呈现了一场热烈的争论。这统统都要从 Jeff Leek 在 Simply Stats 上颁发了一篇题为《数据量不足大，别玩深度进修》（Don't use deep learning your data isn't that big）的博文开始。作者 Jeff Leek 在这篇博文中指出，当样本数据集很小时（这种环境在生物信息规模很常见），纵然有一些层和潜匿单位，具有较少参数的线性模子的示意是优于深度收集的。为了证明本身的论点，Leek 举了一个基于 MNIST 数据库举办图像识此外例子，判别 0 可能 1。他还暗示，当在一个行使仅仅 80 个样本的 MNIST 数据齐集举办 0 和 1 的分类时，一个简朴的线性猜测器（逻辑回归）要比深度神经收集的猜测精确度更高。

这篇博文的颁发引起了规模内的争论，哈佛大学药学院的生物医药信息学专业博士后 Andrew Beam 写了篇文章来辩驳：《就算数据不足大，也能玩深度进修》（You can probably use deep learning even if your data isn't that big）。Andrew Beam 指出，纵然数据集很小，一个恰当实习的深度收集也能击败简朴的线性模子。

现在，越来越多的生物信息学研究职员正在行使深度进修来办理各类百般的题目，这样的争论愈演愈烈。这种炒作是真的吗？照旧说线性模子就足够满意我们的全部需求呢？结论一如既往——要视环境而定。在这篇文章中，作者试探了一些呆板进修的行使实例，在这些实例中行使深度进修并不明智。而且表明白一些对深度进修的误解，作者以为正是这些错误的熟悉导致深度进修没有获得有用地行使，这种环境对付新手来说尤其轻易呈现。

冲破深度进修成见

起首，我们来看看很多生手者轻易发生的成见，着实是一些半真半假的单方面熟悉。首要有两点，个中的一点更具技能性，我将具体表明。

深度进修在小样本集上也可以取得很好的结果

深度进修是在大数据的配景下火起来的（第一个谷歌大脑项目向深度神经收集提供了大量的 Youtube 视频），自从那往后，绝大部门的深度进修内容都是基于大数据量中的伟大算法。

然而，这种大数据 + 深度进修的配对不知为何被人误解为：深度进修不能应用于小样本。假如只有几个样例，将其输入具有高参数样本比例的神经收集好像必然会走上过拟合的阶梯。然而，仅仅思量给定题目的样本容量和维度，无论有监视照旧无监视，险些都是在真空中对数据举办建模，没有任何的上下文。

也许的数据环境是：你拥有与题目相干的数据源，可能该规模的专家可以提供的强盛的先验常识，可能数据可以以很黑白凡的方法举办构建（譬喻，以图形或图像编码的情势）。全部的这些环境中，深度进修有机遇成为一种可供选择的要领——譬喻，你可以编码较大的相干数据集的有用暗示，并将该暗示应用到你的题目中。

这种典范的示例常见于天然说话处理赏罚，你可以进修大型语料库中的词语嵌入，譬喻维基百科，然后将他们作为一个较小的、较窄的语料库嵌入到一个有监视使命中。极度环境下，你可以用一套神经收集举办连系进修特性暗示，这是在小样本齐集重用该暗示的一种有用方法。这种要领被称作“一次性进修”（one-shot learning），而且已经乐成应用到包罗计较机视觉和药物研发在内的具有高维数据的规模。

药物研发中的一次性进修收集，摘自 Altae-Tran et al. ACS Cent. Sci. 2017

深度进修不是统统的谜底

我听过最多的第二个成见就是太过宣传。很多尚未入门该规模的人，仅仅由于深度神经收集在其余规模的精彩示意，就等候它也能为他们带来神话般的示意晋升。其他人则从深度进修在图像、音乐和说话（与人类相关亲近的三种数据范例）处理赏罚规模的令人印象深刻的示意中受到开导，于是就脑子发烧地钻入该规模，火烧眉毛地实行实习最新的 GAN 布局。

虽然，这种大举吹嘘在许多方面是真实存在的。深度进修在呆板进修中的职位不行小觑，也是数据建模要领库的重要器材。它的遍及发动了诸如 tensorflow 和 pytorch 等很多重要框架的成长，它们纵然是在深度进修之外也黑白常有效的。失败者崛起成为超等巨星的故事鼓励了很多研究员从头审阅早年的恍惚算法，如进化算法和加强进修。

但任何环境下也不能以为深度进修是全能良药。除了“全国没有免费的午餐”这点之外，深度进修模子长短常玄妙的，而且必要细心乃至很是耗时耗力的超参数搜刮、调解，以及测试（文章后续有更多讲授）。除此之外，在许多环境下，从实践的角度来看，行使深度进修是没故意义的，更简朴的模子反而能得到更好的结果。

深度进修不只仅是.fit()

深度进修模子从呆板进修的其他规模传来时，我以为尚有其它一个方面常常被忽略。大大都深度进修的教程和先容原料都将模子描写为通过条理方法举办毗连的节点层构成，个中第一层是输入，最后一层是输出，而且你可以用某种情势的随机梯度降落（SGD）要领来实习收集。有些原料会简朴先容随机梯度降落是怎样事变的，以及什么是反向撒播，但大部门先容首要存眷的是富厚的神经收集范例（卷积神经收集，轮回神经收集等等）。

而优化要领自己却很少受到存眷，这是很不幸的，由于深度进修为什么可以或许起到很大的浸染，绝大部门缘故起因就是这些非凡的优化要领（详细阐述可以参考 Ferenc Huszár 的博客以及博客中引用的论文）。相识怎样优化参数，以及怎样分别数据，从而更有用地行使它们以便在公道时刻内使收集得到精采的收敛，是至关重要的。

不外，为什么随机梯度降落云云要害照旧未知的，可是此刻线索也正零散呈现。我倾向于将该要领当作是贝叶斯推理的一部门。实质上，在你举办某种情势的数值优化时，你城市用特定的假设和先验来执行一些贝叶斯推理。着实有一个被称做概率数值计较（probabilistic numerics）的完备研究规模，就是从这个概念开始的。随机梯度降落也是云云，最新的研究成就表白，该进程现实上是一个马尔科夫链，在特定假设下，可以看作是后向变分近似的稳态漫衍。

以是当你遏制随机梯度降落，并回收最终的参数时，根基上是从这个近似漫衍中抽样获得的。我以为这个设法很有开导性，由于这样一来，优化器的参数（这里是指进修率）就更故意义了。譬喻，当你增进随机梯度降落的进修参数时，马尔可夫链就会变得不不变，直到它找到大面积采样的局部最小值，这样一来，就增进了措施的方差。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!