深度学习的江湖已经能够被统一了吗？

你能想象某一天打开深度进修的词条，发明：

深度进修的江湖已经可以或许被同一了吗？

几许学上的对称性可以玩转整个深度进修吗？

通过对称性和的调动，可以提炼出包围CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等统统你所需构建的架构吗？
 

不要惊奇，不要猜疑。

一百多年前埃尔兰根大学一位23岁的小伙就给出了谜底。

他仅凭一己之力开创的“埃尔兰根打算”，从而在几许学上做出了一项开创性的事变，改变了数学史。
 

在182年1月，德国的埃尔兰根大学聘录用了一位新的年青传授。凭证老例，他被要求提供一个就职研究打算，他以长而乏味的问题Vergleichende Betrachtungen über neuere geometrische Forschungen（“对几许学最新研究的较量评述”）举办了颁发。
 

克莱因的Erlangen program（埃尔兰根大纲）的打破性表此刻研究几许学时运用结了构的对称性。克莱因回收群论的情势来界说此类转换，并回收群及其子群的条理布局来分类由此发生的差异几许外形。

因此，刚性行为会发生传统的欧几里得几许，而仿射或投影调动别离发生仿射和投影几许。
 

今朝深度进修领的近况和19世纪的几许环境惊人的相同：

一方面，在已往的十年中，深度进修带来了数据科学的一场革命，并完成了很多早年被以为无法实现的使命：无论是计较机视觉，语音辨认，天然说话翻译，照旧下围棋。

另一方面，此刻存在一个针对差异范例数据的差异神经收集系统布局的“动物园”，但同一的道理很少。这样很难领略差异要领之间的相关，也导致沟通观念的多次发现和资源的挥霍。
 

详细怎么个“同一”，请看回收的“几许深度进修”：

几许深度进修是Michael M. Bronstein，Joan Bruna，Taco Cohen，Petar Veličković 等人中引入的一个笼统术语，指的是相同于Klein的Erlangen program，在几许呆板进修上同一的实行的总称。

它有两个目标：起首，提供一个通用的数学框架以推导最乐成的神经收集系统布局；其次，给出一个建树性的进程，并以有原则的方法构建将来的系统布局。

在最简朴的环境下，有监视的呆板进修本质上是一个函数预计题目：给定实习集上某些未知函数的输出（譬喻标志的狗和猫图像），人们试图从某个假设函数种别中找到一个得当实习的函数f ，并可以猜测早年看不见的输入的输出。
 

这是一种很是通用的计划，可以应用于差异范例的几许布局，包罗几许深度进修的“ 5G”（Grid,Groups,Graphs,Geodesics & Gauges）：网格（具有全局转换群的齐次空间），图形（以及非凡环境下的荟萃）和流形，几许先验通过全局等距稳固性暗示（可以行使测地学暗示） 和局部类型的对称性。

这些原则的实现导致了深度进修中当今存在的一些最风行的系统布局：从平移对称导出的卷积收集（CNN）、图神经收集、DeepSets和Transformers，实现了置换稳固性， 时刻扭曲稳固导出的门控RNN（譬喻LSTM收集），以及由类型对称性导出的计较机图形和视觉中行使的 Intrinsic Mesh CNN。

 

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!