像堆乐高一样：从零开始表明神经收集的数学进程

下面可以看到一些举办了许多几何次迭代实习获得的可以或许近似异或函数的神经收集

。

左图：精确率;中间的图：进修到的决定界线;右图：丧失函数

起首，我们来看一下潜匿层具有 3 个神经元的神经收集为何手段较弱。这个模子学会了用一个简朴的决定界线来举办二分类，这个界线开始是一条直线，可是随后就示意出了非线性的举动。跟实在习的一连，右图中的丧失函数也明明地减小。

潜匿层拥有 50 个神经元的神经收集明明地增进了模子进修伟大决定界线的手段。这不只仅可以或许获得更精确的功效，并且也使梯度产生了爆炸，这是实习神经收集时的一个明显题目。当梯度很是大的时辰，反向撒播中的连乘会发生很大的更新权重。这就是最后几步实习时丧失函数溘然增大的缘故起因(step>90)。丧失函数的正则项计较出了已经变得很大的权重的平方值(sum(W²)/2N)。

正如你所看到的一样，这个题目可以通过减小进修率来停止。可以通过实现一个可以或许跟着时刻减小进修率的计策来实现。可能通过逼迫执行一个更强的正则化来实现，也许是 L1 可能 L2。梯度消散和梯度爆炸是很风趣的征象，我们后续会做完备的说明。

原文链接：

https://medium.com/towards-artificial-intelligence/one-lego-at-a-time-explaining-the-math-of-how-neural-networks-learn-with-implementation-from-scratch-39144a1cf80

【本文是51CTO专栏机构“呆板之心”的原创译文，微信公家号“呆板之心( id: almosthuman2014)”】

戳这里，看该作者更多好文

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!