呆板进修的正则化是什么意思？
发布时间：2019-10-16 09:22:43 所属栏目：建站 来源：佚名
导读：常常在各类文章或资料中看到正则化，好比说，一样平常的方针函数都包括下面两项 个中，偏差/丧失函数勉励我们的模子只管去拟合实习数据，使得最后的模子会有较量少的 bias。而正则化项则勉励越发简朴的模子。由于当模子简朴之后，有限数据拟合出来功效的随机性
|
以线性回归中的梯度降落法为例。假设要求的参数为θ，hθ(x)是我们的假设函数，那么线性回归的价钱函数如下：
那么在梯度降落法中，最终用于迭代计较参数θ的迭代式为：
个中α是learning rate. 上式是没有添加L2正则化项的迭代公式，假如在原始价钱函数之后添加L2正则化，则迭代公式会酿成下面的样子：
个中λ就是正则化参数。从上式可以看到，与未添加L2正则化的迭代公式对比，每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不绝减小，因此总得来看，θ是不绝减小的。 最开始也提到L1正则化必然水平上也可以防备过拟合。之前做了表明，当L1的正则化系数很小时，获得的最优解会很小，可以到达和L2正则化相同的结果。 最后再增补一个角度：正则化着实就是对模子的参数设定一个先验，这是贝叶斯学派的概念。L1正则是laplace先验，l2是高斯先验，别离由参数sigma确定。在数据少的时辰，先验常识可以防备过拟合。 举两个最简朴的例子。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
