呆板进修的正则化是什么意思？

常常在各类文章或资料中看到正则化，好比说，一样平常的方针函数都包括下面两项

个中，偏差/丧失函数勉励我们的模子只管去拟合实习数据，使得最后的模子会有较量少的 bias。而正则化项则勉励越发简朴的模子。由于当模子简朴之后，有限数据拟合出来功效的随机性较量小，不轻易过拟合，使得最后模子的猜测越发不变。

但一向没有一篇好的文章理清到底什么是正则化？

说到正则化，得先从过拟合题目开始谈起。

1)  The Problem of Overfitting(过拟合题目)

拟合题目举例-线性回归之房价题目：

a) 欠拟合(underfit, 也称High-bias，图片来历：斯坦福大学呆板进修第七课“正则化”)

b) 吻合的拟合：

c) 过拟合(overfit,也称High variance)

什么是过拟合(Overfitting):

假如我们有很是多的特性，那么所学的Hypothesis有也许对实习集拟合的很是好(

)，可是对付新数据猜测的很差。

过拟合例子2-逻辑回归：

与上一个例子相似，依次是欠拟合，吻合的拟合以及过拟合：

a) 欠拟合

b) 吻合的拟合

c) 过拟合

怎样办理过拟合题目：

起首，过拟合题目每每源自过多的特性，譬喻房价题目，假如我们界说了如下的特性：

那么对付实习集，拟合的会很是美满：

以是针对过拟合题目，凡是会思量两种途径来办理：

a) 镌汰特性的数目：

-人工的选择保存哪些特性；

-模子选择算法

b) 正则化

-保存全部的特性，可是低落参数的量/值；

-正则化的甜头是当特性许多时，每一个特性城市对猜测y孝顺一份吻合的力气；

以是说，行使正则化的目标就是为了是为了防备过拟合。

如上图所示，赤色这条想象力过于富厚上下横跳的曲线就是过拟合气象。团结上图和正则化的英文，直译应该叫法则化。

什么是法则？好比明星再红也不能违法，这就是法则，一个限定。同理，筹划化就是给必要实习的方针函数加上一些法则（限定），让它们不要自我膨胀，不要过于上下无法则的横跳，不能横行霸道。

L1正则化和L2正则化

呆板进修中险些都可以看到丧失函数后头会添加一个特殊项，常用的特殊项一样平常有两种，一样平常英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，可能L1范数和L2范数。

L1正则化和L2正则化可以看做是丧失函数的处罚项。所谓『处罚』是指对丧失函数中的某些参数做一些限定。

对付线性回归模子，行使L1正则化的模子建叫做Lasso回归，行使L2正则化的模子叫做Ridge回归（岭回归）。

下图是Python中Lasso回归的丧失函数，式中加号后头一项α||w||1即为L1正则化项。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!