一文看尽26种神经收集激活函数（从ReLU到Sinc）

在神经收集中，激活函数抉择来自给定输入集的节点的输出，个中非线性激活函数应承收集复制伟大的非线性举动。正如绝大大都神经收集借助某种情势的梯度降落举办优化，激活函数必要是可微分(可能至少是险些完全可微分的)。另外，伟大的激活函数大概发生一些梯度消散或爆炸的题目。因此，神经收集倾向于陈设多少个特定的激活函数(identity、sigmoid、ReLU 及其变体)。

下面是 26 个激活函数的图示及其一阶导数，图的右侧是一些与神经收集相干的属性。

1. Step

激活函数 Step 更倾向于理论而不是现实，它仿照了生物神经元要么全有要么全无的属性。它无法应用于神经收集，由于其导数是 0(除了零点导数无界说以外)，这意味着基于梯度的优化要领并不行行。

2. Identity

通过激活函数 Identity，节点的输入便是输出。它美满得当于隐藏举动是线性(与线性回归相似)的使命。当存在非线性，单独行使该激活函数是不足的，但它依然可以在最终输出节点上作为激活函数用于回归使命。

3. ReLU

批改线性单位(Rectified linear unit，ReLU)是神经收集中最常用的激活函数。它保存了 step 函数的生物学开导(只有输入超出阈值时神经元才激活)，不外当输入为正的时辰，导数不为零，从而应承基于梯度的进修(尽量在 x=0 的时辰，导数是未界说的)。行使这个函数能使计较变得很快，由于无论是函数照旧其导数都不包括伟大的数学运算。然而，当输入为负值的时辰，ReLU 的进修速率也许会变得很慢，乃至使神经元直接无效，由于此时输入小于零而梯度为零，从而其权重无法获得更新，在剩下的实习进程中会一向保持静默。

4. Sigmoid

Sigmoid 因其在 logistic 回归中的重要职位而被人熟知，值域在 0 到 1 之间。Logistic Sigmoid(可能按凡是的叫法，Sigmoid)激活函数给神经收集引进了概率的观念。它的导数长短零的，而且很轻易计较(是其初始输出的函数)。然而，在分类使命中，sigmoid 正逐渐被 Tanh 函数代替作为尺度的激活函数，由于后者为奇函数(关于原点对称)。

5. Tanh

在分类使命中，双曲正切函数(Tanh)逐渐代替 Sigmoid 函数作为尺度的激活函数，其具有许多神经收集所钟爱的特性。它是完全可微分的，阻挡称，对称中心在原点。为了办理进修迟钝和/或梯度消散题目，可以行使这个函数的越发平缓的变体(log-log、softsign、symmetrical sigmoid 等等)

6. Leaky ReLU

经典(以及普及行使的)ReLU 激活函数的变体，带泄漏批改线性单位(Leaky ReLU)的输出对负值输入有很小的坡度。因为导数老是不为零，这能镌汰静默神经元的呈现，应承基于梯度的进修(固然会很慢)。

7. PReLU

参数化批改线性单位(Parameteric Rectified Linear Unit，PReLU)属于 ReLU 批改类激活函数的一员。它和 RReLU 以及 Leaky ReLU 有一些配合点，即为负值输入添加了一个线性项。而最要害的区别是，这个线性项的斜率现实上是在模子实习中进修到的。

8. RReLU

随机带泄漏的批改线性单位(Randomized Leaky Rectified Linear Unit，RReLU)也属于 ReLU 批改类激活函数的一员。和 Leaky ReLU 以及 PReLU 很相似，为负值输入添加了一个线性项。而最要害的区别是，这个线性项的斜率在每一个节点上都是随机分派的(凡是听从匀称漫衍)。

9. ELU

指数线性单位(Exponential Linear Unit，ELU)也属于 ReLU 批改类激活函数的一员。和 PReLU 以及 RReLU 相同，为负值输入添加了一个非零输出。和其余批改类激活函数差异的是，它包罗一个负指数项，从而防备静默神经元呈现，导数收敛为零，从而进步进修服从。

10. SELU

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!