一文看尽26种神经收集激活函数（从ReLU到Sinc）

视觉上相同于双曲正切(Tanh)函数，ArcTan 激活函数越发平展，这让它比其他双曲线越发清楚。在默认环境下，其输出范畴在-π/2 和π/2 之间。其导数趋向于零的速率也更慢，这意味着进修的服从更高。但这也意味着，导数的计较比 Tanh 越发昂贵。

16. Softsign

Softsign 是 Tanh 激活函数的另一个更换选择。就像 Tanh 一样，Softsign 是阻挡称、去中心、可微分，并返回-1 和 1 之间的值。其更平展的曲线与更慢的降落导数表白它可以更高效地进修。另一方面，导数的计较比 Tanh 更贫困。

17. SoftPlus

作为 ReLU 的一个不错的更换选择，SoftPlus 可以或许返回任何大于 0 的值。与 ReLU 差异，SoftPlus 的导数是持续的、非零的，无处不在，从而防备呈现静默神经元。然而，SoftPlus 另一个差异于 ReLU 的处地址于其差池称性，不以零为中心，这兴许会故障进修。另外，因为导数经常小于 1，也也许呈现梯度消散的题目。

18. Signum

激活函数 Signum(可能简写为 Sign)是二值阶跃激活函数的扩展版本。它的值域为 [-1,1]，原点值是 0。尽量穷乏阶跃函数的生物念头，Signum 依然是阻挡称的，这对激活函数来说是一个有利的特性。

19. Bent Identity

激活函数 Bent Identity 是介于 Identity 与 ReLU 之间的一种折衷选择。它应承非线性举动，尽量其非零导数有用晋升了进修并降服了与 ReLU 相干的静瘳神经元的题目。因为其导数可在 1 的恣意一侧返回值，因此它也许轻易受到梯度爆炸和消散的影响。

20. Symmetrical Sigmoid

Symmetrical Sigmoid 是另一个 Tanh 激活函数的变种(现实上，它相等于输入减半的 Tanh)。和 Tanh 一样，它是阻挡称的、零中心、可微分的，值域在 -1 到 1 之间。它更平展的外形和更慢的降落派生表白它可以更有用地举办进修。

21. Log Log

Log Log 激活函数(由上图 f(x) 可知该函数为以 e 为底的嵌套指数函数)的值域为 [0,1]，Complementary Log Log 激活函数有潜力更换经典的 Sigmoid 激活函数。该函数饱和地更快，且零点值要高于 0.5。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!