一文看尽26种神经收集激活函数（从ReLU到Sinc）

扩展指数线性单位(Scaled Exponential Linear Unit，SELU)是激活函数指数线性单位(ELU)的一个变种。个中λ和α是牢靠命值(别离为 1.0507 和 1.6726)。这些值背后的推论(零均值/单元方差)组成了自归一化神经收集的基本(SNN)。

11. SReLU

S 型整流线性激活单位(S-shaped Rectified Linear Activation Unit，SReLU)属于以 ReLU 为代表的整流激活函数族。它由三个分段线性函数构成。个中两种函数的斜度，以及函数相交的位置会在模子实习中被进修。

12. Hard Sigmoid

Hard Sigmoid 是 Logistic Sigmoid 激活函数的分段线性近似。它更易计较，这使得进修计较的速率更快，尽量初次派生值为零也许导致静默神经元/过慢的进修速度(详见 ReLU)。

13. Hard Tanh

Hard Tanh 是 Tanh 激活函数的线性分段近似。相较而言，它更易计较，这使得进修计较的速率更快，尽量初次派生值为零也许导致静默神经元/过慢的进修速度(详见 ReLU)。

14. LeCun Tanh

LeCun Tanh(也被称作 Scaled Tanh)是 Tanh 激活函数的扩展版本。它具有以下几个可以改进进修的属性：f(± 1) = ±1;二阶导数在 x=1 最大化;且有用增益靠近 1。

15. ArcTan

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!