一文看尽26种神经收集激活函数（从ReLU到Sinc）
发布时间：2019-08-29 21:31:30 所属栏目：建站 来源：机器之心
导读：在神经收集中，激活函数抉择来自给定输入集的节点的输出，个中非线性激活函数应承收集复制伟大的非线性举动。正如绝大大都神经收集借助某种情势的梯度降落举办优化，激活函数必要是可微分(可能至少是险些完全可微分的)。另外，伟大的激活函数大概发生一些
|
22. Gaussian
高斯激活函数(Gaussian)并不是径向基函数收集(RBFN)中常用的高斯核函数，高斯激活函数在多层感知机类的模子中并不是很风行。该函数随处可微且为偶函数，但一阶导会很快收敛到零。 23. Absolute
顾名思义，绝对值(Absolute)激活函数返回输入的绝对值。该函数的导数除了零点外随处有界说，且导数的量值随处为 1。这种激活函数必然不会呈现梯度爆炸或消散的环境。 24. Sinusoid
犹如余弦函数，Sinusoid(或简朴正弦函数)激活函数为神经收集引入了周期性。该函数的值域为 [-1,1]，且导数随处持续。另外，Sinusoid 激活函数为零点对称的奇函数。 25. Cos
犹如正弦函数，余弦激活函数(Cos/Cosine)为神经收集引入了周期性。它的值域为 [-1,1]，且导数随处持续。和 Sinusoid 函数差异，余弦函数为不以零点对称的偶函数。 26. Sinc
Sinc 函数(全称是 Cardinal Sine)在信号处理赏罚中尤为重要，由于它表征了矩形函数的傅立叶调动(Fourier transform)。作为一种激活函数，它的上风在于随处可微和对称的特征，不外它较量轻易发生梯度消散的题目。
（编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
