SiLu(Sigmoid Linear Unit)激活函数

SiLu(Sigmoid Linear Unit)激活函数,也被称为Swish激活函数,是一种自适应激活函数,最早由Google Brain在2017年引入[2]。SiLu激活函数是Sigmoid和ReLU的改进版,具备无上界有下界、平滑、非单调的特性。

SiLu激活函数的定义如下:
f(x) = x * sigmoid(x)

其中sigmoid(x)是标准的Sigmoid函数,它的值在0和1之间。SiLu函数的特点包括非线性、连续可导,并且在负无穷到正无穷的范围内都有定义[1]

SiLu激活函数在深度神经网络中的效果优于ReLU,可以看作是平滑的ReLU激活函数。它既有ReLU激活函数的一些优点(例如能够缓解梯度消失问题),又能解决ReLU函数的一些缺点(例如ReLU函数不是零中心的,且在负数部分的梯度为零)。此外,SiLu函数还是平滑函数,这意味着它在整个定义域内都有导数,有利于优化[1]

在YOLOv5等深度学习模型中,SiLu激活函数被广泛应用,取得了良好的效果[1]


Learn more:

  1. SiLu激活函数解释_silu函数-CSDN博客
  2. [CV - Image Classification]图像分类之激活函数SiLU - YOLOv7使用的激活函数 - 知乎
  3. [杂记]激活函数SiLU和Swish的区别-CSDN博客
0 0 投票数
Article Rating
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x