SiLu(Sigmoid Linear Unit)激活函数,也被称为Swish激活函数,是一种自适应激活函数,最早由Google Brain在2017年引入[2]。SiLu激活函数是Sigmoid和ReLU的改进版,具备无上界有下界、平滑、非单调的特性。
SiLu激活函数的定义如下:
f(x) = x * sigmoid(x)
其中sigmoid(x)是标准的Sigmoid函数,它的值在0和1之间。SiLu函数的特点包括非线性、连续可导,并且在负无穷到正无穷的范围内都有定义[1]。
SiLu激活函数在深度神经网络中的效果优于ReLU,可以看作是平滑的ReLU激活函数。它既有ReLU激活函数的一些优点(例如能够缓解梯度消失问题),又能解决ReLU函数的一些缺点(例如ReLU函数不是零中心的,且在负数部分的梯度为零)。此外,SiLu函数还是平滑函数,这意味着它在整个定义域内都有导数,有利于优化[1]。
在YOLOv5等深度学习模型中,SiLu激活函数被广泛应用,取得了良好的效果[1]。
Learn more: