SiLu（Sigmoid Linear Unit）激活函数 2023-12-21 作者 C3P00 SiLu（Sigmoid Linear Unit）激活函数，也被称为Swish激活函数，是一种自适应激活函数，最早由Google Brain在2017年引入[2]。SiLu激活函数是Sigmoid和ReLU的改进版，具备无上界有下界、平滑、非单调的特性。 SiLu激活函数的定义如下：f(x) = x * sigmoid(x) 其中sigmoid(x)是标准的Sigmoid函数，它的值在0和1之间。SiLu函数的特点包括非线性、连续可导，并且在负无穷到正无穷的范围内都有定义[1]。 SiLu激活函数在深度神经网络中的效果优于ReLU，可以看作是平滑的ReLU激活函数。它既有ReLU激活函数的一些优点（例如能够缓解梯度消失问题），又能解决ReLU函数的一些缺点（例如ReLU函数不是零中心的，且在负数部分的梯度为零）。此外，SiLu函数还是平滑函数，这意味着它在整个定义域内都有导数，有利于优化[1]。 在YOLOv5等深度学习模型中，SiLu激活函数被广泛应用，取得了良好的效果[1]。 Learn more: SiLu激活函数解释_silu函数-CSDN博客 [CV – Image Classification]图像分类之激活函数SiLU – YOLOv7使用的激活函数 – 知乎 [杂记]激活函数SiLU和Swish的区别-CSDN博客
SiLu（Sigmoid Linear Unit）激活函数，也被称为Swish激活函数，是一种自适应激活函数，最早由Google Brain在2017年引入[2]。SiLu激活函数是Sigmoid和ReLU的改进版，具备无上界有下界、平滑、非单调的特性。
SiLu激活函数的定义如下：
f(x) = x * sigmoid(x)
其中sigmoid(x)是标准的Sigmoid函数，它的值在0和1之间。SiLu函数的特点包括非线性、连续可导，并且在负无穷到正无穷的范围内都有定义[1]。
SiLu激活函数在深度神经网络中的效果优于ReLU，可以看作是平滑的ReLU激活函数。它既有ReLU激活函数的一些优点（例如能够缓解梯度消失问题），又能解决ReLU函数的一些缺点（例如ReLU函数不是零中心的，且在负数部分的梯度为零）。此外，SiLu函数还是平滑函数，这意味着它在整个定义域内都有导数，有利于优化[1]。
在YOLOv5等深度学习模型中，SiLu激活函数被广泛应用，取得了良好的效果[1]。
Learn more: