SiLu（Sigmoid Linear Unit）激活函数

SiLu（Sigmoid Linear Unit）激活函数，也被称为 Swish 激活函数，是一种自适应激活函数，最早由 Google Brain 在 2017 年引入 [2]。SiLu 激活函数是 Sigmoid 和 ReLU 的改进版，具备无上界有下界、平滑、非单调的特性。

SiLu 激活函数的定义如下：
f(x) = x * sigmoid(x)

其中 sigmoid(x) 是标准的 Sigmoid 函数，它的值在 0 和 1 之间。SiLu 函数的特点包括非线性、连续可导，并且在负无穷到正无穷的范围内都有定义 [1]。

SiLu 激活函数在深度神经网络中的效果优于 ReLU，可以看作是平滑的 ReLU 激活函数。它既有 ReLU 激活函数的一些优点（例如能够缓解梯度消失问题），又能解决 ReLU 函数的一些缺点（例如 ReLU 函数不是零中心的，且在负数部分的梯度为零）。此外，SiLu 函数还是平滑函数，这意味着它在整个定义域内都有导数，有利于优化 [1]。

在 YOLOv5 等深度学习模型中，SiLu 激活函数被广泛应用，取得了良好的效果 [1]。

Learn more:

1. SiLu 激活函数解释_silu 函数 -CSDN 博客
2. [CV – Image Classification] 图像分类之激活函数 SiLU – YOLOv7 使用的激活函数 – 知乎
3. [杂记] 激活函数 SiLU 和 Swish 的区别 -CSDN 博客