激活函数公式、导数、图像笔记

1. Sigmoid

公式：$$\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(x)=\frac{1}{1+e^{-x}}$$
导数：$${\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}^{\prime }(x)=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(x)(1-\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(x))$$

2. tanh

公式：$$\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
导数：$${\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}}^{\prime }(x)=1-{\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}}^2(x)$$

3. ReLU

公式：$$\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(x)=\mathrm{m}\mathrm{a}\mathrm{x}(0,x)$$
导数：
$${\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}}^{\prime }(x)=\{\begin{array}{ll}1,& \text{if x>0}\\ 0,& \text{if x<0}\end{array}$$

4. Leaky ReLU

公式：$$\mathrm{L}\mathrm{e}\mathrm{a}\mathrm{k}\mathrm{y}\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(x)=\mathrm{m}\mathrm{a}\mathrm{x}(0,x)+\mathrm{n}\mathrm{e}\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}\_\mathrm{s}\mathrm{l}\mathrm{o}\mathrm{p}\mathrm{e}\ast \mathrm{m}\mathrm{i}\mathrm{n}(0,x)$$
导数：
$${\mathrm{L}\mathrm{e}\mathrm{a}\mathrm{k}\mathrm{y}\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}}^{\prime }(x)=\{\begin{array}{ll}1,& \text{if x>0}\\ \mathrm{n}\mathrm{e}\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}\_\mathrm{s}\mathrm{l}\mathrm{o}\mathrm{p}\mathrm{e},& \text{if x<0}\end{array}$$

5. Swish

公式：$$\mathrm{S}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{h}(x)=x\ast \mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(\beta x)$$

class Swish(nn.Module):
    def forward(self, x):
        return x * torch.sigmoid(x)

6. Mish

公式：$$\mathrm{M}\mathrm{i}\mathrm{s}\mathrm{h}(x)=x\ast \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(ln(1+e^x))$$

class Mish(nn.Module):
    def forward(self, x):
        return x * F.softplus(x).tanh()

7. FReLU

FReLU 是专门为视觉任务设计的激活函数，将ReLU和PReLU扩展为2D激活函数，论文地址。

公式：
$$\begin{array}{c}f\left(x_{c,i,j}\right)=\max \left(x_{c,i,j},\mathbb{T}\left(x_{c,i,j}\right)\right)\\ \\ \mathbb{T}\left(x_{c,i,j}\right)=x_{c,i,j}^{\omega }\cdot p_c^{\omega }\\ \\ x_{c,i,j}^{\omega }\cdot p_c^{\omega }=\sum _{i-1\le h\le i+1,j-1\le w\le j+1}{x}_{c,h,w}\cdot p_{c,h,w}\end{array}$$其中，$x_{c,i,j}$ 代表需要激活的像素，$c,i,j$ 对应 channel 和 2D 位置。

公式较为晦涩抽象，看论文中的图比较直观：
实际上就是将与 $x$ 比大小的数 $(0,px)$ 替换为以 $x$ 为中心的一个 $3\times 3$ 卷积值，边角部分 padding 1。
为了防止混淆个人将其叫做激活核。
激活核的参数用高斯初始化，参与网络训练，对于 $C$ 个通道的卷积输出，若用 $3\times 3$ 大小的激活核进行激活，则额外需要训练 $C\times 3\times 3$ 个参数。文中尝试过平均池化和最大池化，都没有带参数的卷积效果好。