pytorch 参数初始化

可行的initializer有kaiming_normal、xavier_normal。

• Kaiming Initialization论文
• xavier论文

参考博客 weight-initialization-in-neural-networks-a-journey-from-the-basics-to-kaiming

梯度爆炸与梯度消失

反向传播

根据梯度的链式反向传播，当深层的梯度要向浅层传播时，会乘以该层的梯度。我们参考 深度前馈网络与Xavier初始化原理 进行举例。假设有一个线性连接层后接激活层，如下图：

• 线性连接层f2的输入为x，输出为z。即 z = f 2