PyTorch常用参数初始化方法：【均匀分布、正态(高斯)分布、Xavier、kaiming、正交矩阵、稀疏矩阵、常数、单位矩阵、零填充】

一、“均匀分布”初始化

torch.nn.init.uniform_(tensor, a=0, b=1)

从均匀分布U(a, b)中采样，初始化张量。

二、“正态(高斯)分布”初始化

三、Xavier初始化

四、kaiming初始化

五、正交矩阵初始化

六、稀疏矩阵初始化

七、常数初始化

八、单位矩阵初始化

九、零填充初始化

---

---

---

参考资料：
PyTorch常用参数初始化方法详解
PyTorch常用参数初始化方法详解