当前位置：网站首页>Batch Normlization

Batch Normlization

2022-07-28 10:22:00 【上后左爱】

单独对每个特征进行弄人玛丽咋听，使得每个特征均值为0，方差1 分布
每个特征的白化操作后虽然降低网络中每一层输入数据表达能力没再加个线性变换操作
在对数据min-batch 基础上进行Batch Normalization

公式：
在这里插入图片描述 > 对于第一个神经元求得 $u_1$ =1.5, $etha_1^2$ = 0.44 利用上面公式对第一行数据进行归一化。

对于测试阶段中使用
利用BN训练好模型，保留每组min-batch 训练数据在每一层 $U_test$ , $etha_test$ ,利用整个样本的统计量对Test 数据进行归一化进行无偏估计

版权声明
本文为[上后左爱]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_27217017/article/details/103937825