权重衰减 weight decay

权重衰减使用均方范数作为硬性限制，通过限制参数值w的范围来控制模型容量。dropout则是通过减少参数值来简化模型，二者都可防止过拟合。

超参数 控制正则的重要程度，惩罚的强度， =0无惩罚； 越大，参数值控制在越小的范围内。

 

 

 惩罚项 为以原点为中心的圆环，损失项 如右绿色圆环，距离损失函数最优点 越近，梯度变换越小，即w变化对loss的影响越小 (ABC梯度逐渐减小)。因此找到一个平衡点，惩罚项 加损失项 最小，为新目标函数的最优解。