特征缩放 标准化 归一化

• Feature Scaling (How it really works?) Explained !!
• How To Calculate the Mean and Standard Deviation — Normalizing Datasets in Pytorch
• 归一化与标准化

特征缩放的目的

对于大多数的机器学习算法和优化算法来说，将特征值缩放到相同区间可以使得获取性能更好的模型。

例如：

（a）有两个不同的特征，第一个特征的取值范围为1_{10，第二个特征的取值范围为1}10000。在梯度下降算法中，代价函数为最小平方误差函数，所以在使用梯度下降算法的时候，算法会明显的偏向于第二个特征，因为它的取值范围更大。

（b）k近邻算法，它使用的是欧式距离，也会导致其偏向于第二个特征。对于决策树和随机森林以及XGboost算法而言，特征缩放对于它们没有什么影响。

常用特征缩放方法

1. 标准化。减去均值，并除以标准差
2. 归一化。使用min、max，将值缩放到[0,1]