回归——岭回归

1、作用

岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

2、输入输出描述

输入:自变量 X 至少一项或以上的定量变量或二分类定类变量，因变量 Y 要求为定量变量（若为定类变量，请使用逻辑回归）。
输出:模型检验优度的结果，自变量对因变量的线性关系等等。

3、案例示例

通过自变量（房子年龄、是否有电梯、楼层高度、房间平方、房子单价）拟合预测因变量（房价），现在发现房子单价与楼层高度之间有着很强的共线性，VIF值高于20；不能使用常见的最小二乘法OLS回归分析，需要使用岭回归模型

4、matlab

 描述：

输入：

输出：

5、建模步骤

岭回归（Ridge Regression）是回归方法的一种，属于统计方法。在机器学习中也称作权重衰减。也有人称之为 Tikhonov 正则化。岭回归主要解决的问题是两种：一是当预测变量的数量超过观测变量的数量的时候（预测变量相当于特征，观测变量相当于标签），二是数据集之间具有多重共线性，即预测变量之间具有相关性。
一般的，回归分析的（矩阵）形式如下：

一般情况下，使用最小二乘法求解上述回归问题的目标是最小化如下的式子：

岭回归就是要在上述最小化目标中加上一个惩罚项：

这里的λ也是待求参数。也就是说，岭回归是带二范数惩罚的最小二乘回归。