基于矩阵计算的线性回归分析方程中系数的估计

一、问题描述：

回归分析就是利用已知的数据来确定回归方程中的系数。
一元线性回归分析是一种非常简单也是非常基本的回归理论，能够用来刻画两个变量之间的以线性关系的变化趋势，进而预测未知点处的数据。
一元线性回归分析就是利用已知数据估计方程y=kx+b中的系数k和b，常见的方法有：计算数学的方法——最小二乘法、统计方法——最大似然估计法、机器学习方法——感知机等，此外还可以基于矩阵的运算来直接求解，这是因为可以利用已知数据构建系数矩阵可逆的线性方程组。
本文以y = 2x + 1的数据进行拟合为例，给出了基于矩阵运算来估计系数的方法及matlab实现。

二、数学推导

问题描述
假设已知数据点（xi,yi）,i=1…n，其中xi不全为1，根据散点图可以初步分析出呈线性变化趋势。
因此可以使用y=kx+b来拟合这组数据，此时y=kx+b既可以称为该组数据的拟合函数（计算数学），也可以称为回归方程（统计学）。
公式推导如下：
把（xi,yi）代入线性函数y=kx+b得：

写出矩阵形式如下：

记

则方程（2）可以写为

且矩阵X的两个列向量线性无关，此时X’X是可逆矩阵，由此可以得到：

所以有：

这样就得到一元线性回归方程中的系数。

三、Matlab程序

1.绘制散点图

trainX = linspace( 0, 2, 50 );
trainY = 2 * trainX + 1 + randn( size( trainX ) )*0.3;
plot( trainX, trainY, 'b.', 'markersize', 20 )

结果如下图所示：

从图中可以看出已知的数据点基本呈现线性变化趋势，因此可以使用一元线性回归模型来拟合该组数据。
2.数据拟合

I = ones( size(trainX) );
X = [ trainX', I' ];
Y = trainY';
B = inv( X' * X ) * X' * Y %回归系数，B(1) = k， B(2) = b

得到回归系数为：k = B(1) = 2.0660, b = B(2) = 0.9925
3.完整的代码

clear all
clc
trainX = linspace( 0, 2, 50 );
trainY = 2 * trainX + 1 + randn( size( trainX ) )*0.3;
%绘制散点图
plot( trainX, trainY, 'b.', 'markersize', 20 )
I = ones( size(trainX) );
X = [ trainX', I' ];
Y = trainY';
B = inv( X' * X ) * X' * Y %回归系数，B(1) = k， B(2) = b
%绘制回归函数曲线（直线）
x = [ -1 : 3 ];
y = B(1) * x + B(2);
hold on
plot( x, y, 'r', 'LineWidth', 2 );
title( 'y = 2x + 1' )

运行结果如下：

修改语句 “trainY = 2 * trainX + 1 + randn( size( trainX ) )*0.3;”为“trainY = -2 * trainX + 5 + randn( size( trainX ) )*0.3;”可以得到如下拟合图像：

四、补充说明

此法只适用于一元或多元线性回归分析中的回归系数估计，对于非线性回归，可以考虑经过对数变换等方法变换线性回归分析之后再求解。