【笔记】逻辑斯蒂回归

一、逻辑斯蒂回归概述

（1）逻辑斯蒂回归的目的：分类。

逻辑斯蒂回归常常解决分类问题，特别是二分类问题。

（2）逻辑斯蒂回归的过程：回归。

计算结果是0~1之间的连续值，代表发生的可能性（类概率）。

（3）阈值：通过可能性和阈值的比较完成分类。

如：算出违约的可能性，如果大于0.5，则将借款人分类为坏客户。

二、逻辑斯蒂回归模型

由于二分类问题中，标签只有是和否（1和0），如果用线性回归进行拟合，线性回归的值域不在0 ~ 1之间，预测结果难以作为可能性输出。而如果用分段函数进行拟合，由于分段函数并不连续，预测结果不是我们希望的可能性0 ~ 1的连续值。

解决办法就是将线性回归和sigmoid函数结合起来，即组成一个嵌套函数。

sigmoid函数图像：

组成的嵌套函数：

三、逻辑斯蒂回归的损失函数

如果直接将最小二乘法中的 $\hat{y}$ 替换成sigmoid函数作为逻辑斯蒂回归的损失函数来求最小值，会发现这个函数并不是凸函数，因此采用别的损失函数。

（1）二分类问题中y的概率

由于约定 $\hat{y}=P(y=1|x)$ ，所以：

$y=1$ 时， $P(y|x)=\hat{y}$

$y=0$ 时， $P(y|x)=1-\hat{y}$

合并得到：

$P(y|x)={\hat{y}}^y(1-\hat{y}{)}^{(1-y)}$

（2）利用最大似然估计法估计模型参数

似然函数为：

对数似然函数为：

对极大似然函数求极大值，即可得到最理想的参数值。因此对于整个训练集，可以将代价函数定义为：