损失函数（第五周）

目录

前言

最小二乘法

极大似然估计法

总结

前言

设计损失函数的三种方法

1、最小二乘法

2、极大似然估计法

3、交叉熵法

最小二乘法

x是经过人的认定后给图片打上的标签结果,x为0，则代表不是猫，为1则代表是猫

y则是图片经过神经网络后，由sigmoid函数输出的一个值，范围是0到1，即待变这个图片是猫的概率是多大。

w代表神经网络中感知机线性函数未知数的系数，b是代表线性函数的偏置系数。

在最后就是算x和y之间的差距，每一张图的差值都算出来，最后选取一个最小的，相当于神经网络中判断猫的模型和人脑中判断猫的模型最近似的结果。

上述的说法即是最小二乘法。

缺陷：当用它作为损失函数进行梯度下降的时候，会特别麻烦。

极大似然估计法

理念世界会指导显示世界。倘若硬币的概率分布按照正反都是0.5的方式进行,那抛硬币的结果就是正反0.5分布。

现实世界也能往理念世界进行反推，抛了10次硬币结果是正反各5个，即认定硬币遵守的概率分布就是正反0.5。

但理念世界和现实世界中间隔着一层次元壁。即抛10次硬币，正反不一定是0.5。

通过在现实世界的情况算出在理论世界中这种模型发生正或反情况的概率。

似然值是真实的情况已经发生，假设它有很多模型，在这个概率模型下，发现这种情况的可能性。

即从结果去反推产生这个结果的概率模型的时候往往会用到最大似然估计法。

极大似然估计本质上是计算神经网络里面的概率模型的似然值，找到极大似然值，这个就是最接近现实情况的那个概率模型。

同样是对神经网络输入猫的例子。

转换过来就是

最后得到的值就是似然值，当这个似然值最大的时候，则可以认定神经网络里的模型和人脑中的模型是最接近的。

总结

还剩一个交叉熵法没学，计划在下周对其进行学习。