类神经网络训练不起来怎么办

内容取自李宏毅2021/2022春机器学习课程p18-22

当你的Loss值太大时候

1.有可能是模型构造有问题

可能模型构造的太简单，导致我们需要的模型不在训练的范围之内。
我们可以重新设计我们的模型，增加模型的弹性：1.增加更多的feature（特点，数据），2.增加更多层数

2.可能是优化过程出现问题

我们取的θ并不是真正最小的那个θ
在选出最小的θ的时候会遇到局部最小值和鞍点的问题

我们需要通过Hessian来区分到底那个θ局部最值还是鞍点

如果我们红色方框内的值一直大于0，就表示当前的θ是局部最小值
如果我们红色方框内的值一直小于0，就表示当前的θ是局部最大值
如果我们红色方框内的值有的大于0有的小于0，则是鞍点。

当我们处在鞍点的时候，只要找到θ=θ’+u就可以让Loss变小。
所以我们遇到鞍点的时候可以比较轻松的解决优化问题，在大部分情况下，如果我们遇到的是局部最值的时候，在我们当前的维度上看可能是局部最值问题，如果我们放在更高的维度上看待的时候，他可能就变成了一个鞍点的情况

gradient descent+moment技术

每次取g的反方向于上一次移动的方向进行向量和求出这一次移动的方向

常用的optimization：Adam 可以直接调用

from keras.optimizers import Adam

当你的train的Loss值是小的，但是test的Loss值大

Overfitting

解决Overfitting的俩种方法：1.增加训练数据，2.增加约束条件