NLP的基本概念1

注：此次笔记来自于《李宏毅2021/2022春机器学习课程》p1-p4的学习内容

强化学习，监督学习，无监督学习

监督学习

监督学习先由已标注正确的 训练集 进行训练，训练完成之后的“经验”称为模型，然后将未知的数据传入模型，机器即可通过“经验”推测出正确结果

无监督学习

无监督学习 本质上是一种统计手段(也可以理解为一种分类手段)，它没有明确目的的训练方式，你无法提前知道结果是什么，因此无须打标签。它的原理类似于监督学习中的回归 ，但在回归结果中没有打标签。

强化学习

强化学习指的是计算机对没有学习过的问题做出正确解答的泛化能力，可以理解为强化学习 =监督学习 + 无监督学习。和监督学习一样，它也是需要人工介入的。

机器学习的俩大任务

1.Regression（回归） 就是找到一个函数 function，通过输入特征 x ，输出一个数值 Scalar 。

2.Classification（分类）就是让机器在人类已经设定好的选项里面选择一个当作输出的任务

寻找函数式

1.先假设函数试Y=b+wX1（X为训练数据中的输入，Y为X所对应的输出，b和w是未知的参数，式子是个猜测不一定是对的，后面数据训练后可进行修改）

2.定义Loss函数：L（b,w)参数为前面的b和w，Loss函数的输出表示将函数的b和w设定为该值时，所对应的准确率是好还是不好

Loss函数的求得方法：可以将x输入到特定的b和w求得预测的y，然后将预测的y和实际的y求相差的绝对值得到e，将全部的e相加去平均。

3.优化

优化方法——梯度下降法

我的理解是求Loss函数关于w的斜率，当斜率小于0的时候就w向前进，当斜率小于0的时候w就回退。不断的更新直到找到微分为0或者初始设定更新的次数达到为止。

其中，前进个回退的多少与他的微分和学习速率决定（红色landau表示的，hyperparameter为在实验中自己设定的值，这里的学习速率由我们自己设定）

模型复杂一些

因为大部分的模型都不是类似这种一元二次函数的形式，所以对于寻找函数式的3步骤也有些需要改变。

我们可以将一个复杂的函数拆分成好几个简单的函数和一个常数：图中红色的为目标函数，可以通过一个常数0和3个不同标号的蓝色函数合成。（黑色的b是常数，绿色的bi是sigmoid函数的参数）

类似于这种弧度的曲线，我们也可以在曲线上取点，然后再用上面的方法得出结果

关于单个简单的蓝色函数

我们可以通过不断的调整sigmoid函数（激活函数，也可以用其他激活函数来表示）来使他不断变化对应需要的单个蓝色函数


和上面简单的模型对应变化后的结果（x是前面的变量，训练的输入数据）

分析下面的式子

假设 i 和 j 只有1，2，3三个数据，那么蓝色括号里面的运算可以看成一个矩阵运算

然后将r的值再带入到sigmoid函数中

损失函数Loss的变量

在计算损失函数的输入这边需要做出一些些的改变
由之前的b,w改成θ
θ表示为W，绿色的b，c，黑色的b（全是未知参数)竖向排列组成的一维向量
剩下的计算方法和前面的一样

神经网络

当我们把第一次得到的y的结果再次传入到一个新的sigmoid函数中，形成一次或多次新的嵌套运算，就变成了神经网络。但是并不是神经网络的深度越深对数据的结果越准确。