【过一下7】全连接神经网络视频第一节的笔记

力扣 今天是dp

2022年6月25日 过一下7

全连接神经网络

级联多个线性分类器

权值就是模板

如果在线性分类器里面，w行数就是固定的，就要和类别数一样。所以学马，学个两头的（显然是不对的）
但是如果在全连接里面，只要求，w2是固定的，w1随便，搞个100行，100个模板，里面分出来10几个用来学习马，学单头马，然后再用激活函数，选出来。就很对了。

命名

一般说前者

激活函数

sigmoid 归到0-1之间
tanh归到-1~1之间，而且对称

softmax

我们可以根据最后值最大的设定为输出的类，但如果我们需要知道预测的概率为多大的时候，就需要softmax

就e的指数次方，然后归一化一下

交叉熵损失

交叉熵损失使用来比较分布之间的不相似性的，不能说距离，距离是AB BA是一样的，具有交换性，但熵就不一定了

而且H[p]就是ground truth ，它反映的信息一点都不混乱，所以熵为0。交叉熵也就是0+相对熵。简化之后，也就是正确分类得分的-log。
但是在H[p]标答不为独热编码的时候，就需要老老实实用相对熵（KL散度）了。

老师在这里提到：可能会在训练的时候，出现“损失没有下降，但是精度在上升”的情况。就像上图右下角举的例子（假设第三列是正确的分类），
0.35 0.33 0.32（显然没分对）
0.333 0.332 0.334 （分对了）
对于正确分类的 -log 0.35 和 -log0.333 其实差不了多少，但是他的概率变大了，以微小的进步脱颖而出了 (0.334>0.333)

计算图

正着算是数值，逆着算是梯度，链式求导可以相乘
计算图的每个节点都存储前向传播值和反向雅可比矩阵，用于前向传播和反向传播

颗粒度

可以把一系列的门连在一起，组成像sigmoid这样的函数门，这样颗粒度大，但是计算步骤少，运算快。
caffe有人写这些函数，所以快；TensorFlow都是小门，所以参数回传，慢（后面改进了）

常见的门单元

max则是那个数大，就传给谁。

今天 就把第三节的视频过了一下，可惜之前看pdf的笔记被挤掉了。没有留下来，要不然可以比对着，补充一下。

寄

今天早上没睡好，起来金铲铲，然后吃饭，淋雨勇闯自习室，在这里快活，为所欲为，晚上要走了，来一个小时的快速学习。赶一下进度。