【过一下4】09-10_经典网络解析

早起心得

原来不认为定个闹钟有多么重要，可昨天鬼使神差地定了一个七点半的闹钟（估摸着能睡1.5h*5），早上日常被吵醒，然后又是倦怠不想起，闹钟响了，换个姿势继续睡。然后我是很想起的，就点开网易云，《想去海边》的那个前奏响起来的时候，整个人一下就醒了。从未有过如此美妙的开局音乐真是个好东西，然后又是洗澡，吃饭，leetcode每日一抄，今天是个什么线段树，听都没听过，看了20分钟题解，然后自己打了一遍，清空，再打了一遍。（晚上再来一遍）

深度学习课件

计划

把剩余部分都看完，今天不玩游戏了，没啥意思。看完课件，然后比着前几天做的笔记，去看看视频（听听老师怎么讲的，对，现在就直接缓存起来，免得因为不稳定的网络，搞得我给自己的懈怠找理由）
jijidown缓存中，又瞥了一眼课程视频的评论区，大家都是对老师的课程赞不绝口，心里有点小期待。

经典网络

nice呀，又是一群熟悉的陌生人，讲道理，我真的接下来要把这些个经典网络的论文都看看（有那么大佬带着读，应该不难吧）
接下来遍历这几个经典网络
* AlexNet
* ZFNet
* VGG
* GoogleNet
* ResNet

AlexNet

竞赛

介绍一下竞赛，由竞赛引出Alexnet

贡献

（2022年6月30日11:35:01 看了前面视频，现在都能看明白了）
从贡献就可以看出，前几天学的概念都是人家第一次提出来的，什么 dropout，用relu，等等

层数统计

又到了，如果这里不讲，我连查我都不知道怎么查的知识点常识（关于这个层数的说明），所以是8层。（凭什么那些处理层就不算层了，那在keras里面不也是要输一行代码来添加的嘛，不是和卷积层一样的，池化归一什么时候才能站起来，气抖冷）

网络结构具体解析

关于这个计算参数数量的和尺寸的，我搞不懂。又到了抉择的时候了，记得当时学算法让算复杂度，我就逃了，这次还要逃吗
卷积会让图片尺寸变小，227-11可以理解，卷积核11*11，那/4 +1 是为啥呀（计算公式就是这样的 N=(W-F+2P）/S+1）
W是原来的长度，F是卷积核大小，P是填充（这里为零），S为步长。

RGB 3维的。 w +b 96个卷积核

池化层 降低尺寸

归一层，抑制那些不给力的神经元，但是看老师的备注，这个层在后面是受待见了吗（是的 2014年后 都不用了）
（真是吐了，好不容易静心学习一会，一只蚊子突然出现在眼前，趴在我的显示器上挑衅我，一巴掌过去，飞走了。。）

更多的卷积核 基元学习能力
堆叠卷积的好处——感受野增大

重要技巧

（不知道我啥时才能用上这些技巧） 同时学习，在一般的模型里面可以实现吗？ dropout好像在sklearn包里面可以选，梯度下降的模式应该也可以选，手动调低学习率应该是在追求极限分数时候会干的，样本增强策略~~（好像之前b站up啥都会一点的研究生做了个应用——可以把图片翻转，裁剪，放大放小，加不同的滤镜和噪音，好像是这个意思）~~ ，那最后一个就是模型融合了嘛

GPU

我用autodl的也
一部分上面算，一部分下面算，然后一起算。但是现在已经没有这么搞的了
就只能选一下GPU多核，然后在pytorch代码参数那里规定 -device “0 ，1”（而且我就没开过两个核，这个也是假设，因为我的代码开一个gpu就绰绰有余了），之后没有操作空间了。他是怎么搞成两个GPU，保证每个GPU上面有一半的神经元的。
没有理解老师第二三句话。 还有标了个3GB显存。我对这个也没有概念呀。话说半年前鼓足勇气，想要了解一下计算机硬件——CPU，显卡都是个什么玩意，找了好多教程，都没说明白的，然后去b站 一个装机up（天才赵德柱，https://www.bilibili.com/video/BV1k64y1h7QP）那里，看明白了，但是也就限于当时，这个知识自己不用，而且和我的日常生活没有太大关系，平时都不会出现在眼前，他就慢慢忘掉了。现在也就记得一句话，显卡就是空气。hhhhhhh
然后这个事情也让我联系起来，上学期讲数据挖掘课程的老师，说她们当时，跑一个模型好几天，然后不行，然后调参又是好几天。现在真是比当时（算力资源）好太多了。

卷积层在做什么

昨天也就是上一个课件里面提到的特征图，卷积核组，（学习纹理？纹理等于结构？无所谓了）

ZFNet

这个相较于其他几个不怎么熟悉（好像是听都没听过的存在），
第一步感受细一点的东西，不要上来就是很粗的
分辨率慢慢下降，而不是突然下降
到深层的地方已经有基元组合的迹象了，要多给点资源，来记住

VGG

贡献

越深越好
小卷积核串联可以比过大卷积核（相同，但更好）

它的输入和AlexNet相比，直接取了所有像素点的R G B 均值，而不是按按维度再去构建再去求值。

突然想到，当时的创新点，都被称为（也都成为）贡献。也是感谢前人的智慧结晶和尝试。
感受野这个名词有点熟悉，但不知道。前面的伏笔——归一层不行啦，所以在层数增加的时候就去掉了。
话说结构的数字编号是从下往上排的的嘛

浅层卷积核少是因为基元就那几类 —— 点线，然后图像也大，如果数量多的话，运算量太大了
但是通过可视化发现，后面学的都是关键的信息，要多分配些卷积核，否则会记不住那些概念

小卷积核的优势【考虑到感受野和参数数量】

又提到感受野了，不得不去查了

https://blog.csdn.net/weixin_40756000/article/details/117264194
https://zhuanlan.zhihu.com/p/394917827

感受野（Receptive Field）的定义：卷积神经网络每一层输出的特征图（feature map）上的像素点映射回输入图像上的区域大小。通俗点的解释是，== 特征图上一点，相对于原图的大小，也是卷积神经网络特征所能看到输入图像的区域==。
然后 这篇博客也提到了 卷积的计算公式，那上面老师写的那个我就可以理解了

#### 关于卷积核个数的结构设计


主要的参数 都是最后卷积核FC衔接这里的

GoogLeNet

创新点

不仅更深，而且更宽，因为如果后层只处理前层的信息，那势必会造成一些不可逆的信息丢失。尽量保留更多的信息

直接把alexnet那里 77512 -》512

从何而来得创新（从串联结构入手）

Inception

还是很感叹，这些结构是怎么想出来的，为啥尽可能多的保留信息，就要设计出来这样的结构，从0到1的过程。

来了
11D 就是保留原来的空间信息（因为尺寸也都没变呀 W2=（W1-1）/1+1=W1）
33（尺度小一点的） 55（尺度大一点的） 不同的感受野去感受
33 max pooling 则是 感染，把图中那些强特征扩充到其他位置。加强的信息
然后最后合并 + + + ，保留了各个层面的

添加了11的卷积 可以使下一层的深度变成我这一层的卷积核个数

这两是为了减少运算量

这俩是为了压缩

和v1的比较


这是什么意思？ 上面的结构是为了实现v1这个模块嘛
（Inception 是理论，V1是在现实场景下的实践）

止于11:25，做了个饭，吃了个饭，取了个快递，给电动车充电，回来坐到床上，想躺一会，老师群聊里面发消息，说想要测试一下项目，然后又到了需要和老师坦白的阶段，于是把自己啰里啰嗦的话和当前的问题绘制成流程图，然后试图解决这些问题，时间一晃3个小时，人麻了，跟老师说了之后。

问题就是：一个监控的算法，要用数据库的字段（地址），但数据库变动之后（新增了其他地址），就必须要重启。我就又和一年前本科在老师手下干活时候一样，第一时间定时任务。定时重启就行了（人麻了，现在想起来，我和一年前真的没差了，现在还是动不动就定时任务）
然后服务器的重启，也是在autodl算力平台上试了试，结果搞了个while(1) 说好的只生成一个线程就会阻塞了，结果我这边就是疯狂新建，搞得cpu 500%的过载，直接把xshell和ssh的链接给干断了，然后又是后台运行，我没了xshell，关也没有办法关，赶紧把实例关机了，结果重新开机之后，看了实例监控，怎么还是500%，别把人家平台搞坏了，吓得我赶紧释放了。然后去加上平台的企业微信说了来龙去脉，人家说了“好的”，之后才放下心。
和老师说了（问题）之后，老师觉得我的方法（定时任务）不太行，应该是去监控（触发器）数据库，然后再重启。（所以接下来的道路很明确了，就是监控数据库+重启+服务器while（1）{}永不间断）我算法部署部分就算是逻辑自洽，没事情了nice。剩的就都是同事app的事情了。

16:10唉好累呀，工作的事情算是推进了亿点点。呜呜，还说今天把鲁老师的课件看完，视频看一看呢（现在视频是缓存好了），可自己一个课件还么看完（恼！）。

一晃又是现在了17:31 我躺床上看了会手机，拆了下天猫超市的快递（旺仔牛奶和鸡蛋卷）还有88数字人民币消费券贴了14买的盒马app的102元的两个云南的西瓜（血亏，我看小红薯，他们都是去线下店买那些折扣的肉，甜点，买了一大堆（信息不对称！！））我就买了两个巴掌大小的西瓜，102真敢要。跟女朋友说了一下 数据分析的相关性分析，感觉这学期学的东西还是有一点点留在我脑子里的，实属不易。

晚上回来 继续看课件，出去透透气。其实是出去做我这个当哥的分内之事，六点吃饭吃到七点多，又是刷手机，猛然意识到就这个点了20:00。继续看


两个梯度头是为了让那里权重大一点，也不至于导致梯度为零不能回传。

在纹理展开任务里面说过

ResNet

真球多呀，一个一个模型，不过还好，我还能有这种我学到了的多巴胺

层数越多不一定越好的原因

贡献

2015 resnet才提出来 批归一化

残差结构

恒等映射，即使有层什么也不干，有用的层也不会受他们影响，只是性能不上去罢了

反向梯度 +x （+1） 从保证不为零



当然也会有冗余 会拖慢速度

看了20分钟，看完了。

2022年6月30日18:29:50 视频笔记补全

玩了1.5h

睡觉啦
今天明明是奔着全力去学，结果还是一章ppt的内容，主要是下午给老师做事，然后又去东奔西跑，精力跟不上了，晚上学不上去了。就这