【周报】2022年7月24日

本周学习：
1、论文学习，本周精读了DeiT的论文，文中提出了一系列的训练策略，如知识蒸馏、大量的数据增广等，使得ViT能够在ImageNet这个相对较小的数据集上训练出相对更好的效果；本周精度了SENet的论文，文中提出了SEBlock，应用了通道注意力机制，让网络自动学习每个通道的重要程度，然后按照这个重要程度提升有用的特征，抑制无用的特征，类似于之前学习到的attention-unet中的attention-gate，也是一种即插即用的结构；本周完成了对于上周医学分割综述的整理与总结。
2、实现了ViT模型的结构，并在ViT的基础上完成了DeiT的结构实现，并对一些数据增广方式做了实现。