Transfer Learning Technology Training

“迁移学习(Transfer Learning)核心技术Development and Application Workshop”

根据《guowuyua关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化,建立职业分类动态调整机制,加快职业标准开发工作”要求,The Institute of Modern Education, Chinese Academy of Management Sciences, and Longteng Asia Pacific jointly organized the event“Seminar on core technology development and application of transfer learning”.

时间：

2022年08月19日 — 2022年08月22日   线上

（19Materials required for class will be distributed daily,20日-22日上课）

参会人员：

各省市、The autonomous region is engaged in artificial intelligence、机器学习、深度学习、迁移学习、计算机视觉、自然语言处理、语音识别、图像处理、The technical backbone of enterprises and institutions related to small sample analysis and other fields、Researchers in scientific research institutes, related professional teaching staff in colleges and universities, and postgraduate students in schools and other related personnel,And deep transfer learning enthusiasts.

目标：

1.深入了解神经网络的组成、训练和实现,掌握深度空间特征分布等关键概念;

2.掌握迁移学习的思想与基本形式,了解传统迁移学习的基本方法,对比各种方法的优缺点;

3.Grasp the ideas and components of deep transfer learning,学习深度迁移学习的各种方法;

4.掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法,了解迁移学习在PDA、Source-Free DA上的应用;

5.掌握深度迁移学习在语义分割、目标检测、行人重识别等任务中的应用,学习图像/视频风格迁移方法,了解风格迁移在实际生活中的应用;

6.掌握小样本学习、Transformer等前沿方法和基本思想,了解小样本学习、Transformer等在实际场景下的应用;

7.Master the style transfer of pictures and videos through practical operation,自动驾驶中的跨域语义分割,目标检测.

课程：

时间安排	大  纲	具体内容
第一天 9:00-12:00 14:00-17:00	一、机器学习简介与经典机器学习算法介绍	1.什么是机器学习？ 2.机器学习框架与基本组成 3.机器学习的训练步骤 4.机器学习问题的分类 5.经典机器学习算法介绍 章节目标：机器学习是人工智能的重要技术之一,详细了解机器学习的原理、机制和方法,为学习深度学习与迁移学习打下坚实的基础.
	二、深度学习简介与经典网络结构介绍	1.神经网络简介 2.神经网络组件简介 3.神经网络训练方法 4.卷积神经网络介绍 5.经典网络结构介绍 章节目标：深入了解神经网络的组成、训练和实现,掌握深度空间特征分布等关键概念,为深度迁移学习奠定知识基础.
	三、迁移学习基础	1.迁移学习绪论 2.基于样本的迁移学习 3.基于特征的迁移学习 4.基于分类器适配的迁移学习 章节目标：掌握迁移学习的思想与基本形式,了解传统迁移学习的基本方法,对比各种方法的优缺点,掌握迁移学习的适用范围.
	四、深度迁移学习介绍	1.深度迁移学习概述 2.基于距离函数的深度迁移学习 3.基于对抗网络的深度迁移学习 4.深度异构迁移学习方法介绍 5.深度领域泛化学习介绍 章节目标：掌Grasp the ideas and components of deep transfer learning,学习深度迁移学习的各种方法,对比各种方法的优缺点,掌握深度迁移学习的适用范围.
第二天 9:00-12:00 14:00-17:00	五、迁移学习前沿方法介绍	1.深度迁移网络结构设计 2.深度迁移学习目标函数设计 3.全新场景下的迁移学习 章节目标：掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法,了解迁移学习在PDA、Source-Free DA上的应用.
	六、迁移学习前沿应用	1.迁移学习在语义分割中的应用 2.迁移学习在目标检测中的应用 3.迁移学习在行人重识别中的应用 4.图片与视频风格迁移 章节目标：掌握深度迁移学习在语义分割、目标检测、行人重识别等任务中的应用,学习图像/视频风格迁移方法,了解风格迁移在实际生活中的应用.
	七、小样本学习、Transformer等前沿方法与应用	1.小样本学习概念与基本方法介绍 2.小样本学习应用 3.Transformer概念与基本方法介绍 4.Transformer在图像领域的应用 章节目标：掌握小样本学习、Transformer等前沿方法和基本思想,了解小样本学习、Transformer等在实际场景下的应用.
第三天 9:00-12:00 14:00-17:00	八、实验实操之Construction of practical environment	1. 硬件准备：GPU显存11GB以上 2. 软件准备：Linux操作系统（Ubuntu16.04以上）,显卡驱动安装（512.54）,CUDA Toolkit（10.1）和cuDNN加速库（7.6.4）,VS Code编辑器安装,Jupyter Notebook 3. 编程语言和框架：Python3.8.5、torch==1..07、torchvision==0.8.2、mmcv-full==1.3.7、opencv-python==4.4.0、matplotlib==3.4.2、numpy==1.19.2、Pillow==8.3.1、scikit-learn==1.0.2 4. 数据集准备：Office-31、IRVI、GTA5、Cityscapes、Foggy cityscapes等 注：硬件准备由主办方提供云服务器
	九、实验实操The practice of deep transfer learning	1.掌握PyTorch中的基本原理和编程思想. 2.理解在一个新的场景或数据集下,何时以及如何进行迁移学习. 3.利用PyTorch加载数据、搭建模型、训练网络以及进行网络微调操作. 4.给定迁移场景,利用daib库和生成对抗技术独立完成图像分类中的领域适配. 5.迁移效果的可视化,利用机器学习库scikit-learn中的t-SNE对迁移过后的高维数据进行可视化.
	十、实验实操The practice of image and video style transfer	1.掌握基于生成对抗网络的风格迁移技术. 2.图像/视频风格迁移网络的搭建,重点掌握编码器和解码器的内在逻辑和不同损失函数的运用. 3.实践红外视频转换到可见光视频的风格迁移.
	十一、实验实操Cross-domain semantic segmentation practice in autonomous driving	1.掌握语义分割发展现状及代表性工作,如FCN,DeepLab系列等. 2.了解常用的语义分割评价指标（PA、mPA、mIoU、FWIoU）和常见数据集（PASCAL VOC2012,ADE20K、BDD100K、Cityscapes、GTA5、Dark Zurich）. 3.语义分割工具箱MMSegmentaion的认识和使用. 4.设计一个分割模型能够从仿真环境中得到的数据迁移到真实场景下产生的数据.
	十二、实验实操object detection practice	1.掌握目标检测算法的基本框架以及目标检测中的经典模型,如R-CNN系列的两阶段检测模型和YOLO系列的单阶段检测模型. 2.掌握目标检测模型的评测指标（IOU和mAP）、标准评测数据集（Pascal VOC,MS COCO和Cityscapes）以及检测模型中的一些训练技巧,如数据增强、多尺度训练/测试、预测框微调/投票法、在线难例挖掘、软化非极大抑制、RoI对齐和集成. 3.实践基于Transformer的端到端目标检测框架的搭建,并在新的数据集上与基于CNN的网络进行迁移性能的对比.

联系：

郭老师    258545206{at}qq.com

关注“人工智能技术与咨询”,了解更多资讯！