当前位置：网站首页>知识蒸馏（Knowledge Distilling）学习笔记

知识蒸馏（Knowledge Distilling）学习笔记

2022-06-29 20:56:00 【努力学习DePeng】

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作
 paper
黄震华,杨顺志,林威,倪娟,孙圣力,陈运文,汤庸.知识蒸馏研究综述[J].计算机学报,2022,45(03):624-653.
【精读AI论文】知识蒸馏

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

用教师网络预测得到的Soft Target来作为标签训练学生网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Answer1:知识蒸馏是获取高效小规模网络的一种新兴方法，其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中.同时，它通过神经网络的互学习、自学习等优化策略和无标签、跨模态等数据资源对模型的性能增强也具有显著的效果.
在这里插入图片描述

版权声明
本文为[努力学习DePeng]所创，转载请带上原文链接，感谢
https://blog.csdn.net/qq_51682716/article/details/125447940