当前位置：网站首页>历史最全混合专家（MOE）模型相关精选论文、系统、应用整理分享

历史最全混合专家（MOE）模型相关精选论文、系统、应用整理分享

2022-07-04 20:46:00 【lqfarmer】

稀疏性（Sparsity），指的是模型具有非常大的容量，但只有模型的用于给定的任务、样本或标记的某些部分被激活。这样，能够显著增加模型容量和能力，而不必成比例增加计算量。

2017年，谷歌引入了稀疏门控的专家混合层（Sparsely-Gated Mixture-of-Experts Layer，MoE），该层在各种转换基准测试中显示出更好的结果，同时使用的计算比以前最先进的密集 LSTM 模型少10倍。

本资源整理了近年来混合专家(MoE) 相关的论文，并进行了详细分类。为这个知识库加注星标，然后你就可以及时了解这个蓬勃发展的研究领域的最新进展。

资源整理自网络，下载及获取见源地址：https://github.com/codecaution/Awesome-Mixture-of-Experts-Papers#awesome-mixture-of-experts-papers

内容截图

往期精品内容推荐

一文详解 baseline论文复现实战（NLP）

版权声明
本文为[lqfarmer]所创，转载请带上原文链接，感谢
https://lqfarmer.blog.csdn.net/article/details/125578482