当前位置：网站首页>论文阅读_中文NLP_ELECTRA

论文阅读_中文NLP_ELECTRA

2022-07-03 04:39:00 【xieyan0811】

介绍：ELECTRA由Manning联合谷歌发布，后来哈工大讯飞联合实验室训练了相应的中文模型。精减后的模型效果和BERT差不太多，而模型大小只有BERT的1/10，ELECTRA-small 只有46M。
代码&模型下载&详细说明：https://github.com/ymcui/Chinese-ELECTRA
使用：LTP使用它为基础模型。
原理：使用生成对抗网络训练自然语言模型，时间短，参数少。模型分为两部分：生成器和判别器，生成实现MLM，判别器用于识别每一个单词是否为模型生成。
效果：以中文阅读理解为例，其效果对比如下，其它实验详见github