当前位置:网站首页>Ernie-gram, 显式、完备的 n-gram 掩码语言模型,实现了显式的 n-gram 语义单元知识建模。
Ernie-gram, 显式、完备的 n-gram 掩码语言模型,实现了显式的 n-gram 语义单元知识建模。
2022-07-29 15:58:00 【人工智能曾小健】
模型框架
从 ERNIE 1.0 起,百度研究者们就在预训练中引入知识增强学习,通过
掩码连续的词、
phrase、
named entity 等语义知识单元,
实现更好的预训练学习。本次开源的通用语义理解模型 ERNIE-Gram 更进一步,提出的显式、完备的 n-gram 掩码语言模型,实现了显式的 n-gram 语义单元知识建模。
ERNIE 多粒度预训练语义理解技术
作为自然语言处理的基本语义单元,更充分的语言粒度学习能帮助模型实现更强的语义理解能力:
- ERNIE-Gram 提出显式完备的 n-gram 多粒度掩码语言模型,同步建模 n-gram 内部和 n-gram 之间的语义关系,实现同时学习**细粒度(fine-grained)和粗粒度(coarse-grained)**语义信息
- ERNIE-Gram 采用双流结构,在预训练过程中实现了单一位置多语义粒度层次预测,进一步增强了语义知识学习
ERNIE-Gram 多粒度预训练语义理解技术,在预训练 (pre-training) 阶段实现了显式的多粒度语义信号学习,在微调 (fine-tuning) 阶段采用 bert-style 微调方式,在不增加参数和计算复杂度的前提下,取得 10 项英文权威任务的 SOTA。在中文任务上,ERNIE-Gram 在包括 NLI、阅读理解等需要丰富、多层次的语义理解任务上取得公开 SOTA。
ERNIE-Gram 工作已被 NAACL-HLT 2021 作为长文收录,更多细节见 link。
ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding
边栏推荐
猜你喜欢
leetcode:1901. 寻找峰值 II【二分找矩阵局部最大】
MLX90640 infrared thermal imager development notes (9)
This article penetrates the architecture design and cluster construction of the distributed storage system Ceph (hands-on)
58安全-图像质量评价技术实践
【PCL学习笔记】点云处理常用的库和API(PCL库+Eigen)
中国大学慕课mooc答题/自动播放脚本(domooc)使用教程
(笔记)Build was configured to prefer settings repositories over project repositories but 解决方法
异步请求池的实现
大规模线上应用TiDB会遇到的坑,本文都帮你排除好了
How should small and medium-sized financial enterprises carry out disaster recovery construction?
随机推荐
中国大学慕课mooc答题/自动播放脚本(domooc)使用教程
长江存储计划今年产能提高一倍,并试产192层3D NAND
属性动画(Property Animation) 、 Butterknife黄油刀的基本使用
新建和编辑共用一个表单,编辑之后新建,form表单resetFields失效
Alibaba 开源内网高并发编程手册
#夏日挑战赛# HarmonyOS - 实现签名功能
奇怪,为什么ArrayList初始化容量大小为10?
[PCL study notes] Commonly used libraries and APIs for point cloud processing (PCL library Eigen)
QT连接Mysql数据库(详细成功版)
【微信小程序】组件使用及属性参考
风格迁移篇----艺术风格转换的内容与风格解构
Rust P2P网络应用实战-1 P2P网络核心概念及Ping程序
节省70%的显存,训练速度提高2倍!浙大&阿里提出在线卷积重新参数化OREPA,代码已开源!(CVPR 2022 )...
店铺信息管理系统
(笔记)Build was configured to prefer settings repositories over project repositories but 解决方法
高通发布全新屏下指纹传感器:识别区域增大77%,识别速度提升50%
分布式前修课:MySQL实现分布式锁
我的 2019 年终总结
@RequestMapping注解最详细解析
揭秘 | 2019 To B 年度盛宴那些人和那些事