微软、哥伦比亚大学|GODEL：目标导向对话的大规模预训练

标题：微软、哥伦比亚大学|GODEL: Large-Scale Pre-Training for Goal-Directed Dialog（GODEL：目标导向对话的大规模预训练）

作者：Baolin Peng, Michel Galley, Pengcheng He,  Jianfeng Gao等

简介：本文介绍一个用于对话的大型预训练语言模型。相比之下使用较早的模型，例如DialoGPT，GODEL利用接地的新阶段预训练旨在更好地支持 GODEL 适应广泛的下游需要外部信息的对话任务到当前对话（例如，数据库或文件）以产生良好的反应。针对一系列基准的实验包括面向任务的对话、对话式 QA 和扎根的开放域对话表明 GODEL 优于最先进的技术在小样本微调设置中预训练的对话模型，在人和自动评估。作者的一个新特点评价方法是引入评估有用性的效用概念响应（外部评估）另外他们的交际特征（内在评估）。作者证明了外部评估提供改进的注释者间协议和与自动化指标的相关性。

代码下载：https://github.com/Microsoft/GODEL

论文下载：https://arxiv.org/pdf/2206.11309v1.pdf