NAACL 2022 | 机器翻译SOTA模型的蒸馏

论文标题：

Nearest Neighbor Knowledge Distillation for Neural Machine Translation

收录会议：

NAACL 2022

论文链接：

https://arxiv.org/abs/2205.00479

本次要分享的论文则是针对 kNN-MT 推理速度过慢的不足，提出了蒸馏方法（kNN-KD）。从而在保持 kNN-MT 表现的情况下，将推理速度提升到了与一般 NMT 模型推理速度相当的水平。在本文中，作者提出了 kNN-KD，它提取通过 kNN 检索得到的知识，以缓解基础 NMT 模型过度校正的问题。实验表明，kNN-KD 可以改进普通 kNN-MT 和其他baseline，而无需任何额外的训练和解码成本。