论文阅读 (62)：Pointer Networks

1 引入

1.1 题目

  2015指针网络 (Pointer networks)

1.2 代码

  Github：https://github.com/shirgur/PointerNet

1.3 摘要

  引入了一种新的神经架构来学习输出序列的条件概率，其元素是与输入序列中的位置相对应的离散标记。已有的一些方法，例如序列到序列和神经图灵机并不能处理这个问题，因为它们输出的每一步中，目标类的数量与输入的长度有关，但输入序列的长度却是可变的。可变大小序列的排序，以及各种组合优化问题都属于此类问题。
  具体地，可变大小输出字典的问题通过引入注意力机制来解决。它与之前的注意力不同之处在于，它不是在每个解码器步骤中使用注意力将编码器的隐藏单元融合为上下文向量，而是使用注意力作为指针来选择输入序列的成员作为输出。这样的架构被我们称为指针网络 (Ptr-Net)。
  为了证明Ptr-Net的有效性，三个著名的几何问题被使用，分别为寻找平面凸包、计算Delaunay三角剖分和平面旅行商问题。Ptr-Net不仅通过输入注意力改进了序列到序列，而且还可以被推广到可变大小的输出字典。最终结果显示学习模型的泛化能力超出了它们所训练的最大长度。这些结果将鼓励探索更广泛的离散问题的神经学习。

1. Bib

@article{
    Vinyals:2015:pointer,
author		=	{
    Oriol Vinyals and Meire Fortunato and Navdeep Jaitly},
title		=	{
    Pointer networks},
journal		=	{
    Advances in neural information processing systems},
volume		=	{
    28},
year		=	{
    2015}
}

2 模型

  首先介绍两个背景工作，即序列到序列和输入注意力模型。随后引出本文提出的Ptr-Net架构。

2.1 序列到序列模型

  给定一个训练对$(\mathcal{P},{\mathcal{C}}^{\mathcal{P}})$，序列到序列模型使用带有参数$\theta$的RNN在概率链式规则的基础上计算条件概率：
$$p({\mathcal{C}}^{\mathcal{P}}|\mathcal{P};\theta )=\prod _{i=1}^{m(\mathcal{P})}p(C_i|C_1,\dots ,C_{i-1},\mathcal{P};\theta )\text{\hspace{1em}(1)}$$一个示意如图1。

图1：