【5分钟Paper】Pointer Network指针网络

所解决的问题？

提出了一个网络结构，学习输入序列的位置关系。

背景

学习输入序列的位置关系这一类问题可以被看做是seq2seq问题，输出序列长度与输入序列长度一致，并且是一个可变变量。可以用来处理变量排序或者组合优化问题。

这篇文章是2017年发表的，在这之前，对于循环神经网络这一类算法，主要还是基于先验固定了输出的字典，也就是隐藏层输出单元的预测大小并不可知。

所采用的方法？

与之前采用的attention用于编码encoder输入的隐藏状态不同，作者提出的Ptr-Net是基于Attention去选择的。

论文中核心的网络结构就在decoder部分。主要有两点：

1. 与以往的seq2seq模型不同，decoder每一个时刻的输入其实上一个时刻被选中的节点输入信息，是最原始的坐标信息编码之后进入到encoder中的输入信息。
2. 在计算decoder的输出的时候，采用的attention的计算如下：输入是[bs, hidden_dim, seq_len]的context和维度为[bs, hidden_dim]的input。这里的input就是decoder的输入和隐藏层经过LSTM得到的输出。

context经过一个一维度卷积操作，也相当于经过一个权重矩阵$W_1$得到[bs, hidden_dim, seq_len]维度不变的矩阵。input经过一个权重矩阵$W_2$再扩展维度到[bs, hidden_dim, seq_len]。之后这两个矩阵相加再与一个[bs, 1, hidden_dim]的可学习的变量$V$相乘。得到[bs, seq]维度的attention矩阵。对应到原文公式就是:

$$u_j^i=v^{T}tanh(W_1{e}_j+W_2{d}_i)j\in (1,\cdots n)$$

过一层softmax得到attention矩阵：

$$a_j^i=softmax(u_j^i)j\in (1,\cdots n)$$

这个[bs, seq]维度的attention矩阵再与维度为[bs, hidden_dim, seq_len]的context矩阵相乘得到隐藏层的输出[bs, hidden_dim]，作为LSTM的下一个时刻的hidden state。

$$d_i^{\prime }=\sum _{j=1}^n{a}_j^i{e}_j$$

取得的效果？

所出版信息？作者信息？

参考链接