当前位置：网站首页>Efficient Estimation of Word Representations in Vector Space 论文笔记

Efficient Estimation of Word Representations in Vector Space 论文笔记

2020-11-09 12:31:00 【JYRoy】

Mikolov T , Chen K , Corrado G , et al. Efficient Estimation of Word Representations in Vector Space[J]. Computer ence, 2013.

源码：https://github.com/danielfrg/word2vec

文章目的

本文的目的是提出学习高质量的词向量（word2vec）的方法，这些方法主要利用在十亿或者百万词汇的数据集上。因此作者提出了两个新颖的模型（CBOW，Skip-gram）来计算连续向量表示，表示的质量用词的相似度来衡量，将结果与之前表现最好的神经网络网络模型进行比较。

作者试图用新的模型结构来最大化向量操作，并且保留单词之间的线性规律。同时讨论了训练时间和准确率如何依赖于单词向量的维度及训练数据量。

结论

新的模型降低了计算复杂度，提高了准确率（从160亿单词的数据集中学习高质量的单词向量）
这些向量在测试集上为度量语法和语义提供了最先进的性能。

背景

一些NLP系统和任务把词作为原子单元，词与词之间没有相似度，是作为词典的下标表示的，这种方法有几个好处：简单，鲁棒，在大数据集上训练的简单模型比小数据集上训练的复杂模型好。最广为流传的是用于统计语言模型的N元模型，今天，它可以训练几乎所有数据的n元模型。

这些简单的技术在很多任务上有限制。因此简单的改进这些基本的技术并不能带来显著的效果提升，必须关注更先进的技术。

Model Architectures

之前许多研究人员提出了许多不同类型的模型，例如LSA和LDA。在本文中，作者主要研究了神经网络学习的单词分布式表示。

为了比较不同模型的计算复杂度，提出了如下的模型训练复杂度：

\[O = E × T × Q \]

E：训练迭代次数
T：训练集中的单词数量
Q：Q被每一个模型进一步定义，具体如下。

Feedforward Neural Net Language Model（NNLM）

结构：

Input Layer：使用one-hot编码的N个之前的单词，V是词汇表的大小
Projection Layer：维度是\(N×D\)，使用了一个共享的投影矩阵
Hidden Layer：H表示隐藏层节点的个数
Output Layer：V表示输出节点的个数

每个样本的计算复杂度公式如下所示：

\[Q = N×D+N×D×H+H×V \]

\(N×D\)：输入层到投影的权重个数，N是上下文的长度，D是每个词的实数表示维度
\(N×D×H\)：投影层到隐藏层的权重个数
\(H×V\)：隐含层到输出层的权重个数

原本最重要的一项是\(H×V\)，但是作者提出利用 hierarchical softmax 或者避免使用规则化模型来处理它。其中利用Huffman binary树来表示单词，需要评估的输出单元的个数下降了\(log_2(V)\)。因此，大多的计算复杂度来源于 \(N×D×H\) 项。

Recurrent Neural Net Language Model (RNNLM)

基于语言模型的循环神经网络主要克服前馈NNLM的缺点，比如需要确定文本的长度。RNN可以表示更复杂的模型。

结构：

Input Layer：单词表示D和隐藏层H有相同的维度
Hidden Layer：H表示隐藏层节点的个数
Output Layer：V表示输出节点的个数

这种模型的特点是有循环矩阵连接隐藏层，具有时间延迟连接，这允许形成长短期记忆，过去的信息可以由隐藏状态表示，隐藏状态的更新由当前输入和前一个输入的隐藏层的状态决定

每个样本的计算复杂度公式如下所示：

\[Q=H×H+H×V \]

\(H×H\)：输入层到隐藏层的权重个数
\(H×V\)：隐藏层到输出层的个数

同样，使用 hierarchical softmax 可以把\(H×V\)项有效地下降为\(H×log_2(V)\)项。因此大多数地复杂度来源于\(H×H\)项。

Parallel Training of Neural Networks

作者在Google的大型分布式框架DistBelief上实现了几个模型，这个框架允许我们并行地运行同一个模型的不同副本，每个副本通过一个保存所有参数的中央服务器进行参数更新。对于这种并行训练，作者使用mini-batch异步梯度下降和一个叫做Adagrad的自适应的学习率。在这个框架下，通常使用一百或者更多的副本，每一个副本在一个的数据中心的一个机器上的使用多个CPU核心。