NLP- 关键词提取 - 综述

---

一、关键词提取有以下几种方式

二、TF-IDF

TF-IDF算法，主要是通过统计方法，评估词对文档的重要性。一个基本思想是，一个词在文档中出现的次数越多，显然这个词会相对更具代表性，但是如果这个词在很多的文档中都有出现，那么他出现次数再多也不具备文档区分能力。所以他的另一个基本思想是如果一个词在越少的文档中多次出现， 则其对文档的区分能力也就越强，而且也具有代表性。

三、TextRank

TextRank算法则可以脱离语料库的基础，仅对单篇文档进行分析就可以提取该文档的关键词。这也是TextRank算法的重要特点。TextRank算法的基本思想源于Google的PageRank算法。

四、LDA

LDA算法，是目前关键词检测技术中最流行的方法之一，每篇文档由不同的词组成的同时，同时也存在多个潜在的主题，比如体育，娱乐，新闻，政治。而每个主题也有属于它的不同的词，比如属于“体育”主题可能会有“足球，篮球，比赛”，属于“娱乐”主题可能会有“明星，电影，唱片”等等。但是一般而言，一篇文章的主要内容最有可能是集中于少数几个主题上，如果每个主题都有所涉及，显然这些主题是无法反映文章重点的。所以，LDA的目的就是在上述条件的基础之上，根据文档中的词来找到文档最可能的几个主题以及其中的词。

五、word2vec

Word2vec算法，主要研究词与词之间的关系，他将所有文本数据集中出现的全部不重复的词都转化成了向量，这种数据格式包含了这个词与其他所有词的相似度，因此我们就可以根据词之间的关系进行分类，通过分类算法得到多个类别的中心词，之后再计算每个类中词语与类别中心的相似度并排序，最后选择最接近的中心的前几个词作为关键词。