当前位置:网站首页>【快手面试】Word2vect生成的向量,为什么可以计算相似度,相似度有什么意义?
【快手面试】Word2vect生成的向量,为什么可以计算相似度,相似度有什么意义?
2022-08-03 08:51:00 【凝眸伏笔】
背景:
我是推荐算法方向的面试,在面试的时候,使用word2vector的方法生成item的向量,来计算行为序列中的item跟待预估的item的相似度,来作为一维特征。
二面面试官问题:
Word2vect生成的向量,为什么可以计算相似度,相似度有什么意义?
答案分析:
term在相同的前后文中,认为两个term是等价的,它们学到的向量也更接近,所以item的向量计算相似度,表示两个向量的相似程度,也即是是否等价。
原理分析:
什么词算相似,一般可以认为,如果两个词的上下文越相似,这两个词也就越相似。比如牛在吃草,马在吃草,牛和马后面的词都一样。又或者是我家在北京,我家在上海,北京和上海的功能差不多,这两个词也就越相似,个人认为这也就是word2vec的出发点。
word2vec得出的词向量其实就是训练后的一个神经网络的隐层的权重矩阵,在经过CBOW或者Skip-Gram模型的训练之后,词义相近的词语就会获得更为接近的权重,因此可以用向量的距离来衡量词的相似度。
向量相似性,一般地,我们以向量的夹角来评价两个向量的相似性
这样我们就可以发现,如果有两向量u,v,
当u加上s*v时(s是正标量),u和v的夹角变小,因此更相似,
当u减去s*v时(s是正标量),u跟v的夹角变大,因此相似性减弱
边栏推荐
猜你喜欢
随机推荐
The Transformer, BERT, GPT paper intensive reading notes
阿里云·短信发送
Redisson实现分布式锁
Add Modulo 10 (规律循环节,代码实现细节)
What are pseudo-classes and pseudo-elements?The difference between pseudo-classes and pseudo-elements
Using pipreqs export requirements needed for the project. TXT (rather than the whole environment)
ArcEngine (4) Use of MapControl_OnMouseDown
ArcEngine (2) loading the map document
响应式布局经典范例——巨幅背景大标题
QImage的指针问题
qt使用mysql数据库(自学笔记)
并发之固定运行和交替运行方案
牛客 - 最佳直播时间 (差分)
HCIA实验(07)
【LeetCode】101. Symmetric Binary Tree
The display of the article list and the basics of creating articles and article details
【LeetCode】622.设计循环队列
IDEA2021.2安装与配置(持续更新)
多媒体数据处理实验4:LSH索引
10 minutes to get you started chrome (Google) browser plug-in development