当前位置：网站首页>【论文笔记KDD2021】MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

【论文笔记KDD2021】MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

2022-08-04 22:03:00 【山顶夕景】

学习总结

零、论文简介

论文题目：MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems
论文链接：http://keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Huang-et-al-MixGCF.pdf
论文代码：https://github.com/huangtinglin/MixGCF
论文作者：Tinglin Huang，唐杰老师等人

一、Introduction

导言：GNN被广泛应用于embedding的生成场景，对user和item分别进行embedding化，使用双塔模型；类似像Graphsage、PinSage、LightGCN等算法也有被应用在工业界的推荐系统上，但是GNN的负采样技术还有待研究，过去大多数算法是从真实的数据中选取负样本，而忽略了embedding的信息，而MixGCF是经过数据增强、聚合的方法获取负样本及其表示。NGCF和LightGCN在使用MixGCF后，在NDCG指标上分别提高了26%和22%。

在这里插入图片描述

1.1 聚合 Aggregation

聚合过程： $\mathbf{e}_{u}^{(l+1)}=\sum_{i \in N_{u}} \frac{1}{\sqrt{\left|N_{u}\right|\left|N_{i}\right|}} \mathbf{e}_{i}^{(l)}, \mathbf{e}_{v}^{(l+1)}=\sum_{j \in N_{v}} \frac{1}{\sqrt{\left|N_{v} \| N_{j}\right|}} \mathbf{e}_{j}^{(l)}$

1.2 池化过程

池化过程： $\mathbf{e}_{u}^{*}=\sum_{l=0}^{L} \lambda_{l} \mathbf{e}_{u}^{(l)}, \mathbf{e}_{v}^{*}=\sum_{l=0}^{L} \lambda_{l} \mathbf{e}_{v}^{(l)}$

1.3 负采样优化

一般LTR任务的损失函数是BPR loss： $\max \prod_{v^{+}, v^{-} \sim f_{S}(u)} P_{u}\left(v^{+}>v^{-} \mid \Theta\right)$
其中参数：

$v^{+}$ 和 $v^{}-$ 分别表示positive items和negative items
$P_{u}(a>b)$ 表示用户u，相比于item b来说，更加偏爱于item a
$f_{S}(u)$ 是negative sampling的分布，很多推荐算法（如LightGCN、NCF、BPR、NGCF等算法）都是将negative sample服从于uniform均匀分布（ $f_{S}(u)=f_{\text {uniform }}(u)$ ）

1.4 负采样问题

经典的BPR loss栗子。
负采样一般使用uniform distribution，为了改进GNN的负采样：
- PinSage根据PageRank的得分进行负采样；
- MCN考虑正负样本之间的结构相关性，重新涉及额了正负样本的分布；
- 但是这些算法只是主要在discrete graph space中负采样，而忽略了GNN在embedding空间中独特的邻居聚合过程。
MixGCF受数据增强和metric learning的思想而提出，进行hard负样本的生成。

二、MixGCF算法

在这里插入图片描述

2.1 positive mixing

positive mixing的操作： $\mathbf{e}_{v_{m}}^{\prime(l)}=\alpha^{(l)} \mathbf{e}_{v^{+}}^{(l)}+\left(1-\alpha^{(l)}\right) \mathbf{e}_{v_{m}}^{(l)}, \alpha^{(l)} \in(0,1)$
其中参数：

$\alpha^{(l)}$ 是每一个hop的均匀采样的mixing因子；
mixup的mixing因子是从beta分布 $\operatorname{Beta}(\beta, \beta)$ 中采样而来的，对模型的泛化能力有很大影响；
为了缓解上面提到的这个影响，positive mixing中的mixing因子 $\alpha^{(l)}$ 统一从(0, 1)分布中进行采样；
$\mathcal{E}^{\prime}$ 是候选negatives M增强后的embedding集合。

positive mixing增强negatives通过以下两种方式：
1）把positive information注射到negative samples，这样有助于强制优化算法更努力、更狠的利用决策边界。
2）用mixing因子把随机不确定性引入它们之中。

2.2 Hop Mixing

在这里插入图片描述

2.3 optimization with MixGCF

$\mathcal{L}_{\mathrm{BPR}}=\sum_{\substack{\left(u, v^{+}\right) \in O^{+} \\ \mathbf{e}_{v^{-}} \sim f_{\mathrm{MixGCF}}\left(u, v^{+}\right)}} \ln \sigma\left(\mathbf{e}_{u} \cdot \mathbf{e}_{v^{-}}-\mathbf{e}_{u} \cdot \mathbf{e}_{v^{+}}\right)$