【GCN-RS】Towards Representation Alignment and Uniformity in Collaborative Filtering (KDD‘22)

Towards Representation Alignment and Uniformity in Collaborative Filtering (KDD’22)

主要研究协同过滤方法中的表征。现有的研究主要集中在设计更强大的encoder以学习更好的表征。而缺乏对 CF 中表征的期望属性进行研究，这对于理解现有 CF 方法的基本原理和设计新的学习目标很重要。本文定义Alignment和Uniformity两个指标来衡量表征的质量。

• 理论上揭示了 BPR 损失与这两个属性（对齐和均匀性）之间的联系。
• 从Alignment和Uniformity的角度对经典的CF方法学习过程进行分析，更好的Alignment或Uniformity都有助于提高推荐性能
• 根据分析结果提出了一个直接优化这两个指标的学习目标 DirectAU

Alignment和Uniformity

在CF中，用编码器$f()$将用户和物品映射到低维表征 $f(u),f(i)\in {\mathbb{R}}^{\mathrm{d}}$。比如矩阵分解模型就是一个embedding表（LightGCN就在此基础上利用了邻域信息）。

表征的质量和两个关键属性高度相关：Alignment和Uniformity。给定数据分布$p_{data}(\cdot )$和正样本对的分布$p_{pos}(\cdot ,\cdot )$，Alignment的定义为正样本对的标准化embedding之间的距离的期望，用$\tilde{f}()$表示L2标准化的表征：
$$l_{\text{align }}\triangleq \underset{\left(x,x^{+}\right)\sim p_{\text{pos }}}{\mathbb{E}}{\Vert f(x)-f\left(\widetilde{x^{+}}\right)\Vert }^2$$
Uniformity定义为成对高斯函数的均值的对数：
$$l_{\text{uniform }}\triangleq \log \underset{x,y\sim p_{\text{data }}}{\mathbb{E}}{e}^{-2\Vert f(x)-f(\tilde{y}){\Vert }^2}$$
这两个指标和表征学习的目标非常一致：正样本应该彼此靠近，而随机样本应该尽可能均匀分布在超球面上。

作者先理论分析，Perfect Alignment 是指encoder f 把所有样本都编码到同一个表征：$f(u)=\widetilde{f(}i)$ a.s. over $(u,i)\sim p_{\text{pos }}$；Perfect Uniformity 是指encoder f将所有样本的表征均匀的分布在一个超球体上。

理论证明

作者把BPR loss化简，证明如果存在Perfect Alignment和Perfect Uniformity的encoder，是BPR loss的下界：

公式（4）满足的条件是当且仅当 f 是perfectly aligned；公式（5）满足的条件是当且仅当 f 是perfectly uniform的 。因此，$L_{BPR}$ 大于等于一个独立于 f 的常数，当且仅当 f是 perfectly aligned and uniform时等号成立。

实验分析

为了验证BPR以及其他loss在优化的过程中会优化对齐兴和均匀性，作者在不同的方法上进行了实验，随着训练过程进行，对齐和均匀性会得到相应的优化和改善。这也说明 CF 中的用户和商品表征的质量依赖这两个属性。实现更好的对齐或均匀性都有助于提高推荐性能，同时优化它们可能是有益的。

随机初始化后，Uniformity很好，Alignment很差，前期学习过程主要是优化Alignment，后期的性能提升主要来自于Uniformity。这也比较好理解，正样本相近是好实现的，但是在样本分布均匀的基础上实现正样本相近是需要花费effort的。

DirectAU

分析完发现Alignment和Uniformity对于用户和物品表征的质量至关重要，于是设计了一个新的学习目标，直接优化这两个属性：
$$\begin{array}{rl}& l_{\text{align }}=\underset{(u,i)\sim p_{\text{pos }}}{\mathbb{E}}\Vert f(\widetilde{(}u)-f\widetilde{(}i){\Vert }^2\\ & l_{\text{uniform }}=\log \underset{u,u^{\prime }\sim p_{\text{user }}}{\mathbb{E}}{e}^{-2{\Vert f\widetilde{(u)}-f\left(\widetilde{u^{\prime }}\right)\Vert }^2}/2+{\log }_{i,i^{\prime }\sim p_{\text{item }}}^{\mathbb{E}}{e}^{-2{\Vert f(i)-f\left(i^{\prime }\right)\Vert }^2}/2.\\ & {\mathcal{L}}_{\text{DirectAU }}=l_{\text{align }}+\gamma l_{\text{uniform }}\end{array}$$
这里有个好处是不需要负采样构造负样本，只需要正样本优化 $l_{align}$，然后batch样本优化$l_{uniform}$，in-batch的样本是是user和user计算，item和item计算。

实验结果

只用MF作为encoder效果就很好，如果用LightGCN作为encoder，提升也比较大：

这个loss可以让embedding的Uniformity维持在随机初始化的状态，即均匀分布的状态。