KDD 2022 | 我们离通用预训练推荐模型还有多远？推荐系统的通用序列表示学习模型 UniSRec

当前对序列推荐的研究集中于开发更高效的序列表示学习（SRL）模型。大部分已有方法都是显示地对商品 ID 进行序列建模，然而这些模型难以迁移至新的推荐场景，如新的领域或平台。为了解决建模商品 ID 带来的限制，本文提出了一个新的 SRL 方法 UniSRec。具体的，UniSRec 利用商品的文本信息学习可迁移至不同推荐场景的通用表示。为了学习通用商品表示，我们设计了基于参数白化和混合专家网络（MoE）增强的商品编码架构；为了学习通用序列表示，我们设计了两种基于对比学习的优化目标，在预训练阶段采样多个领域的序列/商品作为负例。预训练后的通用序列表示模型可以参数高效地迁移至新的领域或平台中。在真实数据集上构建的大量实验验证了 UniSRec 的效果。特别的，当把 Amazon 数据集上预训练的 UniSRec 模型迁移至一个新平台（某英国电商）时，也可以观察到效果提升，验证了本文提出的通用序列表示学习方法的强大迁移性。

论文题目： Towards Universal Sequence Representation Learning for Recommender Systems

论文下载地址： 

https://arxiv.org/pdf/2206.05941

论文开源代码： 

https://github.com/RUCAIBox/UniSRec