9、Wide＆Deep简介

前言

• 推荐系统的一个挑战是如何同时获得推荐结果准确性和扩展性。
• 推荐的内容都是精准内容，用户兴趣收敛，无新鲜感，不利于长久的用户留存；推荐内容过于泛化，用户的精准兴趣无法得到满足，用户流失风险很大。相比较推荐的准确性，扩展性倾向与改善推荐系统的多样性。
• Google 16年发布Wide & Deep

1、 Wide&Deep简介

• Wide&Deep设计了一种融合浅层（wide）模型和深层（deep）模型进行联合训练的框架，综合利用浅层模型的记忆能力和深层模型的泛化能力，实现单模型对推荐系统准确性和扩展性的兼顾。

• 记忆能力可以解释为学习那些经常同时出现的特征，发掘历史数据中存在的共现性。
  基于记忆能力的推荐系统通常偏向学习历史数据的样本，直接与用户己经采取的动作相关

• 泛化能力则基于迁移相关性，探索之前几乎没有出现过的新特征组合。
  泛化能力相比记忆能力则更趋向于提升推荐内容的多样性。

2、模型

Wide&Deep模型。它混合了一个线性模型（Wide part）和Deep模型(Deep part)。这两部分模型需要不同的输入，而Wide part部分的输入，依旧依赖人工特征工程。

2.1 wide部分

Wide部分是广义线性模型(如逻辑回归)，因为它们简单，可扩展，可解释，它在工业界大规模线上推荐和排序系统中得到了广泛应用。

在目前大规模线上推荐排序系统中，通用的线性模型如LR被广泛应用。线性模型通常输入二进制的one-hot稀疏表示特征进行训练。比如特征“user_installed_app=netflix”为1，表示用户已安装netflix。交叉特征AND（user_installed_app=netflix，impresion_app=Pandora）表示既安装了netflix app同时又浏览过Pandora的用户特征为1，否则为0。
wide模型可以通过利用交叉特征高效的实现记忆能力，达到准确推荐的目的。wide模型通过加入一些宽泛类特征实现一定的泛化能力。但是受限与训练数据，wide模型无法实现训练数据中未曾出现过的泛化。

2.2 deep部分

像FM和DNN这种Embedding类的模型，可以通过学习到的低纬度稠密向量实现模型的泛化能力，包括可以实现对未见过的内容进行泛化推荐。当模型query-item矩阵比较稀疏时，模型的会过分泛化，推荐出很多无相关性的内容，准确性不能得到保证。

2.3 联合训练

联合训练(joint training)有别于集成（ensemble）,集成中训练阶段多个模型是独立分开训练的，并不知道彼此的存在，在预测阶段预测值综合了多个模型的预测值。相反，联合训练阶段则同时训练多个模型，共同优化参数。

2.4 实验模型结构

3、总结

3.1 适用范围

Wide & Deep Model适用于输入非常稀疏的大规模分类或回归问题。比如推荐系统、search、ranking问题。
输入稀疏通常是由离散特征有非常非常多个可能的取值造成的，one-hot之后维度非常大。

3.2 优缺点

缺点：Wide部分还是需要人为的特征工程。
优点：实现了对memorization和generalization的统一建模。