用上GAN的推荐算法成精了，看完视频马上刷出相关文章丨KDD 2021
这年头，推荐算法真是越来越智能了。
举个栗子，当你热衷于东京奥运会并且刷了不少剪辑视频，APP就会根据你的品味为你推荐文章、游戏或是同款周边。
没错，推荐算法早已不局限于一个场景，而是在视频、文章、小程序等各种场景中“打通任督二脉”，也就是多领域推荐算法。
但事实上，这类算法并不如想象中容易驾驭，关键在于如何抓住不同领域中，关于目标领域的有效特征。
为了让推荐算法更了解你，腾讯微信的看一看团队，针对多领域推荐任务提出了一个全新的模型，融合了生成对抗网络GAN、ELECTRA、知识表示学习等思路，学习不同领域之间的特征转移，极大地提升了多领域推荐算法的效果，论文已被KDD 2021收录。
8月18日，数据挖掘领域国际最高级别会议KDD 2021会议在线上举行，微信看一看团队的Xiaobo Hao，针对这篇名为「Adversarial Feature Translation for Multi-domain Recommendation」的论文，进行了详细解析和分享。
我们对论文解析进行了相关总结，一起来看看。
多领域推荐难在哪
推荐系统已经融入生活的方方面面，为我们提供个性化的信息获取及娱乐。
在马太效应的影响下，Google、WeChat、Twitter等平台应运而生。它们往往拥有各种（推荐）服务，能够为用户推荐多样化的物品（如文章、视频、小程序等），满足用户需求。
用户在不同推荐服务上的行为（在用户允许下），会通过用户的共享账号产生关联。
这些行为，能在目标领域行为之外提供更多信息，帮助推荐系统更加全面地了解用户，辅助提升各领域推荐效果。
多领域推荐 （Multi-domain recommendation，MDR）任务就是基于用户在多个领域的行为和特征，来同时优化多个领域的推荐效果，关键在于如何抓住不同领域中的目标领域特化的特征。
一个直观的方法，是将用户的多领域行为当作额外的输入特征，直接输入给ranking模型，但这种方法没有针对领域间的特征交互进行优化建模。
另一个方法，是近期基于多任务学习（Multi-task learning，MTL）的一些思路，将一个领域的推荐当作一个任务进行处理，取得了不错的效果。
然而，多领域推荐效果仍然严重地受限于其固有的稀疏性问题，具体体现在两个方面：其一，user-item点击行为的稀疏性（这个是推荐系统本身拥有的稀疏性问题）；其二，跨领域特征交互的稀疏性（这是多领域推荐特有的稀疏性问题）。
AFT模型要解决什么？
为了解决这两个问题，使模型能够同时提升多领域推荐效果，论文提出了一个名为Adversarial Feature Translation（AFT）的模型，基于生成对抗网络（GAN）学习不同领域之间的特征转移（feature translation）。
首先，在multi-domain generator中，论文先提出了一个domain-specific masked encoder，用以强调跨领域的特征交互建模，再基于transformer层以及domain-specific attention层聚合这些跨领域交互后的特征，学习用户在目标领域下的表示，以生成虚假的物品候选（fake clicked items）输入到判别器中。
在multi-domain discriminator中，受到知识表示学习（KRL）中的基于三元组的建模方法（如TransE）的启发，论文构建了一个两阶段特征转移（two-step feature translation）模型，对领域、物品和用户不同粒度/不同领域的偏好进行可解释的建模。
团队在Netflix和微信多领域推荐数据集上进行了测试后，发现模型在离线和在线实验的多个结果上都获得了显著的提升，论文也进行了充分的消融实验和模型分析，以验证模型各个模块的有效性。
△图1：多领域推荐及AFT模型框架图
具体来说，如上图1，AFT包括domain-specific masked encoder以及two-step feature translation，着重关注跨领域、多粒度的特征交互建模。
在生成器 （generator）部分，论文先设计了一个domain-specific masked encoder，通过mask掉目标领域的历史行为特征（historical behaviors），来加强“其它领域历史行为特征”和“目标领域点击行为”之间的交互特征权重，以驱使AFT模型学习基于其它领域特征进行的目标领域推荐；
再用Transformer层和Domain-specific aggregation来抽取目标领域相关的用户特征，以生成top-k虚假点击的物品（fake clicked items）。这些虚假点击的物品将被输入判别器，迷惑判别器的判断，在对抗中相互提升所有领域的推荐能力。
在判别器 （discriminator）部分，论文受知识表示学习模型（KRL）启发，希望显式地对用户、物品和领域进行建模。
其中，先用Transformer从多领域特征中分别抽取用户的细粒度item和粗粒度domain的偏好特征，分别标记为user item-level preference和user domain-level preference；
再构造第一个三元组（user item-level preference，user domain-level preference，user general preference），进行第一次特征转移，学习用户通用领域的偏好特征（user general preference）。第一个三元组的物理含义是，对于（Hamlet，writer，Shakespeare）三元组关系，有Hamlet+writer=Shakespeare（以KRL中的经典模型TransE为例）。
在多领域推荐中，用户不同粒度的偏好相加（item-level preference+ domain-level preference），就约等于用户通用领域的偏好（user general preference），因此这一步能得到用户通用领域的偏好。
然后，论文再次构建第二个三元组（user general preference, target domain information, user domain-specific preference），进行第二次特征转移。第二个三元组的物理含义是，用户的通用领域偏好+目标领域的特征=用户在目标领域的偏好（user domain-specific preference）。
论文基于成熟的知识表示学习模型ConvE进行两层特征转移（two-step feature translation）后，得到了用户在目标领域上的表示，并用于推荐。
那么，AFT模型到底有什么优势？
其一，AFT的GAN框架在domain-specific masked encoder的帮助下，提供了充足且高质量的多领域推荐负例，缓解了数据稀疏和过拟合的问题；
其二，生成器中的domain-specific masked encoder能加强模型的跨领域特征交互，而这正是多领域推荐的核心要素；
其三，判别器中的two-step feature translation提供了一种大胆的、显式化可解释的建模用户、物品和领域的方式，对多领域推荐提供了更深层次的理解。
团队将AFT模型和多个有竞争力的baseline模型进行了离线和线上对比。结果显示，AFT模型在多个领域上全面显著地超出所有baseline。此外，团队还进行了详尽的消融实验和模型分析实验，用以加深对AFT各个模块和参数的理解。
目前，AFT模型已经在用了——被部署于微信看一看的多领域推荐场景，正服务于千万用户。论文本身的贡献如下：
针对多领域推荐问题，提出了一个全新的AFT框架，首次在多领域推荐中引入了对抗下的特征转移。
提出了一种GAN框架下的domain-specific masked encoder，能够针对跨领域特征交互进行特化加强。
设计了一种两阶段特征转移策略，尝试使用结构化知识表示学习的建模方式，学习用户多粒度多领域偏好、物品和领域之间的可解释的转移关系。
AFT在离线和线上实验中均取得显著的提升效果，并已经被部署于微信看一看系统。
AFT模型具体长啥样
上文提到，AFT模型基于GAN训练框架，主要分为生成器和判别器两个部分。
如下图2，生成器输入用户多领域行为特征，并基于domain-specific masked encoder、Transformer层和Domain-specific attention，抽取目标领域相关的用户特征，用于生成top-k虚假点击的物品（fake clicked items）。判别器则基于两阶段特征转移，获得用户向量，然后预测真实/虚假点击物品的得分。
△图2：AFT具体模型，包括（a）多领域生成器和（b）多领域判别器
我们具体来看。
多领域生成器
多领域生成器旨在为用户生成每个领域上的fake clicked items，其输入是某个用户在所有n个领域上的行为序列X={X_1, …, X_n}，其中X_t是第t个领域上的行为序列特征矩阵。
不失一般性，论文假设生成器正在生成目标领域d_t上用户可能点击的物品，首先使用domain-specific masked encoder处理目标领域序列X_t，随机对目标领域d_t中的行为进行mask，如下式：
公式表示序列中pos_t这些位置上的行为被[mask]的token替代，使得domain-specific masked encoder强制生成器在生成目标领域的候选物品时，会更多地考虑其它领域的用户行为。
这样虽然会丢失关键的目标领域的历史行为，导致生成器更难生成最合适的fake clicked items，但也会加强跨领域历史行为和点击的特征交互，有助于多领域推荐，特别是稀疏行为的领域上的推荐效果，瑕不掩瑜。
随后，论文使用average pooling分别聚合各个领域上（mask后）的行为序列，并基于Transformer和domain-specific attention，得到用户在目标领域上的表示h_t如下：
对每个候选物品e_i，生成器计算的点击概率p为：
论文基于生成概率p，选择目标领域上的top k的近邻物品（剔除训练集中的真实正例），作为生成器生成的负例输入判别器。
多领域判别器
在判别器中，论文首先基于Transformer特征抽取器，获取用户在细粒度的具体行为（item）上和在粗粒度的领域（domain）上的特征表示：
随后，团队基于知识表示学习中三元组的学习范式，设计了一个两阶段的特征转移：先基于用户在多领域的细粒度和粗粒度上的偏好，得到用户整体偏好；然后基于用户整体偏好和目标领域信息，得到用户在目标领域上的偏好。
传统的知识表示学习方法（如TransE）显式建模三元组关系。上文提到，对于（Hamlet, writer, Shakespeare）这个三元组关系，TransE认为：Hamlet+writer=Shakespeare。
因此，用户细粒度的偏好加上用于粗粒度的偏好，应该等于用户通用领域上的全局偏好（user general preference）。基于ConvE模型（因为他能够挖掘element-wise的特征交互），对于三元组（e_h, r, e_t）有：
类似地，在第一次特征转移中，构造了一个三元组（user item-level preference, user domain-level preference, user general preference），计算用户通用领域上的全局偏好u_g如下：
在得到user general preference后，又构建了第二个三元组（user general preference, target domain information, user domain-specific preference），并进行第二次特征转移。这个三元组的物理含义是，用户的通用领域偏好加上目标领域的特征，约等于用户在目标领域的偏好（user domain-specific preference），有：
其中，目标领域特征综合考虑了领域向量和行为向量。与生成器类似，团队基于用户在d_t的特征表示u_t，计算物品e_i的点击概率p如下：
生成器&判别器优化
模型判别器的优化如下：
生成器则是基于REINFORCE强化学习进行优化：
团队还提出一项MMD loss，目的是让生成器产生的物品和真实物品不完全一致（否则会干扰判别器的训练），具体如下：
MMD loss基于推荐系统的特质设计：在推荐系统中，绝大多数物品其实并未被曝光，团队假设所有未被用户点击的物品均为负例；和点击物品特别相似的fake clicked items，也有很大概率同样被用户点击（例如不同自媒体号发表的同一主题的新闻/视频等），这也是推荐系统item-CF的本质。
因此，团队选择加入MMD loss，使得GAN能够生成更加多样化的、相似但又不完全一样的物品作为判别器的负例。
最后，综合三项loss获得最终AFT的loss，如下：
AFT模型的判别器被部署于线上，更多模型和线上细节可参考论文第三和第四部分。
实验结果
团队在公开数据集和微信看一看数据集上进行了实验，结果表明，模型在多领域推荐上获得了显著提升：
△图3：AFT离线结果
此外，论文也在微信看一看多个线上推荐场景进行了A/B实验，也同样获得了显著的提升：
△图4：AFT线上实验结果
消融实验也证明了模型各个模块的有效性：
△图5：AFT消融实验
最后，论文也进行了详尽的模型参数分析，探索了不同mask ratio和fake clicked item number对模型效果的影响：
△图6：AFT参数实验
模型已用到微信里
整体来说，这篇论文针对多领域推荐任务，提出了一个对抗特征转移的AFT模型。它基于domain-specific masked encoder加强了跨领域特征交互，设计了一种two-step feature translation，能够显式可解释地对多领域下用户不同粒度的偏好、物品和领域进行建模。
目前，AFT模型已部署于微信看一看多领域推荐模块中，我们日常用微信看一看时，就会用到这个模型。
对于未来，团队表示十分看好基于对抗和知识表示学习的跨领域特征交互思路，计划展开进一步探索。
参考文献：
[1]Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]//Neural Information Processing Systems (NIPS). 2013: 1-9.
[2]Covington P, Adams J, Sargin E. Deep neural networks for youtube recommendations[C]//Proceedings of the 10th ACM conference on recommender systems. 2016: 191-198.
[3]Dettmers T, Minervini P, Stenetorp P, et al. Convolutional 2d knowledge graph embeddings[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2018, 32(1).
[4]Dziugaite G K, Roy D M, Ghahramani Z. Training generative neural networks via maximum mean discrepancy optimization[J]. arXiv preprint arXiv:1505.03906, 2015.
[5]He R, Kang W C, McAuley J. Translation-based recommendation[C]//Proceedings of the eleventh ACM conference on recommender systems. 2017: 161-169.
[6]Huang J T, Sharma A, Sun S, et al. Embedding-based retrieval in facebook search[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 2553-2561.
[7]Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1930-1939.
[8]Song W, Shi C, Xiao Z, et al. Autoint: Automatic feature interaction learning via self-attentive neural networks[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019: 1161-1170.
[9]Sun F, Liu J, Wu J, et al. BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer[C]//Proceedings of the 28th ACM international conference on information and knowledge management. 2019: 1441-1450.
[10]Wang J, Yu L, Zhang W, et al. Irgan: A minimax game for unifying generative and discriminative information retrieval models[C]//Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval. 2017: 515-524.
本文系网易新闻·网易号特色内容激励计划签约账号【量子位】原创内容。