解读|阿里、腾讯和百度发表于KDD2018上的论文(含附录)

本文对阿里巴巴、腾讯及百度在2018KDD上发表的论文进行了解读,涵盖了几个方面的内容。

阿里巴巴(4篇):搜索结果排序、视觉搜索、推荐算法和图嵌入。

腾讯(2篇):文本匹配和智能医疗领域。

百度(2篇):实时停车和城市中人的活动。

阿里巴巴在电子商务方面做了大量数据挖掘研究

1
阿里巴巴-搜索结果排序

在搜索结果排序方面,Yujing Hu等人和南京大学的Yang Yu等人提出了在考虑利用不同步排序结果的联系的基础上,通过利用增强学习实现最大化预期累积奖励的排序策略。

文章中正式定义了search session Markov decision process(SSMDP)的概念并以此表示了电子商务搜索场景下的多步排序问题;在此基础上,作者通过证明最大化累积回报的必要性从而证明了不同步骤的排序之间是存在紧密的联系,而并非是相互独立的;作者提出了利用DPG-FBE(deterministic policy gradient with fullbackup estimation)算法来解决高回报差异以及不平衡的回报分配问题,实现了SSMDP下的最优排序策略。
图中表示了在策略π下,用户进行商品搜索时的三种行为及对应行为发生的概率:购买(B,b)、继续浏览(C,c)、离开(L,l),浏览项目历史(h)及对应的状态转移,并定义了下图中的状态值函数来计算累积回报。
原文:Reinforcement Learning to Rank in E-Commerce Search Engine: Formalization, Analysis, and Application 
2
阿里巴巴-视觉搜索

在视觉搜索方面,Yan Haozhang等人介绍了阿里巴巴的大规模视觉搜索算法和系统基础建设方面取得的成就和贡献。

(1)结合分类建模和紧邻搜索技术减小了搜索范围,实现了更加精准有效的类别预测方法。利用softmaxloss函数对GoogLeNet V1网络进行图像分类训练,得到每一种图像类别的概率;通过检索最相似的Top30图像,并对每个图像进行加权计算概率;最后,将以上的到的两个概率进行加权平均,得到最终结果。

(2)此通过弱监督学习方式并基于深度CNN架构,实现了目标检测和特征表示的联合学习;通过直接使用用户的点击图像的行为作为样本来训练模型。

(3)通过二值特征索引和重排序技术,实现了用户移动端毫秒级别的响应。

原文:Visual Search at Alibaba (Page 993)

3
阿里巴巴-推荐算法

在推荐算法方面,Yabo Ni等人提出通过多任务的综合分析学习来了解用户的普遍行为,实现更精确的预测和推荐。

(1)文章提出了一种基于多任务学习的表示学习,DUPN(Deep User Perception Network),该网络可以从多个任务中生成一种普遍的用户行为表示,这种表示能够从用户的复杂行为中提取主要特征,并可以被用到其他任务中;

(2)文章提出了一种新的机遇注意力机制网络和RNN的深度架构,将电子商务中用户和项目建模为序列行为,并利用一种新的上下文询问的注意力机制来整合相应的内容和行为信息来使得能够更好地学习用户的行为向量。

模型将用户行为序列作为输入,并将每个行为传递到一个嵌入的向量空间。然后,使用LSTM和Attention-based Polling来获得一个用户表示向量。LSTM帮助建模用户行为序列,注意力网帮助从序列中提取不同权重的信息。不同人物之间可以共享这些用户表示。

系统维护一个item集。对给定用户的查询,系统检索标题中包含查询词的条目,对条目进行排序,并向用户提供rank最靠前的list。

原文:《Perceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce Tasks》 (Page 596)

4
阿里巴巴-图嵌入

Jizhe Wang等人和香港科大的Huan Zhao等人提出了用图嵌入的方法来解决十亿级别电子商务网络中的推荐问题。

他们从用户的行为历史中构建了一个项目图,并用提出用图嵌入算法来学习图中嵌入的项目,从而得到一个基于计算相似性得到的项目集;在图嵌入算法方面,在Base Graoh Embedding(BGE)的基础上,他们提出Graph Embedding with Side Information(GES)算法,通过利用辅助信息来解决与其他商品联系较少的商品商品问题,并进一步提出了Enhanced Graph Embedding with Side Information(EGES),通过加权机制来实现对不同辅助信息的有效利用。此外,为实现十亿级别的用户和商品计算,他们将该图嵌入系统部署在了Xtensorflow(XTF)上。

SI代表辅助信息,“SI 0”位商品本身。在实际中,1)Spare features 常常是商品和不同辅助信息的one-hot-encoder向量集,2)Dense Embedding是商品的表示和相应的SI。3)Hedden representation 是一个商品和其对应的辅助信息的嵌入集。

原文:《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》

附:KDD2018 阿里巴巴其他方面的研究

腾讯在文本匹配和智慧医疗领域做了新的探索

1
腾讯-文本匹配

在文本匹配方面,Haolan Chen等人提出利用多通道信息交叉进行文本匹配模型MIX。

MIX融合了CNNs和注意力机制,通过提取多个粒度的特征得到MIX表示的文本片段,然后通过semetic information channel 和 structutal information channel(用作attention mechanism)进行文本匹配得到精确的匹配结果。

Step1:句子在不同的粒度被分割成不同的片段;

Step2:在attention units部分,通过提取语法信息来设计attention channels中的注意矩阵。

Step3:如图weighed channels 和2D-convolution部分所示,通过交叉局部匹配通道和注意通道,提取显著特征组合进行局部匹配。

原文:《MIX: Multi-Channel InformationCrossing for Text Matching》

2
腾讯-智能医疗领域

在智能医疗领域,芝加哥大学的Chenwei Zhang和腾讯的Yaling Li等人引入了一种生成式的视角来研究关系医学实体对发现问题,旨在在最小化数据需求的同时,扩大高质量而又新颖的结构化新医学知识的规模。

他们提出了Cnditional RelationshipVariational Autoencoder(CRVAE)模型,在没有复杂特征工程的情况下,通过单独地从不同纬度表达的实值对学习共性,该模型可以生成性的发现特定医疗关系下的实值对,并在模型编码的过程中获得关系增强的实值表示。

编码器接收关系医疗实值对和关系指示作为输入,通过训练来加强医疗实值对的表示,并编码对每一种医疗关系的不同种实值对表示,作为潜在空间。解码器进行共同训练,并重建实值对。

生成器与解码器结构相同,然而,它并没有重建输入中给出的关系医疗实体对,而是直接从学习到的潜在变量分布中抽取样本,为特定关系生成有意义的医疗关系。

原文:On the Generative Discovery of Structured MedicalKnowledge 

附:KDD2018 腾讯在其他方面的研究

百度在城市活动方面进行了一些研究

1
百度-实时停车

百度的Yuecheng Rong等人提出了基于时间和空间大数据的实时停车可用性方案Du-Parking。他们提出了一种基于DNN的学习方法(Du-Parking),它由三个主要部分组成,分别建模速度、时间和一般影响,通过利用在线传感器以及多种数据库的结合并对时间和空间特征有区别的处理,来提供实时停车可用性信息。

Grid Computing:该组件是一个离线分布式系统,主要为三种功能:

(1)基本静态特征提取:POI相关特性被从百度地图的数据仓库中提取出来用于训练和预测。

(2)sample processing: 系统将每30分钟从百度地图获取的实时停车场占用数据转换为标记样本数据。存储在数据库中的示例数据,用于离线学习和评估。

(3)模型训练:训练数据集由带标签的样本数据和所有由静态特征和动态特征组成的特征生成。该模型分别针对每个POI类别进行了训练。

Reaktime streaming computation: 一个实时处理地理位置坐标、导航数据的流计算系统。系统获取地理坐标和导航轨迹,并将每个坐标映射成一个地理网格索引。然后将映射的数据存储在内存数据库中进行在线预测。

Online service: 通过获取POI相关特性,从数据库检索实时位置和导航轨迹,将所有特性融合成一个单一的特征向量,通过训练的模型预测停车可用性水平。

原文:Du-Parking: Spatio-Temporal Big Data Tells You Realtime ParkingAvailability 

2
百度-城市中人的活动

百度的Ying Sun等人提出通过Region-of-Interest来研究城市中人的活动,并通过对在线地图查询日志中大规模数据的挖掘提出了一套系统性的研究方法。

他们首先将城市地区分成小的网格区域,然后通过提取查询数据中区域网格之间的流动量形成一个转移矩阵,然后通过PageRank算法计算出每个网格的流行度,并进一步利用密度算法对网格进行聚类以检测ROIs。

在第二个任务中,我们设计了一个时空潜在因子模型URPTM,用于为ROI访问者发现潜在的遍历主题。在模型中,考虑每个ROI。

在第二个任务中,设计了一个时空潜在因子模型URPTM,用于发现ROI访问者潜在的旅游主题。在模型中,每个ROI都被看作是一个文档,而地图查询中的时间、原点和POI标记则被看作是单词。在学习模型后,我们可以得到每个ROI的访问者的时空偏好,这可以用于很多应用,比如旅游需求分析和目标ROI分割。

原文:Exploring the Urban Region-of-Interest through theAnalysis of Online Map Search Queries 

附:KDD2018百度在其他方面的研究

分享干货

50年间,中国各省学者数量是如何变化的?

AMiner发布《人工智能芯片研究报告》

想要一首属于自己的诗吗?让“九歌”来实现你的诗人梦

CNCC2018技术论坛|6场报告引爆“认知图谱与推理”现场

CNCC2018|图灵奖获得者Robert E.Kahn谈“数字对象与互联网发展”

总奖金160000,2018开放学术数据挖掘大赛开赛,等你来领取

【领取福利】赠送Yoshua Bengio签名书籍《Deep Learning》中文版

学术头条

发掘科技创新的原动力

(0)

相关推荐