结合注意力CNN与GNN的信息融合推荐方法*钱忠胜,    赵    畅,    俞情媛,    李端明(江西财经大学 信息管理学院, 江西 南昌 330013)通信作者: 钱忠胜, E-mail: changesme@163.com摘　要: 稀疏性问题一直是推荐系统面临的主要挑战, 而信息融合推荐可以利用用户的评论、评分以及信任等信息发掘用户的偏好来缓解这一问题, 从而为目标用户生成相应的推荐. 用户、项目信息的充分学习是构建一个成功推荐系统的关键. 但不同用户对不同项目有不同的偏好, 且用户的兴趣偏好及社交圈是动态变化的. 提出一种结合深度学习与信息融合的推荐方法来解决稀疏性等问题. 特别地, 构建了一种新的深度学习模型——结合注意力卷积神经网络(attention CNN) 与图神经网络(GNN) 的信息融合推荐模型ACGIF. 首先, 在CNN中加入注意力机制来处理评论信息, 从评论信息中学习用户和项目的个性化表示. 根据评论编码学习评论表示, 通过用户/项目编码学习评论中用户/项目表示. 加入个性化注意力机制来筛选不同重要性级别的评论. 然后, 利用GNN来处理评分和信任信息. 对于每个用户来说, 扩散过程从最初的嵌入开始, 融合相关特性和捕获潜在行为偏好的自由用户潜在向量. 设计了一个分层的影响传播结构, 以模拟用户的潜在嵌入如何随着社交扩散过程的继续而演变. 最后, 对前两部分得到的用户对项目的偏好向量进行加权融合, 获得最终的用户对于项目的偏好向量. 在4组公开数据集上, 以推荐结果的MAE和RMSE作为评估指标进行了实验验证. 结果表明, 与现有的7个典型推荐模型相比, 本文模型的推荐效果和运行时间均占优.关键词: 推荐系统; 注意力机制; 卷积神经网络; 图神经网络; 信息融合中图法分类号: TP391中文引用格式: 钱忠胜,   赵畅,   俞情媛,   李端明.   结合注意力CNN与GNN的信息融合推荐方法.   软件学报.http://www.jos.org.cn/1000-9825/6405.htm英文引用格式: Qian ZS, Zhao C, Yu QY, Li DM. Information Fusion Recommendation Approach Combining Attention CNN andGNN. Ruan Jian Xue Bao/Journal of Software (in Chinese). http://www.jos.org.cn/1000-9825/6405.htmInformation Fusion Recommendation Approach Combining Attention CNN and GNNQIAN Zhong-Sheng, ZHAO Chang, YU Qing-Yuan, LI Duan-Ming(School of Information Management, Jiangxi University of Finance and Economics, Nanchang 330013, China)Abstract:  The  sparsity  has  always  been  a  primary  challenge  for  recommendation  system,  and  information  fusion  recommendation  canalleviate this problem by exploiting user preference through their comments, ratings, and trust information, so as to generate correspondingrecommendations  for  target  users.  Full  learning  of  user  and  item  information  is  the  key  to  build  a  successful  recommendation  system.Different users have different preferences for various items, and users’ interest preferences and social circle are changeable dynamically. Arecommendation method combining deep learning and information fusion is proposed to solve the problem of sparsity. Particularly, a newdeep  learning  model  named  information  fusion  recommendation  model  combining  attention  CNN  and  GNN  (ACGIF  for  short),  isconstructed. First, attention mechanism is added to the CNN to process the comment information and learn the personalized representationof users and items from the comment information. It learns the comment representation based on comment coding, and learns the user/itemrepresentation in the comment through user/item coding. It adds personalized attention mechanism to filter comments with different levelsof importance. Then, the rating and trust information are processed through the GNN. For each user, the diffusion process begins with the  *  基金项目: 国家自然科学基金(61762041); 江西省自然科学基金(20181BAB202009); 江西省教育厅科技重点项目(GJJ180250)  收稿时间: 2020-08-17; 修改时间: 2020-12-13, 2021-06-03; 采用时间: 2021-06-28软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cnJournal of Software [doi: 10.13328/j.cnki.jos.006405] http://www.jos.org.cn©中国科学院软件研究所版权所有. Tel: +86-10-62562563网络首发时间：2022-11-15 09:30:21网络首发地址：https://kns.cnki.net/kcms/detail/11.2560.TP.20221113.1129.010.htmlinitial  embedding,  combining  the  relevant  features  and  the  free  user  potential  vectors  that  capture  the  potential  behavioral  preferences.  Alayered influence propagation structure is designed to simulate how the user’s potential embedding evolves as the social diffusion processcontinues.  Finally,  the  preference  vector  of  the  user  for  the  item  obtained  from  the  first  two  parts  is  weighted  and  fused  to  obtain  thepreference  vector  of  the  final  user  for  the  item.  The  MAE  and  RMSE  of  the  recommended  results  are  employed  as  theexperimenalevaluation  indicators  on  four  public  data  sets.  The  experimental  results  show  that  the  proposed  model  has  betterrecommendation effect and running time compared with the existing seven typical recommendation models.Key words:  recommendation  system;  attention  mechanism;  convolutional  neural  network  (CNN);  graph  neural  network  (GNN);information fusion 1   引　言近年来, 推荐系统几乎在各个行业均有广泛的应用. 推荐系统根据用户需求、兴趣等, 通过推荐算法从海量数据中挖掘出用户感兴趣的项目, 并将结果以个性化列表的形式推荐给用户. 个性化推荐是机器学习在电子商务等领域的关键应用之一[1,2]. 许多系统使用协同过滤(collaborative filtering, CF) 方法[3]来进行推荐. 尽管在推荐领域已经出现了许多推荐算法, 但仍然存在一些众所周知的问题, 如数据稀疏性和冷启动等. 对于这些问题, 很多学者提出通过深度学习[4−6]或者信息融合[7−9]的方式来帮助建模用户和项目, 如卷积神经网络(convolution neuralnetwork, CNN), 注意力机制, 图神经网络(graph neural network, GNN), 评论、评分和信任[10,11]或者地理上下文等方面.尽管现有的研究提出了信息融合或者深度学习用于推荐的不同方法, 但这些推荐算法仍然存在几个关键问题[12]. 首先, 它们大多采用浅层模型对评分、信任等信息进行建模, 忽略了数据间的高阶交互. 如何利用深度学习模型从多种信息中学习表示来进行推荐是一个难点问题. 其次, 一些模型只融合了一两种信息, 面临着数据稀疏问题, 这可能会限制算法的改进, 使利用深度模型从评分、信任等数据中学习高阶信息变得困难. 最后, 还有一个挑战就是数据稀疏的问题. 一些学者使用基于内容的推荐[13,14]或者混合推荐来缓解数据稀疏问题, 但其存在特征提取困难等问题. 通过对真实世界数据的分析, 我们发现评论信息不仅能够体现项目的属性, 而且还能够表达用户的兴趣. 基于以上所述, 我们决定引入评论信息来解决这个问题. 相对于不使用评论信息的模型来说, 通过深度神经网络从用户对物品的评论信息中挖掘用户偏好信息, 再结合评分和信任信息, 可以提取到更多的有效特征表示.为了同时考虑多种数据信息, 并进行有效地融合, 本文提出了一种结合注意力CNN与GNN的信息融合推荐模型ACGIF (information fusion recommendation model combining attention CNN and GNN). 在这个模型中, 尝试从两个角度对用户偏好进行建模: 基于评论信息的表示、基于评分和信任数据的表示. 该模型在CNN中加入注意力机制来处理评论信息, 通过GNN来处理评分和信任信息. 对于前两部分得到的用户对项目的偏好向量进行加权融合, 得到最终的用户对于项目的偏好向量. 该模型可充分利用文本评论信息, 结合稀疏的评分矩阵和信任矩阵, 对输入进行更有效的初始化, 从而有效改善了数据稀疏等问题[15]. 此外, 该模型将多种数据信息通过深度学习模型进行有效融合, 这也是本文提出的模型与目前已有典型模型的较大区别.为解决存在的信息融合少以及模型层次浅的问题, 实现数据间的高阶交互, 从多个方面对现有的模型进行了改进. 主要做了如下工作:(1) 提出了一个新的深度学习模型——结合注意力CNN与GNN的信息融合推荐模型ACGIF. 这个模型综合考虑用户和项目两方面, 从评分、信任和评论数据中学习用户偏好, 实现了信息融合.(2) 在CNN中加入注意力机制来处理评论信息, 从评论信息中学习用户和项目的个性化表示, 能够筛选不同重要性级别的评论.(3) 利用GNN来处理评分和信任信息, 设计了一个分层的影响传播结构, 以模拟用户的潜在嵌入如何随着社交扩散过程的继续而演变.(4) 在4个数据集上展开实验来比较本文模型和其它7种典型推荐模型. 结果表明, ACGIF 模型更优, 可更好地利用用户之间的信任信息以及用户对项目的评论信息, 在面临数据稀疏问题时效果更佳.2  软件学报  ****年第**卷第*期本文第2节介绍了深度学习与信息融合的相关工作, 包括CNN、注意力机制、GNN, 以及评论、评分、信任等信息. 第3节介绍了多种数据信息分析以及深度学习模型, 提出了一种结合注意力CNN与GNN的信息融合推荐模型ACGIF, 构建了该模型的整体框架. 第4节展开实验并分析讨论了实验结果对比情况. 第5节是全文总结以及下一步工作.  2   相关工作这一节主要从两个方面对ACGIF模型的相关工作进行讨论, 分别是基于深度学习(主要包括CNN、注意力机制、GNN) 的推荐和基于信息融合的推荐.  2.1   基于深度学习的推荐近几年, 深度学习技术在计算机视觉和自然语言处理领域得到了迅速发展, 同时也带来了一个问题: 怎样把深度学习技术引入到推荐系统中. 如今人们对这个问题的关注度越来越高, 在推荐系统领域, 该问题也已成为一个热点话题.针对该问题, 人们已经做了大量工作[4,6,12,15−17], 大致可以分为3类, 分别是: 基于CNN的方法、基于注意力机制的方法以及基于GNN的方法.Kim等人[6]提出卷积矩阵因子分解模型ConvMF. 该模型通过CNN来得到项目描述文本中的上下文信息, 进一步提升了评分预测精度. ConvMF解决了词袋模型的局限性, 能同时利用评分和项目描述文档将CNN整合到PMF中, 有利于提升推荐系统的准确性. 但是, ConvMF模型中只考虑CNN来处理文本信息, 模型较为单一.Huo等人[15]提出卷积降噪自编码器-矩阵分解模型CDA-MF, 其使用CNN模型处理文本辅助信息, 同时将结果结合其对应的用户或项目向量, 一同输入DAE中, 生成用户或项目的密集估计. 该模型可充分利用文本辅助信息, 结合稀疏的评分矩阵, 对输入进行更有效地初始化操作. 但是CDA-MF模型没有考虑信任信息, 无法有效利用用户之间的关系来进行更加准确的推荐.Lu等人[18]利用基于注意力的循环神经网络从评论中提取主题信息, 并将文本特征集成到概率矩阵分解中以提高推荐性能. Liu等人[19]提出了分层个性化注意力模型(NRPA), 从评论文本中学习用户和项目的个性化表示.该模型主要包含3部分, 分别是用户网络、项目网络以及评分预测模块. 通过注意力模型的加入, 可以重点学习有效评论, 提高效率. 但是NRPA模型没有考虑用户之间的信任信息, 推荐精度有待提高.最近, Kipf 等人[20]设计一种用于图数据半监督学习的图卷积网络GNN, 该网络受到谱图卷积网络[21−23]的启发. GNN的核心思想是以一种信息传递或信息扩散的方式生成节点嵌入的图形, 以更低的计算成本改进基于光谱的模型.Wu等人[24]提出深度影响传播模型(DiffNet) 来建模社交推荐中的递归动态社交扩散过程. 主要设计了一个layer-wise影响扩散部分来建模用户的潜在偏好如何被他信任的用户递归地影响. 他们在DiffNet 的基础上提出了基于神经影响和兴趣扩散网络的社交推荐模型(DiffNet++)[25]. 该模型不仅考虑用户-用户社交网络, 同时考虑用户-项目兴趣网络, 通过设计GNN和多层注意力网络来更好地学习用户、项目的潜在表示.这些深度模型可以在一定程度上提高推荐的性能. 然而, 上述相关工作大多数利用深度模型仅从一两种等少数信息中学习表示, 比如: 评论、评分以及信任等. 实际上, 已经有许多工作被提出从不同方面来学习多种特征[7−9].  2.2   基于信息融合的推荐近年来, 信息融合推荐算法在提高推荐质量方面显示出了巨大的潜力.戴琳等人[7]提出一种新的餐馆推荐模型RRMIF. 该模型考虑时间、地理、餐馆以及用户等信息, 采用K-means聚类方法将一天分为4个时间段, 基于地理上下文、餐馆属性信息构建了两种餐馆相似关系矩阵, 基于用户人口统计信息构建了用户相似关系矩阵, 从而对用户产生餐馆推荐列表.李琳等人[8]提出融合评分和评论的推荐模型DTMF. 该模型同时将用户和商品的评论文本的潜在主题与矩阵钱忠胜 等: 结合注意力CNN与GNN的信息融合推荐方法 3分解的潜在因子进行映射, 进而进行参数的求解.吴宾等人[9]致力于整合多源异构数据来实现数据价值最大化, 通过为不同数据选择不同的建模方