计  算  机  学  报  2019 年 Keywords  geographical location; mobile recommender systems; datasets; evaluation methods; evaluation metrics; evaluation architecture 1  引  言 近年来,随着智能手机、传感器、无线通信、物联 网 以 及 大 数 据 等 技 术 的 快 速 发 展 , 移 动APP(Application)得到广泛应用[1-5],基于位置的移动推荐系统越来越受欢迎,如旅游推荐系统[6]、影视推荐系统[7]、餐馆推荐系统[8]以及社交媒体推荐系统[9]等.该类推荐系统目标是在任何时间和任何地点向用户推荐合适的项目,让用户随时随地都能享受到大量的移动服务,如景点推荐服务、电影推荐服务、活 动 推 荐 服 务 等[10]. 其 形 式 化 定 义 可 描 述 为:®´´RLIUF ,其中 F 表示基于位置的移动推荐系统模型函数, },,,,{||321 U=uuuu U L 表示用户集合, },,,,{||321 I=iiii I L 表示项目集合, },,,,{||321 L=llll L L表示用户的位置集合, },,,,{||321 R=rrrr R L 表示被推荐项目的有序集合.依据软件工程的思想,不论是哪类软件在投之于使用之前都需要进行评测和审核,这是软件生命周期中极其重要的环节,基于位置的移动推荐系统自然也不例外.而且,效用评价已成为设计、实现和优化基于位置的移动推荐系统过程中不可缺的环节,其基本评价过程如图 1 所示[11].  图 1   推荐系统效用评价过程 由图 1 可知,评价基于位置的移动推荐系统主要涉及到评价方法的选择、评价指标的确定以及数据集的筛选等任务.并且,效用评价是基于位置的移动推荐系统层次化框架中非常重要的一层[12],该层的基本功能是当把推荐结果展现给用户时,通过结合用户显式或隐式反馈信息,利用准确度、满意度、实时性等评价指标来有效评测其性能优劣以及发现其存在的问题,并根据具体需求对它进行扩展、完善和改进.而且,在不同上下文环境中基于位置的移动推荐系统性能有着较大差别,甚至在相同环境下使用不同的推荐算法或模型,所获得的推荐结果也不相同.因此,如何恰当并有效地评价基于位置的移动推荐系统性能,这已成为当前移动推荐服务研究中一项重要任务[13]. 目前,面对众多不同类型的移动推荐系统,国内外不同研究人员或机构采用不一样的效用评价方案.文献[14]使用问卷调查方式来评价基于上下文感知的移动推荐系统原型(ReRex),虽然得到了用户真实评价结果,但参与人员和时间有限,评价结果具有一定的局限性.文献[15][16]中 Yin 等人采用离线的方式来评测所构建的推荐模型和 POI(Point of  Interest)推荐系统,虽然方便快捷,但没有用户真正参与,不能获得真实用户评测结果,自然不能准确反映用户真实情况.文献[17]构建了位置和时间感知的社会协同检索模型(LTSCR)来实现连续 POI推 荐 任 务 , 并 采 用 离 线 的 方 式 在 Gowalla 和Brightkite 数据集上对 LTSCR 的进行评测,实验结果 表 明 不 论 是 准 确 率 和 召 回 率 指 标 还 是MRR(Mean  Reciprocal  Rank)指标,该模型都优于现已 有 的 模 型 ( 如 POP 、 POP+LR 、 PMF+LR 和FPMC+LR),但该模型未涉及到其它影响因素(如文本内容信息),其推荐准确率较低.文献[18]使用所提出的概率实体推荐方法开发了一个位置时间感知的移动推荐系统(easylife),并通过主客观结合方式来评估其性能,实验表明该系统能有效地为用户探索和发现当前所在位置的周围实体类型(如餐厅、酒店等)及实体(如我爱寿司、我喜欢住如家酒店等),但该文献只考虑了用户-地点-时间因素,而未考虑用户的社会关系等其它因素,其推荐的满意度不是很高.文献[19]提出一个通用的推荐系统框架,它足以包含到目前为止的每一个推荐系统,同时保持了它们具体特性,并使用一种通用方法以新的评价指标 r ()()(SevaSrr= , r 表示推荐系统性能指标, a 为常数, S 表示会话, Sev)(r为推荐项目的个数.)来评价这个通用框架范围内任何推荐系统性能(包括基于位置的移动推荐系统).这种方案虽然能评价目前所有的推荐系统,但评价指标过于单一(只有 ρ 指标),所以有待进一步改进和完善.由此可见,当前评价基于位置的移动推荐系统的方案已经很多,而且选择恰当的方法、指标和数据集来对它进行正确评价是必要的,这是基于位置的移动推荐系统进一步发展和推广非常重要的一步.因为只有性能良好的推荐系统才能被用户所接受,才能被广泛使用,其生命周期才会更长. 而且,通过查阅文献,发现目前已有学者对推荐计算机学报——————— 孟祥武,  男, 1966年生,  博士,  教授,博士生导师,CCF高级会员,主要研究领域为推荐系统、人工智能.E-mail: mengxw@bupt.edu.cn.  梁弼,男, 1982年生,博士研究生,副教授,主要研究领域为推荐系统、Web服务、智能信息处理.  杜雨露,男,1987年生,博士研究生,主要研究领域为推荐系统,智能信息处理. 张玉洁,女,1969年生,副教授,主要研究领域为智能信息处理、网络服务. 基于位置的移动推荐系统效用评价研究  孟祥武 1),2)   梁弼 1),2)   杜雨露 1),2)   张玉洁 1),2)  1)(智能通信软件与多媒体北京市重点实验室(北京邮电大学)   北京   100876) 2)(北京邮电大学计算机学院   北京   100876) 摘  要  近年来,基于位置的移动推荐系统已经成为个性化推荐服务研究领域热门课题之一.如何在有限数据集和用户数的情况下,采用恰当的评价方法和指标来有效评估推荐系统性能,这已成为移动推荐系统研究的关键任务.本文首先概括分析了基于位置的移动推荐系统效用评价在国内外的研究进展,并与传统推荐系统效用评价进行比较;然后重点从数据集、评价方法、评价指标三方面来对基于位置的移动推荐系统进行详细分析、比较和总结,并发现一些特殊的评价方法和评价指标;同时提出一种基于位置的移动推荐系统四层评价体系,它合理地将模型、数据集、评价方法、评价指标等有机结合起来,并恰当呈现出这些评价要素之间的相互关系;最后对基于位置的移动推荐系统效用评价有待深入研究的问题及发展趋势进行展望,并得出一些相关结论. 关键词  地理位置;移动推荐系统;数据集;评价方法;评价指标;评价体系 中图法分类号  TP18        A Survey of Evaluation for Location-based Mobile Recommender Systems MENG Xiang-Wu1),2)   LIANG Bi1),2)   DU Yu-Lu1),2)   ZHANG Yu-Jie1),2) 1)(Beijing Key Laboratory of Intelligent Telecommunications Software and Multimedia   (Beijing University of Posts and Telecommunications), Beijing 100876) 2)(School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876)  Abstract  Recently, location-based mobile recommender systems have become a hot issue in the research area of  personalized  recommendation  services.  The  key  task  of  mobile  recommender  systems  is  how  to  use appropriate evaluation methods and metrics to effectively evaluate the performance of recommendation systems in the limited datasets and the number of users. In this paper, we firstly summarize the advances of evaluation for location-based  mobile  recommender  systems  both  at  home  and  abroad,  and  compare  with  traditional recommender  systems.  Secondly,  we  analyze,  compare  and  summarize  location-based  mobile  recommender systems  from  three  aspects  of  datasets,  evaluation  methods  and  evaluation  metrics  in  detail,  and  find  some special  evaluation  methods  and  evaluation  metrics.  At  the  same  time,  we  propose  a  four-layer  evaluation architecture  for  location-based  mobile  recommender  systems.  It  reasonably  combines  models,  datasets, evaluation  methods,  evaluation  metrics,  etc.,  and  properly  presents  the  relationship  between  these  evaluation elements.  Finally,  the  problems  and  the  future  development  trends  of  evaluation  for  location-based  mobile recommender systems are discussed, and some related conclusions are drawn. 计算机学报 计  算  机  学  报  2019 年 置的移动推荐系统越来越流行,如组团旅游推荐系统[37]、组群活动推荐系统[38]等.基于位置的移动推荐系统不仅具有移动互联网位置服务的社会化、本地化和移动性等信息服务特征,而且能根据不同用户的个性化需求进行信息过滤和主动推荐,因此在国内外已经赢得广泛关注,许多知名公司、企业、研究机构及研究人员对此领域已经展开深入研究并产生了许多研究成果和产品,如目前国内外流行的Facebook,Fourquare,Yelp,Places,Gowalla,Twinkle, 大众点评,豆瓣,陌陌,遇见等,以及 Kaminskas 实现的基于位置的音乐推荐系统[39],Yang 等人构建的面向移动购物环境的位置感知推荐系统[40],Yin 等人实现的基于位置+内容感知的推荐系统(LCARS)和 POI 推荐系统等[15],  Colomo-Palaciosa 等人实现的考虑了社会化和上下文感知的移动旅游推荐系统[6],Fang等人开发的一种基于移动电话的室内购物移动推荐系统[41]等. 对这些新兴的基于位置的移动推荐系统效用评价,通过查阅最新文献,发现这些文献所使用的评价方法主要有客观评价(如离线评价)、主观评价(如在线评价)和主客观结合评价(如离线和在线相结合评价),常用的数据集有 Foursquare 数据集、Yelp 数据集、Gowalla 数据集、DoubanEvent 数据集和Twitter 数据集等,经常使用的评价指标有准确度、覆盖率、实时性和满意度等.如 Oppokhonov 等人通过使用准确率、召回率评价指标,在 Foursquare 和Gowalla 数据集上对所提出的基于当前位置的 POI推荐模型(CLB)进行离线评估,实验结果表明该推荐模型的性能优于基于 CF 的 POI 推荐模型,能显著改善 POI 推荐系统性能[42].而且,一些学者已提出一些新的评价指标和评价方法,如 Olmo 等人采用所提出的新评价方法和新评价指标来对通用推荐系统模板来进行评价[19].但目前仍然缺乏评价基于位置的移动推荐系统的一套评价体系. 2.3   二者效用评价的异同 通过上述分析,可以得出基于位置的移动推荐系统与传统推荐系统都缺少统一的评价体系,而且在效用评价策略方面有些是类似的,如某些评价方法和部分评价指标.但由于基于位置的移动推荐系统更为复杂,所以具体实施评价的细节不一样.同时,它们在评价时所考虑的侧重点也不一样,如基于位置的移动推荐系统不仅侧重于准确度更侧重于实时性,而传统推荐系统则一般侧重于准确度.并且,二者最为明显区别是所使用的数据集不一样,基于位置的移动推荐系统的数据集里必须含有相关的地理位置信息,而传统推荐系统就未必一定含有这些位置信息.它们总体的对比情况如表 1 所示. 表 1  效用评价比较 推荐系统  评价方法  评价指标  数据集 传统推荐系统 离 线 评 价 , 问 卷 调 查 , 在线评价. 准 确 度 , 覆 盖 率 , 多 样 性 , 新 颖 性 , 满 意 度 , 等. MovieLens 数 据 集 , Netflix 数 据 集 , Yahoo!Music 数据集 , Epinions 数 据 集 , BookCrossing 数据集, 等. 基于位置的移动推荐系统 客 观 评 价 , 主 观 评 价 , 主客观结合评价. 准 确 度 , 覆 盖 率 , 实 时 性 , 交 互 性 , 自 适 应性,  等. Foursquare 数 据 集 , Yelp 数据集,  Gowalla数据集,  Twitter 数据集,  DoubanEvent 数据集,  MobileServices 数据 集 ,  GeoLife  GPS Trajectories 数 据 集 , 等. 后续内容将从数据集、评价方法和评价指标三方面来具体综述和分析基于位置的移动推荐系统效用评价近年的研究状况,并对所提出的基于位置的移动推荐系统四层评价体系进行论述. 3  数据集 据理论分析与实验证明,数据集与推荐模型、评价方法及评价指标是相互关联的,不同类型的模型所需数据集、评价方法和评价指标可以不一样[43-47].譬如,POI 模型的数据集中必须含有地理位置信息,时空主题模型的数据集中需要时间和空间等信息.文献[16]中 Yin 等人在 Yelp 和 Foursquare 两个不同数据集上采用离线的方式来评测所设计的POI推荐模型(ST-LDA),并通过准确率指标与其它推荐模型(如 Geo-SAGE)进行比较,其实验结果表明该模型在这两个数据集上所得到的推荐准确率都比其它模型高.文献[43]中 Liu 等人在含有文本信息和地理坐标等信息的 Twitter US 数据集上对所设计的宏观时空主题模型(MSTTM)进行离线评测,通过计算准确率指标证明该模型在进行POI推荐时比其它类似模型(如 USTTM)都高一些. 而且,实验进一步证明不同数据集对模型的适合性不一样,其内容直接影响着模型的评测结果,即一般情况下,同一模型在不同数据集上对同一指标计算机学报 孟祥武  等：基于位置的移动推荐系统效用评价研究  5 的评价结果是不一样的.如文献[44]在 Twitter  NYC和 Gowalla NYC 数据集上对同一模型 USTTM 进行离线评测,其实验结果表明在 Gowalla  NYC 上所得到的准确率高于 Twitter NYC,这说明 Gowalla NYC数据集比 Twitter NYC 数据集更适合 USTTM 模型.文献[45]在Yelp和TripAdvisor数据集上对同一模型QPSO 进行离线评测,实验结果证明在 Yelp 上所得到的准确率高于 TripAdvisor,这说明 Yelp 数据集比TripAdvisor 数据集更适合 QPSO 模型. 并且,不同模型在不一样的数据集上进行评价,其所得的同一指标数值互有高低.譬如文献[46]采用NDCG 指标对所设计的两种模型 GeoMF++ 和GeoMF 分别在两个基于位置的社交网络数据集Gowalla 和 Jiepang 上进行评测,所得到的 NDCG 指标值总是GeoMF++高于 GeoMF,而且从NDCG指标值可得出 Gowalla 数据集更适合这两种模型.同样,文献[47]采用 Accuracy 指标对所提出的两种模型EW4和 W4在含有位置信息的两个数据集 Twitter 和GeoText 上进行评价,所得到的 Accuracy 指标值都是EW4高于 W4,这说明 EW4优于 W4.由此可得,不同推荐模型在不同数据集上所得到同一评价指标数值是不一样的,数据集的适合性在一定程度上决定了指标值的高低. 但以上所有模型都是在研发人员自己所设置的评测环境下进行,其评价结果具有一定的片面性.由此可得,数据集、推荐模型、评价方法及评价指标彼此之间互相影响,通过优化数据集内容以及增加数据集数量在一定程度上可以提高模型或系统的推荐准确率.而且,数据集在评价基于位置的移动推荐系统中起着非常重要的作用,对其进行综述是非常必要的,这能为研究人员或开发者在选择数据集时提供一定的参考价值和指导意义. 据查阅,随着移动通信网和移动互联网的发展已经催生了各种移动数据,它涵盖了移动终端、移动网络和应用服务产生的所有数据,数据中除了保存用户信息、项目信息、用户与项目间关联等信息外,最重要的还存储了相关的地理位置信息,这是评价基于位置的移动推荐系统所需数据集中必不可少的内容.而且,与传统网络数据相比,基于位置的移动数据具有许多显著的特性(如时效性强、位置可靠、类型多样以及数量庞大等),这些特性有利于基于位置的移动推荐服务研究与发展.但根据查阅,当前在基于位置的移动推荐系统中还没有公开可用的标准数据集,为了评估该类型的移动推荐系统,国内外许多研究者或机构已经收集了志愿者的真实数据或取得授权的用户数据[48]以及模拟生成的数据[49].真实数据集或用户数据集主要由电子商务网站和社交网站等移动网络站点来获取用户与项目交互数据,而模拟数据集一般是根据一些预定的规则来生成或基于部分真实数据进行扩展生成. 当前,用于评价基于位置的移动推荐系统的数据集有 Foursquare 数据集、Yelp 数据集、Gowalla数据集、Twitter 数据集、DoubanEvent 数据集、Jiepang 数据集、Reality 数据集、GeoLife 数据集、GPS 轨迹数据集、MobileServices 模拟数据集、中国移动应用商城数据集、MIT 数据集、洛桑数据集、Nodobo 数据集以及 WorldPop 数据集等[50-52],这些数据集都是公开可用,但非标准的.下面主要介绍几种国内外典型且常用的含有位置信息的数据集. (1) Foursquare 数据集.Foursquare 是当前流行的一个在线 LBSN(Location-based  Social  Network),它为开发人员提供一个公开可用的 LBSN 数据,截至2010 年 11 月,Foursquare 拥有 2000 万多个用户和约3500 万个签到记录.该网站本身没提供一个公共API(Application  Programming  Interface)来访问用户的签到数据,但它为用户提供一种替代方式,即用户可以将他们的 Twitter 帐户与 Foursquare 连接起来,并将签到消息作为 tweets 共享到 Twitter[53].文献[54]将搜集到的 Foursquare 数据划分为四类,第一类是用户基本信息,即用户 ID、姓名和住址等;第二类是场地基本信息,即场地 ID、名称、地址、GPS 坐标及其类别等;第三类是用户历史信息,由用户在系统中留下的所有点评 tips 来表示,且每个点评都与场地 ID、评论和时间戳联系在一起;第四类是用户社交关系信息,由用户 ID 组成.目前,该数据集已成为国内外使用最为频繁的 LBSN 数据集[55-56]. (2) Yelp 数据集:该数据集包含来自 4 个国家 10个城市的 366000 名用户和 61000 个 POI,包括英国的爱丁堡,德国的卡尔斯鲁厄,加拿大的蒙特利尔和滑铁卢,美国的匹兹堡、夏洛特、菲尼克斯、拉斯维加斯、香槟和麦迪逊.这里约有 157 万的签到记录,并且每个签到记录存储了用户的 ID,POI 的 ID,POI的位置,POI 的内容和签到日期.其社交网络中的每条记录都保存了用户 ID、好友 ID 信息,即社交关系信息,但此数据集不包含确切的签到时间,只提供粗略的签到日期[16,57].文献[58]使用该数据集来对所提出的空间主题模型(ST)进行评测,实验所得到的平均精准度指标比地理主题模型(GTM)至少提高计算机学报 孟祥武  等：基于位置的移动推荐系统效用评价研究  3 系统效用评价方面进行了综述.譬如朱郁筱在文献[20]中对传统推荐系统现有的评价指标(如准确度、覆盖率、多样性和新颖性等)进行多方面多角度综述,并对它们各自的优缺点及适用环境进行深入剖析,而且指出目前评价覆盖率的指标还不够成熟,并给出该评价指标应符合的几条标准以供参考,同时比较了用户间的多样性和用户内的多样性.但未对其它非传统推荐系统的评价指标进行综述,也未对与评价指标相关的数据集进行总结,因此该综述所论述内容不够全面.刘建国在文献[21]中从准确度和准确度之外的其它指标两方面来对传统推荐系统评价指标进行综述,总结了不同准确性度量指标(如预测准确度、分类准确度等)及它们各自的优缺点,介绍了多样性、覆盖率、流行性和意外性等其它指标,并指出这些指标存在的缺陷及未来改进方向.但未涉及到对数据集和评价方法的综述,所以其综述内容也不够完善.文献[22]专门对推荐系统中偶然性评价指标近来研究情况进行综述,但未对其它评价指标、评价方法及数据集进行综述.文献[23]从基于误差的度量(如 MAE、RMSE 等)和基于排名的度量(如准确率、召回率)来对评价推荐系统性能常用指标进行综述,但未涉及到其它方面的评价内容.文献[24]主要对时间感知的推荐系统中现有评价协议(评价方法和评价指标)进行全面综述,并提出该类推荐系统评价条件的形式化描述框架,但未对相关的数据集进行综述,因此该文献所综述内容不够完整. 由上述可知,目前关于推荐系统评价方面的综述内容都还不够全面,而且还没有学者专门对基于位置的移动推荐系统效用评价进行综述.因此,本文将从数据集、评价方法、评价指标这三方面来对基于位置的移动推荐系统效用评价进行分析、比较和总结,希望能为开发者或研究人员选择恰当的评价策略来评估基于位置的移动推荐系统提供参考,并希望能进一步促进移动推荐系统的发展,其结构安排如下:第 2 节对传统推荐系统和基于位置的移动推荐系统的效用评价进行总结和比较;第 3 节主要概述基于位置的移动推荐系统中常用的数据集;第 4节详细总结、分析和比较基于位置的移动推荐系统中主流的评价方法;第 5 节综述基于位置的移动推荐系统中通用的和特殊的评价指标,并对它们分类总结;第 6 节提出了基于位置的移动推荐系统四层评价体系原型结构;第 7 节分析目前研究中存在的问题和展望未来研究方向;最后对本文进行总结. 2  效用评价概述 近来,效用评价在国内外得到广泛的关注,而且传统推荐系统效用评价研究比较普遍,研究成果也较多.但基于位置的移动推荐系统效用评价研究相对晚一些,目前还处于初级阶段,其评价指标、评价方法及数据集都还不完善,且缺少统一的评价体系.以下对传统推荐系统和基于位置的移动推荐系统在效用评价方面进行概括性总结和比较. 2.1   传统推荐系统效用评价 传统推荐系统目前已经很常见,譬如在线电影推荐系统[25]、在线音乐推荐系统[26]、在线电视节目推荐系统[27]、在线图书推荐系统[28]、在线新闻推荐系统[29]、在线旅游推荐系统[30]、在线软件推荐系统[31]、在线科学引文推荐[32-33]以及各类社交网络等.目前,对这些传统推荐系统的效用评价研究较多,经典文献[19]描述了协同过滤推荐系统中一些基本的评价方法及指标.文献[34]专门综述了在推荐系统中多样性指标的定义、作用及相关算法等内容,并提出多样性指标未来的研究方向.文献[35]总结了推荐系统目前主要的评测方法有离线评测、问卷调查和在线评测.文献[11]使用两个不同大小的 MovieLens 数据集和一个 Jester 数据集来分别测试所提出的快速评价算法.从这些已有的研究来看,当前传统推荐系统效用评价已取得较多成果,比如成熟的评价指标有准确度、覆盖率、多样性和新颖性等,常用的评价方法有离线评价和用户调查,经常使用的数据集有MovieLens 数据集、Yahoo!Music 数据集、Netflix数据集、Epinions 数据集、BookCrossing 数据集和电子商务交易数据集等.总的来讲,目前传统推荐系统的评价指标及数据集已经非常丰富,评测方法比较成熟,并已经得到广泛应用.而且,随着研究的不断进行,一些学者或研究机构也提出一些新的评价方法或指标,如文献[36]采用一种集成的评价方法来对四种不同的 CF(Collaborative Filtering)方法(IBCF、UBCF、SVD 和 CBCF)进行评测,即对不同的准确度指标进行归一化处理后来评估不同的 CF 算法,通过在 MovieLens 数据集上进行实验,结果表明该方法可行且效果良好.但目前还缺乏评价传统推荐系统的评价体系. 2.2   基于位置的移动推荐系统效用评价 由于平板电脑、智能手机等移动设备广泛的使用,位置感知系统变得越来越普遍,进而使得基于位计算机学报 计  算  机  学  报  2019 年 300%. (3)  Gowalla 数据集 :Gowalla 是一个类似于Foursquare 的 LBSN,用户通过该平台可以与朋友、家人分享所见所闻,包括发现新的地方、活动、旅行线路等信息.目前,Gowalla 淡化签到功能,并向旅游和说故事的理念方向发展.Gowalla 数据集也是当前常用来评价基于位置的移动推荐模型的 LBSN 数据集,它包含 196591 名移动用户在 2009 年 2 月至 2010年 10 月期间,对 1280969 个 POI 的 6442890 条签到记录,以及 950327 条用户社交关系[59].文献[60]使用该数据集对所提出的具有多中心高斯模型的融合矩阵分解框架(FMFMGM)进行离线评价,实验结果表明FMFMGM的性能优于多中心高斯模型(MGM)至少 50%. (4)  DoubanEvent 数据集:DoubanEvent 是目前中 国 最大 的 一 个在 线 EBSN(Event-based  Social Network),通过该网站用户可以发布和参加各种社会活动.关于豆瓣活动,它是由用户指定某个活动在何时何地发生,其他用户可以通过在线签到方式来表达加入该活动的意图.此数据集截止目前已经包括 100000 个用户、300000 个活动和 3500000 个签到,而且大多数签到记录位于中国四大城市:北京、上海、广州和深圳[61].它采集数据时记录的信息主要有:1)用户信息,包括用户 ID、用户名和用户所在城市;2)活动信息,包括活动 ID、活动名称、活动经纬度、活动总结与活动分类;3)用户反馈信息,包括用户ID 和活动 ID;4)用户社交关系,包括多个用户 ID[62].文献[15]使用该数据集来对所提出的 LCA-LDA 模型进行离线评价,所得的评价指标 Recall 高于 LDA、IKNN 及 USG 等其它基准模型. 综合上述内容,表 2 列举了目前常用数据集Foursquare、Yelp、Gowalla 和 DoubanEvent 的使用情况. 表 2 常用数据集使用情况 数据集  文献  用户数  项目数  签到数  POI 数  社交关系数  推荐模型  评价方法  评价指标 Foursquare 文献[42]  1,034  --  204,428  16,365  --  CLB  离线评价  Recall, Precision 文献[55]  11,326  --  1,385,223  182,968  47,164  GSBPR  离线评价  Precision, Recall, NDCG, MAP 文献[56]  11,326  --  1,385,223  182,968  47,164  iGSLR  离线评价  Precision, Recall Yelp 文献[16]  366,000  --  1,569,264  61,000  --  ST-LDA  离线评价  Precision 文献[55]  70,817  --  335,022  15,579  303,032  GSBPR  离线评价  Precision, Recall, NDCG, MAP 文献[57]  30,367  --  146,456  25,728  --  DCPR  离线评价  Recall, Precision, F1-score Gowalla 文献[43]  5,363  --  327,198  4,500  --  USTTM  离线评价  Accuracy, Perplexity 文献[59]  196,591  --  6,442,890  1,280,969  950,327  CoRe  离线评价  Precision, Recall, Running time 文献[60]  53,944  --  4,128,714  367,149  306,958  FMFMGM  离线评价  Precision, Recall DoubanEvent 文献[15]  100,000  300,000  3,500,000  --  --  LCA-LDA  离线评价  Recall, F1-score 文献[61]  100,000  300,000  3,500,000  --  --  MLTRS  离线评价  MAP, Accuracy 文献[62]  100,553  19,708  1,596,235  5,202  1,163,403  GEM  离线评价,在线评价  Accuracy, Processing Time 从上表 2 可以看出,Foursquare、Yelp、Gowalla和 DoubanEvent 这四种常用数据集都适用于离线评价基于位置的移动推荐模型,且所适用的评价指标为 Recall、Precision 及 NDCG 等. 总的来讲,当前用于评价基于位置的移动推荐系统所需的数据集还没有特定的,只要数据集中包含有用户以前的历史位置信息即可.特别地,Yelp 数据 集 、 Foursquare 数 据 集 、 Gowalla 数 据 集 和DoubanEvent 数据集目前比较稳定可靠,它们已成为国内外研究者用来评价基于位置的移动推荐系统或模型的主流数据集.而且,这些数据集与推荐模型、评价方法及评价指标相互联系且互相影响,数据集的具体内容和数量将直接影响着推荐系统的评价结果. 4  评价方法 通过查阅大量最新文献,发现传统推荐系统效用评价方法一般划分为离线评价、在线评价和问卷调查,而基于位置的移动推荐系统效用评价方法目前主要有四种,即在线评价、问卷调查、离线评价和主客观结合评价.其中,在线评价需要用户亲自参与计算机学报 孟祥武  等：基于位置的移动推荐系统效用评价研究  9 用户以前一些与时序无关的地点位置数据,尤其是用户感兴趣的 POI 位置信息[72-73].Yin 等人在文献[15]中首先设置两类待查询城市的地点集合,一类是对用户来说是陌生的城市,另一个类是用户所居住城市.然后将用户历史活动数据划分为一个训练集和一个测试集,并且针对这两类待查询城市集合采用了两种不同的划分策略.对于第一类城市集合,文献[15]选择非本地城市用户访问过的所有空间项目作为测试集,使用其它城市用户的历史活动作为训练集;对于第二类城市集合则随机选择 20%本地用户访问的空间项目作为测试集,使用其余用户个人历史活动作为训练集.接着,根据所设计的数据划分方案来对所提出的推荐模型(LCA-LDA)和推荐算法(TA)进行具体训练和测试,并采用召回率指标来评测其推荐优劣且获得较理想结果.Yin 等人还在文献[16]中采用类似的评测方法来对所提出的时空主题模型(ST-LDA)和推荐算法(AP)进行训练和测试,并采用准确率指标来评测其推荐优劣且得到较高的准确率.同样,Yin 等人在文献[74]仍采用类似的评测方法来对所提出的推荐模型(JIM)进行训练和测试,也采用准确率指标来评估其推荐优劣且得到更准确的推荐结果. 除了 Yin 等人研究团队外,Chen 等人[75]为了评估所提出的在POI推荐中能自动调整权重算法的性能,通过在五个真实的数据集上进行离线评测,并计算出准确率、召回率和多样性三个指标,实验数据表明这种方法可以很好地平衡位置相关性和多样性两个因素,并能为用户提供更好的 POI 推荐.Gao 等人[76]通过在 Foursquare 数据集上对所提出的融合地理-社会信息的个性化 POI 推荐模型(GeoEISo)进行离线测试,并通过计算准确率和召回率指标来进行客观衡量,实验结果表明 GeoEISo 比目前其它 POI推荐模型具有更好的性能.Si 等人[77]在 Foursquare和 Gowalla 数据集上采用离线的方式对所提出的自适应 POI 推荐方法(CTF-ARA)进行评测,实验结果表明,相比于其它 POI 推荐方法,CTF-ARA 提高了POI 推荐的准确率和召回率.同样,Ying 等人[78]采用准确率和召回率评价指标在 Foursquare 数据集上对所实现的时间感知 POI 推荐系统进行离线评测,评测结果表明该系统的具有好的性能.Sang 等人[79]在超过 100K 实际签到记录和 20K POIs 来离线评测所提出的概率推荐的方法,并通过评价指标准确度和MAE 来权衡,实验结果证明了该方法的有效性.Yuan等人[47]采用基于地点的离线评价方式来评价为移动用推荐所建立非参数贝叶斯模型 EW4, 并在Twitter 和 GeoText 两个真实数据集上以预测精度(ACC)和平均误差距离(DIS)作为量化指标来与目前主流的模型(如 KL,TR,ST,HG,W4,EW4\T,EW4\w)进行对比实验,实验结果表明 EW4能更好地发现移动用户感兴趣的时空主题. 由此可见,基于地点的客观离线评价方法由于其简便、可靠等优点已经广泛应用于基于位置的移动推荐系统中,尤其是在评价目前流行的 POI 移动推荐系统中经常用到,而且数据集中的用户历史地点信息对评估所构建的基于位置的移动推荐模型起到非常重要的作用,它直接影响着推荐系统的最终推荐效果.但由于所使用的测试数据集有限,其评测结果具有一定的局限性,并且无用户亲自参与评测,因而不能很好地体现真实用户实际感受. (2)基于轨迹的评价 基于轨迹的客观评价所使用的数据集保存了用户一些与时序有关的 GPS 位置数据,这些数据记录了用户的历史轨迹信息[80].Lee 等人[81]使用TrafficPulse 和 GeoLife 中的历史轨迹数据,来离线对所提出的一种基于简化了的移动用户 GPS 轨迹数据的拼车推荐方法进行测试,实验结果表明该拼车方法能有效处理高容量的且详细的移动轨迹数据,它既能减少数据存储空间又能减少计算成本,且效率较高.Zheng 等人[82]将用户的历史位置和活动建模作为用户-位置-活动评级张量,使用 119 个用户大约 2.5 年的真实 GPS 数据集来客观离线评估所提出的三种基于协同过滤的算法(即 CLAF,PCLAF 和RPCLAF),并计算出相应的均方根误差(RMSE)和ROC 曲线下的面积(AUC)度量指标,测试数据表明三种算法优于目前主流算法(如 AF),并且 RPCLAF算法优于其他两个算法,能实现更准确的个性化移动推荐.Yoon 等人[83]使用 125 名用户从 2007 年 5 月到 2009 年 8 月的 17745  GPS 轨迹数据来离线评估所提出的旅程推荐方法,评估结果表明该推荐方法比其它方法更为有效.Shafique 等人[84]根据用户在兴趣区域(ROI)的停留时间、频率和转折点等历史轨迹,提出一个贪婪近似方法为每个 ROI 找到最流行的路径推荐给移动用户,并在Flickr数据集上进行离线 测 试 以 证 明 该 方 法 的 有 效 性 . Rodríguez-Hernández 等人[85]使用 DataGenCARS 生成的数据,采用离线的方式对所构建的基于轨迹和用户偏好的博物馆艺术品推荐系统进行测试,并计算出平均绝对误差(MAE)评价指标值,其值较小且计算机学报 孟祥武  等：基于位置的移动推荐系统效用评价研究  7 系统的评测,而且人力、物力和时间成本需求较高.问卷调查和在线评价一样也需要用户参与,但比在线评价风险性低一些.由于在线评价和问卷调查主要由用户当时的主观臆断来决定,只是具体实施细节不一样,因此本文将二者归于主观评价方法.离线评价无需真实用户参与,没有用户的主观判断在里面,并能以较低的成本对大量推荐算法或模型进行有效评估,它由算法或模型本身及硬件环境来客观决定,因此本文将其称为客观评价方法.主客观结合评价方法则是主观评价和客观评价的有机结合,它能充分利用主观评价和客观评价二者的优点来评测推荐系统,进而获得更好更可靠的评测结果,而且该方法是目前较为新颖的一种方法. 4.1   主观评价方法 主观评价是目前基于位置的移动推荐系统中常用的一种评测方法.尽管它会受到用户性格、年龄、心情、个性、健康甚至敏感性的影响,但它能直接体现用户使用推荐系统的真实感受,且评测结果具有一定的参考价值,所以已成为现在产业界主流一种评测方法.当前基于位置的移动推荐系统常用的主观评价方法有两种,即在线评价和问卷调查. (1)在线评价 在线评价实际上是设计在线用户实验,根据用户在线实时反馈结果来评测推荐系统的性能,其基本评测过程如图 2 所示  图 2   在线评价基本过程 目前常用的在线评价方法主要是 A/B 测试,其基本核心思想是:1)多个方案并行测试;2)每个方案只有一个变量不同;3)以某种规则优胜劣汰[20].从第2 点可以看出 A/B 测试只适合单变量的应用范围,所以当A/B测试应用于基于位置的移动推荐系统的评价中就只对应唯一变量——推荐算法或模型.同时,A/B 测试名字中虽然只包含 A、B 两个方案,但并不是只用于比较两个不同方案优劣,实际上可以设计多个方案来进行测试,如 A、B、C、D 测试. Takeuchi 等人[63]设计了最早在移动推荐中考虑位置的推荐系统-CityVoyager,它用来为用户推荐在东京购物的地方.该系统设计在当时是创新的,但只邀请两个用户来评估此推荐系统,所以评估结果不具有普遍性和可靠性.Bao 等人[54]实现了一个基于位置和偏好感知的移动推荐系统,该推荐系统不仅方便人们出行他们所在的城市也适合出行新的城市.他们通过邀请纽约和洛杉矶两个城市的 200 名用户来对该推荐系统进行在线评测,结果证明该推荐系统效率快,用户满意度高.Kaminskas 等人[39]采用用户主观在线评测方式来评估音乐与 POIs 的真实相关性,进而实现基于位置的音乐推荐.由于用户在一次评测期间不能进行大量的判断,所以他们限制了数据集大小,只包括来自欧洲 17 个大城市旅游景点的 25 个著名的 POIs,进而保证用户每一次评估是正确合理的.Wu 等人[64]邀请零售店主、手机用户以及软件开发专家采用在线的方式对所实现的移动短消息广告推荐系统(LARSMA)进行其有用性、易用性和隐私等方面评测,并收集他们的反馈信息然后对 LARSMA 进行改进和完善. Hagen  等人[65]对 421 名真实游客是否使用基于位置的旅游推荐系统来寻找旅游目的地进行现场测试.其中 142 名年龄为 50 左右岁的游客使用一个旅游推荐系统(DTG Explorer),137 名年龄为 48 岁左 右 的 游 客 使 用 另 一 个 旅 游 推 荐 系 统 (DTG Planner),而 142 名 54 岁左右的游客则通过传统信息手段来寻找目的地,但携带了 GPS 记录器来跟踪他们的行踪.通过对这三组人群进行现场测试,实验结果表明,与 GPS 记录器跟踪的人群相比,两个移动推荐系统通过提供一种非常类似于传统导游的体验而获得很高的接受度,而且游客发现的景点数多了四倍,在景点观赏时间也延长两倍,测试结果证明游客对两个移动推荐系统的满意度很高.Arana-Llanes等人[66]使用不同技术组合形成一种以用户为中心的基于位置的移动推荐系统评价方法,并使用该方法对所实现的上下文移动推荐系统(CARS)的可信度、满意度进行测试.Noguera 等人[67]招募 27 名测试人员(其中男性 19 名,女性 8 名,年龄在 24 岁到48 岁之间,平均年龄为 30 岁)来对所实现的三维上下文感知的移动推荐系统进行可用性在线评测,并取得好的评测结果. 由此可见,在线评价方法因具有及时响应、用户交互性强、能直接获得用户对基于位置的移动推荐系统的满意度、惊喜度和新颖性等优点而被一些研究人员所采用.但由于从设计实验到实施实验的整计算机学报 计  算  机  学  报  2019 年 个过程需要投资较高的成本,且周期较长,所以大部分研究者较少使用在线评价方法来评测基于位置的移动推荐系统,而产业界使用相对多些. (2)问卷调查 问卷调查方式也需要真实用户参与到基于位置的移动推荐系统的评测,在推荐系统上完成相应的任务,通过他们的行为记录,并与他们进行恰当沟通,可以获得关于移动推荐系统有关推荐质量方面的宝贵信息.当然,参与评测的用户不能随便选择,应尽量保证评测用户的分布与真实情况相接近(如男女各半),年龄段、活跃度、敏感度与现实要尽量相当.其实施的基本过程如图 3 所示.  图 3 问卷调查基本过程 Braunhofer 等人[68]通过对 30 名真实用户且年龄在 18-34 岁的学生、同行、同事和运动员进行问卷调查,通过回答 10 个调查问卷来对所实现的移动POI 推荐系统(STS)进行可用性评估和分析,评估结果表明该系统的总体可用性处于“好”和“优”之间,满足了当前用户的需求.Chen[69]使用问卷调查和深入访谈的方式对所实现的基于位置的智能手机图书推荐系统(IMLBRS)进行评测,并对不同类型参与者设置不一样的问题,评测结果令人满意.Liu 等人[9]利用一些上下文感知的知识来评测移动推荐系统 RexRex 的用户满意度,并用 16 个可行的问题来进行问卷调查.实验结果表明,尽管问卷调查的评测人员数量有限,但与没有上下文感知因素的移动推荐系统相比,所开发的此移动推荐系统获得更高的用户满意度.Horowitz 等人[70]从用户感知的有用性和易用性等多方面出发,采用问卷调查方式来对所开发的上下文感知移动推荐系统(EventAware)进行评估,结果表明 99.3%用户对本系统表示满意.Meng等人[71]同样采用问卷调查的方式对所提出的基于POI 类别的旅程推荐方法进行满意度测试,测试结果表明用户满意度平均达到 80%. 由此可见,用户调查评价方式可以更多地获得用户主观感受指标(如满意度、易用性以及有用性等),而且相对在线评价风险性偏低.但其缺点是召集测试用户成本较高,并且测试过程中用户的行为也有可能与真实环境不一致,所以会出现测试过程中收集到的用户行为在真实环境中无法再现的可能性.虽然问卷调查存在这些缺点,但它是一种比较简单且实用的主观评价方式,所以在基于位置的移动推荐系统评价中经常采用. 综上所述,主观评价的两种方法即在线评价和用户调查各有其优缺点,但它们能有效反映出真实用户对推荐系统经实际体验后的感受,如满意度、稳定性、有用性和易用性等,因此二者目前已被产业界、研究机构用来评价基于位置的移动推荐系统.但它的样本较少、成本太高而且不稳定,并存在一定的主观性、偏见性和危险性,所以如何更经济、更可控、更合理、更可靠地来评价基于位置的移动推荐是主观评价未来研究关键问题. 4.2  客观评价方法 目前基于位置的移动推荐系统主流客观评价方法是离线评价.所谓的离线评价是指根据待评价的基于位置的移动推荐系统在测试数据集上的表现,然后依据计算出来的评价指标来衡量推荐系统的质量,其基本过程如图 4 所示.  图 4   客观离线评价基本过程 离线评价方法其实是源于机器学习和信息检索,即把数据集划分为训练集和测试集,在训练集上构建推荐模型,然后在测试集上测试推荐模型的性能,并且常采用的离线测试方法是 k-折交叉验证[21].总的来看,离线评价主要有三个环节:数据的收集、数据集的划分以及评价指标的选择.其中,收集的用户数据应该与用户在实际移动推荐系统上的数据要足够相似,即就是以后用于离线实验的数据集要与未来部署后的系统所产生的数据要尽量接近.数据划分方式目前常用的是随机划分,而离线评价指标主要有准确率、召回率、实时性和多样性等. (1)基于地点的评价 基于地点的客观评价所使用的数据集存储了计算机学报  孟祥武  等：基于位置的移动推荐系统效用评价研究  11 才能得到主客观结合评价的最终结论,至此主客观评价才结束. 文献[86]较早地使用主客观结合评价方式来评测所构建的移动 Web 个性化搜索系统,并取得了好的测试结果.文献[40]首先通过志愿者的主观评价,来判断所开发的面向移动购物环境的位置感知推荐系统所提供的服务是否满足移动用户的需求,然后在客观测试时要求移动用户对学习得到的每项移动用户偏好进行满意度评价,通过最终的满意度来判断该推荐系统是否能很好地满足移动用户需求,这有效地增强了满意度指标的可靠性.Sang 等人在文献[87]采用主客观结合评价方式对所开发的一个基于本地的移动推荐应用程序进行评估,客观地计算了该推荐系统的 Top-N 准确度和平均绝对误差(MAE),并邀请 12 名参与者来亲身体验该系统并做出主观评价.Amoretti 在文献[88]首先通过模拟数据和真实数据来分别对所实现的智能移动推荐系统(UTravel)进行准确度评估,主要涉及准确率、召回率和 F1 评价指标计算,然后采用问卷调查的方式邀请20 名用户在大约 3 周内对安装在他们手机上的UTravel 进行可用性主观评价,并获得了满意的评测结果. 综上可得,主客观结合评价的总体思路是,先通过客观离线评价分析比较不同推荐模型在某些指标上的性能,快速过滤掉评测结果不好的推荐模型,并留下较优的候选模型,然后采用在线评价进一步评测和调优候选模型获得更好的推荐结果.由此可见,主客观结合评价方式能恰当利用主观评价评价和客观评价的优势,使其对基于位置的移动推荐系统评测更准确合理.它是目前较理想的评价方法,也是比较新颖的一种方法,但其过高的成本使它在具体应用中使用较少,而且目前对于基于位置的移动推荐还没有一种量化的方式来计算主客观综合评价结果,也没有主客观量化的特有评价指标,这些都是后续需要研究的内容. 4.4   评价方法比较 由上述可见,基于位置的移动推荐系统与传统推荐系统所用评价方法相似,但在实施评价的某些细节方面却有所不同,其主要区别有以下两点:第一,在使用客观离线评价方法时是否需要考虑数据集中含有位置信息.由于离线评价基于位置的移动推荐系统要求所用的数据集必须含有地理位置数据,因此需要考虑该问题.而离线评价传统推荐系统时则不需要考虑该问题.第二,在使用主观在线评价方法时评价人员是否需要改变当前所处位置.基于位置的移动推荐系统由于需要实时获取用户当前位置来进行推荐,因此为了有效评测其推荐质量,需要评价人员在实施评测的过程中不停地改变位置.但传统推荐系统不一定根据位置进行推荐,所以评价人员可以在某个固定位置实施在线评价. 并且,根据以上所论可以得出基于位置的移动推荐系统三种评价方法常用的评价指标、优点及缺点,具体如表 3 所示. 表 3  评价方法比较 评价方法  评价指标  主要优点  主要缺点 主观评价 满意度,惊喜度,信任度,  交互性, 新颖性,可解释性,等. 交互强,响应快,结果真实,更接近实际,等.  样本量少,耗时多,成本高,不稳定,用户参与,主观性强,用户偏见高,等. 客观评价 准确率,召回率,F1,多样性,鲁棒性,实时性,响应时间,等.  无真实用户参与,简单快捷,易实施,成本低,等. 依赖于测试数据集,计算易过时,算法复杂,难获取真实反馈,等. 主客观结合评价 目前主流的客观评价指标及主观评价指标. 评价结果更准确,更符合实际情况,等.  实施复杂,耗时最多,成本最高,等. 为了应对大数据时代的挑战,有些学者提出一些新的评价方法来评测推荐算法,这些方法仍然适合评价基于位置的移动推荐系统.如朱奕健等人在文献[52]探讨了相似公式背后的数学规律,引入一种新的数据结构,并设计线性时间算法来评测推荐系统.实验证明该算法能缩短推荐系统评估时间,并有助于提高推荐系统的设计和开发效率.但现有的这些评价方法要么需要邀请评测人员亲自参与评价(如在线评价),要么需要研发人员手工选择所需的数据集、模型参数、评价指标等(如离线评价),虽然比较简单但缺乏自动评价能力,因此研发一种自动或智能评价方法是必要的,这样不仅能快速得到准确计算机学报 计  算  机  学  报  2019 年 推荐准确度较高,这很好地满足了游客的需求. 由此可见,基于轨迹的客观离线评价方法同样以其简单、经济等优点已广泛应用于基于位置的移动推荐系统中,且主要用在面向大量 GPS 轨迹的移动推荐系统中,用户历史位置的轨迹信息在评估所构建的基于位置的移动推荐模型占非常重要的地位,其质量优良直接影响着移动推荐模型的性能.但该方法仍然无用户真正参与系统评测,因而不能直接获得用户真实评测结果. 综上所述,客观离线评价是目前基于位置的移动推荐推荐系统中一种重要且常用的评测方法.虽然它不能直接体现用户的真实感受结果,但它采用定量的方式来计算推荐系统的评价指标,通过指标大小来衡量推荐系统优劣.所以,客观评价实质上是对主观评价的一种预测,其稳定性、可靠性及可预测性使得它成为当前基于位置的移动推荐系统中主流的评价方法.很明显,相对于主观评价来说,客观评价最大的优点是不需要真实用户的参与,因此该方法更简便且更经济,一旦选定所需要的数据集,只需要将待评测的基于位置的移动推荐模型或系统放于此数据集上运行,便能快捷地评测各种不同推荐算法的性能,帮助设计者过滤掉不恰当的算法,从而确保最终用于推荐的算法是最佳的.所以该方法已普遍应用于基于位置的移动推荐系统的评测中,但它仍存在一些问题,这些问题都是后续需要研究的内容,如很难获得商家实际所关注的各种商业指标,具体有如下几点[35]: 1)数据集的稀疏性限制其使用范围.客观离线评价只能评价用户“已经评分”过的项目,它不能使用一个不包含用户任何历史记录的数据集,来评价基于位置的移动推荐系统对该用户的推荐结果. 2)评价结果的客观性不能准确地反映出用户真实感受.由于用户自我感觉的主观性,所以不管离线评测的结果如何的好,但都不能得出用户是否真正喜欢该移动推荐系统推荐的结果. 3)客观离线评价所使用的测试数据集数量及内容有限,不能包括所有相关数据集的所有数据内容,因此所得到的结果具有一定的片面性. 4)客观离线评价只能测评推荐算法的评分预测的准确度或 Top-N 推荐准确率等客观指标,难以准确测评出满意度、惊喜度和交互性等主观性指标. 5)客观离线评价难以找到离线评价指标和在线实时反馈之间的关联关系.由于离线评价和在线评价方法的本质不同,所以很难获得两者之间的关联关系. 6)客观离线评价很难模拟在线环境中上下文条件,如上下文位置、上下文时间等,从而导致评价结果具有一定的局限性. 4.3   主客观结合评价方法 由于主观评价和客观评价各有优缺点,所以相对二者来讲,能较好地评测基于位置的移动推荐系统的方法是将两者有机地结合起来(即主客观结合评价法),这样便能充分利用二者的优点并避免它们的缺点,其基本评价过程如图 5 所示.  图 5   主客观结合评价基本过程 由上图 5 可见,主客观结合评价方法的过程由主观评价过程和客观评价过程组合而成,即先对基于位置的移动推荐系统进行客观评价,当客观评价结果满意后再进行主观评价.其具体过程如下: 首先按照客观评价方法的过程收集当前推荐系统所需的数据,并将收集到的数据划分为训练集和测试集,使用训练集数据对所设计的基于位置的移动推荐系统进行训练,训练结束后再在测试集上对它进行客观测试,通过计算并分析其相应的评价指标得出该系统的客观评价结论,若结论满足要求则进入主观评价阶段,若不满足要求则需要修正推荐系统模型,再重复上述过程直至满足客观评价的要求. 当推荐系统通过客观评价后便进入主观评价阶段,其评价过程与主观评价方法类似,即开发人员先制定好主观评价方案,然后邀请真实用户来亲自使用已经通过客观评价的基于位置的移动推荐系统,并将体验结果反馈给开发人员,开发人员通过分析用户反馈的结果得出该系统主观评价结论,如结论满意则一次完整的主客观评价结束,若不满意则还需要修正系统模型并重复上述过程直至满意为止.只有客观评价结果和主观评价结果都满足要求计算机学报