| 一种基于用户评论自动分析的APP维护和演化方法_肖建茂 |
| 来源：一起赢论文网 日期：2021-03-13 浏览数：2554 【 字体： 大 中 小 大 中 小 大 中 小 】 |
|
第４ ３ 卷第１ １ 期２ ０ ２ ０ 年１ １ 月计算机学报ＣＨ Ｉ Ｎ ＥＳＥＪ Ｏ ＵＲＮ Ａ ＬＯＦＣＯＭＰ Ｕ ＴＥＲＳＶｏ ｉ． ４ ３Ｎｏ． １ １Ｎｏｖ．２ ０ ２ ０一种基于用户评论自动分析的ＡＰ Ｐ 维护和演化方法肖建茂陈世展冯志勇刘朋立薛霄（ 天津市认知计算与应用重点实验室天津３ ０ ０ ３ ５ ０ ）（ 天津大学智能与计算学部天津３ ０ ０ ３ ５ ０ ）摘要应用程序分发平台（ 如Ｇｏ ｏｇ ｌｅ Ｐ ｌａ ｙ Ｓｔｏ ｒ ｅ 或Ａ ｐｐ ｌｅ Ａｐ ｐＳｔ ｏ ｒｅ ） 允许用户以评分或者评论等形式向下载的应用程序提交反馈． 这些反馈信息可以直接或者间接地反映用户意图， 及时准确地挖掘用户意图可以极大地帮助移动开发人员持续维护和改善他们的ａ ＰＰ ， 从而更好地满足用户期望． 然而， 对于很多流行的应用来说， 由于其用户评论数据量大、非结构化以及评论质量不一致等， 使得识别其中有价值的信息成为一项极具挑战的任务． 因此， 将用户评论进行自动化分析以减缓人工分析工作量成为ａ ｐ ｐ 评论挖掘的新思路． 本文我们提出了一种自动化用户评论分析方法 ＡＲ Ｉ ＣＡ （ Ａｕｔｏｍａｔ ｉ ｃ Ｒｅ ｖｉ ｅ ｗＩ ｎ ｔ ｅ ｎｔ ｉ ｏｎＣｌａ ｓ ｓｉ ｆ ｉｃ ａ ｔ ｉ ｏｎ Ａｎａｌ ｙｓ ｉ ｓ ）． 首先， ＡＲ ＩＣＡ根据用户的评论反馈， 自动将评论信息进行意图分类， 并使用Ｌ ＤＡ 主题模型对每个分类意图下评论进行主题划分； 其次， 在每个主题下对表达语义相似的评论进行聚类， 进一步， Ａ ＲＩ Ｃ Ａ 使用情感分析工具Ｓｅｎ ｔ ｉＳｔ ｒｅ ｎｇ ｔ ｈ 获取用户情感， 然后对用户评论的情感分布进行分析来识别用户的重要意图； 最后， 综合考虑用户意图和用户情感偏好等多维度信息计算用户评论得分并以此划分评论优先级， 从而为开发者进行用户评论意见推荐． 我们使用Ｇｏ ｏｇ ｌ ｅ Ｐ ｌａ ｙ 中真实的ａ ｐ ｐ 评论数据来验证ＡＲＩＣ Ａ 的评论意图分类和句子聚类的性能． 实验结果表明， ＡＲＩＣＡ 在用户评论意图分类过程中准确度达到８ ０ ％ ， 和现有的基于卷积神经网络的方法Ｔ ｅｘｔ ＣＮ Ｎ 的相比， ＡＲＩＣＡ 的Ｆ － Ｍｅａ ｓ ｕｒ ｅ 提髙了 １ ９ ． １ ％ ？ 同时， 评论句子聚类过程中获得８ ６ ％ 的准确率． 另外， 为了验证ＡＲＩＣＡ 推荐用户评论的有效性， 我们使用官方的ａＰＰ 更新日志来实证分析Ａ ＲＩＣＡ 推荐的用户评论建议是否可以真实地被开发者釆用． 结果表明， ＡＲ ＩＣ Ａ 可以高效为开发者推荐具有价值信息的评论， 这对于开发者进行后续的ａ ｐ ｐ 维护和演化任务具有重要意义．关键词用户评论； 意图分类； 情感分析； 维护和演化； 意见推荐中图法分类号ＴＰ ３ １ １ＤＯＩ 号 １ ０． １ １ ８ ９ ７ ／ ＳＰ ． Ｊ ． １ ０ １ ６ ． ２ ０ ２ ０ ． ０ ２ １ ８ ４ＡｎＡｕｔｏｍａｔｉ ｃＡｎａ ｌ ｙｓｉ ｓｏｆＵｓ ｅｒＲｅｖ ｉｅｗｓＭｅｔ ｈｏｄｆｏ ｒＡＰ ＰＥｖｏ ｌｕｔ ｉｏｎ ａｎ ｄＭａｉｎｔ ｅｎ ａｎｃ ｅＸ Ｉ Ａ ＯＪ ｉ ａ ｎ－Ｍ ａｏＣＨ ＥＮＳｈ ｉ－Ｚ ｈａ ｎＦＥ ＮＧ Ｚｈｉ－Ｙ ｏｎｇＬＩ ＵＰｅ ｎ ｇ－ Ｌ ｉＸＵＥ－Ｘｉ ａ ｏ（ Ｔｉ ａ ｎｊ ｉｎ ＫｅｙＬａ ｂ ｏ ｒａ ｔｏ ｒｙ ｏ ｆＣｏ ｇ ｎ ｉ ｔ ｉ ｖｅ Ｃｏ ｍ ｐ ｕ ｔ ｉｎ ｇ ａ ｎｄ Ａ ｐｐ ｌ ｉｃａ ｔ ｉ ｏ ｎ ＊ Ｔ ｉａ ｎ ｊｉｎ３ ０ ０ ３ ５ ０ ）（．Ｃｏ ｌｌ ｅｇ ｅ ｏｆ Ｉ ｎ ｔｅ ｌｌ ｉｇ ｅｎ ｃｅ ａ ｎ ｄ Ｃｏｍ ｐ ｕ ｔｉｎ ｇ ？ Ｔｉａ ｎｊｉｎ Ｕｎ ｉ ｖｅｒｓ ｉ ｔ ｙ？ Ｔｉ ａ ｎｊｉ ｎ ３ ０ ０ ３ ５０ ）Ａ ｂｓ ｔｒａｃ ｔＡｐｐ ｌ ｉ ｃａ ｔ ｉｏ ｎｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕｔ ｉ ｏｎｐ ｌ ａ ｔ ｆｏ ｒｍｓ ｓｕ ｃｈ ａ ｓ Ｇ ｏｏｇ ｌｅ Ｐ ｌ ａ ｙＳｔ ｏ ｒ ｅｏ ｒ Ａｐｐ ｌ ｅＡ ｐｐＳ ｔ ｏｒ ｅ ａ ｌ ｌ ｏｗｕｓｅｒ ｓ ｔｏｓ ｕｂｍｉｔ ｆｅ ｅｄｂａｃｋｓ ｔｏｄｏｗ ｎｌ ｏａｄａ ｐｐｌ ｉｃａｔ ｉ ｏｎ ｓｉｎ ｔｈｅ ｆｏｒｍｏｆ ｒａ ｔｉ ｎｇｓ ｏｒ ｒ ｅｖｉ ｅｗｓ ．Ｔｈ ｅｓｅｆｅ ｅｄｂａ ｃｋｓｃａ ｎｄｉ ｒ ｅ ｃ ｔｌ ｙ ｏｒ ｉ ｎ ｄｉ ｒｅ ｃｔ ｌ ｙ ｒ ｅｆ ｌ ｅ ｃｔ ｕｓ ｅ ｒｓ？ ｉ ｎｔ ｅｎ ｔ ｉｏ ｎ ，ａ ｎｄｉ ｔｃａ ｎ ｇｒｅ ａ ｔ ｌ ｙ ｈｅ ｌ ｐｍｏｂ ｉ ｌ ｅ ｄｅ ｖｅ ｌｏ ｐｅ ｒ ｓ （ ｏｒａｐ ｐｐｒ ｏｖｉ ｄｅ ｒ ）ｔ ｏｃｏ ｎ ｔｉ ｎ ｕｏ ｕｓ ｌ ｙｍ ａ ｉｎ ｔ ａ ｉｎ ａ ｎ ｄｉ ｍ ｐｒｏ ｖｅ ｔ ｈｅ ｉ ｒａ ｐ ｐｌ ｉ ｃａ ｔ ｉ ｏｎ ｓ ，ｓｕ ｃ ｈａ ｓｆ ｉ ｘｔ ｈ ｅｅ ｘｉ ｓ ｔ ｉ ｎｇｂ ｕｇｓ ，ａ ｄｄｏ ｒｒ ｅ ｆ ｉｎ ｉ ｎ ｇｔ ｈ ｅａ ｐ ｐｆｅ ａ ｔ ｕｒ ｅｓ ＊ｅ ｔ ｃ．ａｎ ｄｓｏａｓｔ ｏｂｅ ｔ ｔｅ ｒ ｓ ａ ｔｉ ｓ ｆｙ ｉ ｎｇｕ ｓ ｅ ｒｅｘ ｐ ｅｃ ｔａ ｔ ｉ ｏｎ ｓｃｏｎ ｔ ｉ ｎ ｕ ｏｕ ｓｌ ｙ ．Ａｐ ｐｒ ｅ ｖｉ ｅｗ ｓｐ ｒｏ ｖ ｉｄ ｅａｎ ｏｐｐ ｏｒ ｔ ｕ ｎ ｉ ｔ ｙ ｔ ｏｐ ｒｏａ ｃ ｔ ｉ ｖ ｅｌ ｙｃｏ ｌ ｌ ｅ ｃ ｔ ｕｓ ｅ ｒ ｃｏｍ ｐｌ ａ ｉ ｎ ｔｓ ａ ｎ ｄ收稿日期： ２ ０ １ ９ － １ １－１ ９； 在线发布日期： ２ ０ ２ ０ －０ ５－１ ３ ． 本课题得到国家自然科学基金重点基金（ ６ １ ８ ３ ２ ０ １ ４ ） 、国家自然科学基金（ ６ １ ５ ７ ２ ３ ５０ ）、国家重点研发计划（ ２ ０ １ ７ ＹＦＢ １ ４ ０ １ ２ ０ １ ） 资助． 肖建茂， 博士研究生， 中国计算机学会（ ＣＣＦ） 学生会员， 主要研究方向为服务计算、智能化软件工程． Ｅ－ｍａ ｉ ｌ ： ｚ ｔ＿ｘｊ ｍ＠ ｔｊｕ ． ｅｄ ｕ ． ｃｎ． 陈世展，博士， 副教授， 中国计算机学会（ ＣＣＦ） 会员， 主要研究方向为服务计算、面向服务的体系架构．冯志勇， 博士， 教授， 中国计算机学会（ ＣＣＦ ） 会员， 主要研究领域为知识工程、服务计算、计算机认知． 刘朋立，硕士研究生， 主要研究方向为服务计算、软件工程． 薛霄（ 通信作者）， 博士， 教授， 中国计算机学会（ ＣＣＦ） 会员， 主要研究领域为服务计算、计算实验． Ｅ－ｍａ ｉｌ ： ｊ ＺＸ Ｕ ｅ ｘｉ ａ〇＠ｔｊｕ． ｅ ｄ ｕ ． ｃｎ ．肖建茂等：一种基于用户评论自动分１ １ 期 析 的 ＡＰＰ 维 护和演化方 法 ２ １ ８５ｐｒ ｏｍｐｔ ｌ ｙ ｉ ｍｐｒｏ ｖｅａ ｐ ｐｓ＾ｕ ｓ ｅｒ ｅｘ ｐｅｒ ｉｅ ｎｃｅ ，ｉ ｎｔｅ ｒｍｓｏ ｆｂｕ ｇｆｉ ｘｉ ｎｇａ ｎｄｆ ｅａ ｔ ｕｒ ｅｒ ｅ ｆｉ ｎｅｍ ｅ ｎｔ．Ｈ ｏｗ ｅｖｅ ｒ ，ｆ ｏ ｒ ｍａ ｎｙ ｐｏｐ ｕｌ ａ ｒ ａ ｐ ｐｌｉ ｃａ ｔ ｉ ｏｎ ｓ ＞ｓ ｉｎ ｃ ｅｔ ｈ ｅ ｌ ａｒｇ ｅ ａｍ ｏｕ ｎｔ ｏ ｆｕ ｓｅ ｒｒ ｅｖｉ ｅ ｗ ｄａ ｔ ａ ，ｕｎ ｓ ｔ ｒｕｃ ｔ ｕ ｒ ｅｄｒ ｅ ｖｉ ｅｗｄ ａ ｔａ ， ａ ｎｄｉ ｎｃ ｏｎ ｓ ｉ ｓ ｔ ｅｎ ｔｒ ｅ ｖｉ ｅ ｗｑｕ ａｌ ｉ ｔ ｙ ， ｉ ｄｅ ｎｔ ｉ ｆ ｙｉ ｎｇ ｔｈ ｅｖ ａ ｌ ｕ ａ ｂｌ ｅｒ ｅｖ ｉｅ ｗ ｉｎ ｆｏ ｒｍａ ｔ ｉ ｏｎ ｂｅ ｃｏ ｍｅ ｓａｃ ｈａ ｌ ｌｅ ｎ ｇｉ ｎ ｇｔ ａ ｓｋ ．Ｔｈ ｅ ｒ ｅ ｆｏｒ ｅ ， ｃｌ ａ ｓ ｓ ｉｆ ｉ ｃａ ｔ ｉ ｏｎ ｏｆ ｕ ｓ ｅｒｒ ｅ ｖｉ ｅｗ ｓｉ ｎ ｔｏｓ ｐｅ ｃｉ ｆ ｉｃ ｔ ｏｐ ｉ ｃｓａ ｎ ｄａ ｕｔ ｏｍ ａｔ ｅ ｄａ ｎ ａ ｌ ｙｓｉ ｓ ｔ ｏｒ ｅｄ ｕｃ ｅ ｔ ｈ ｅｗｏｒｋ ｌ ｏａ ｄｏｆ ｍａ ｎ ｕａ ｌ ａｎ ａ ｌ ｙｓ ｉ ｓｈａ ｓ ｂｅ ｃｏｍ ｅａ ｎｅ ｗｉ ｄ ｅａ ｆｏ ｒ ａ ｐ ｐ ｒ ｅｖｉ ｅ ｗｍｉ ｎｉ ｎ ｇａ ｎ ａｌ ｙｓｉ ｓ ． Ｉｎ ｔ ｈ ｉｓｐ ａｐ ｅｒ ，ｗｅｐ ｒｏｐ ｏｓ ｅａｍ ｅｔ ｈ ｏｄｎａｍ ｅｄＡ ＲＩ ＣＡ （ Ａ ｕ ｔｏ ｍａ ｔ ｉ ｃＲｅ ｖ ｉ ｅｗ Ｉ ｎ ｔ ｅｎ ｔ ｉｏ ｎＣ ｌ ａ ｓ ｓ ｉｆ ｉ ｃ ａ ｔ ｉ ｏｎＡ ｎａ ｌ ｙ ｓｉ ｓ ）ｔｏａ ｕ ｔｏ ｍａ ｔｉ ｃ ａ ｌ ｌ ｙａ ｎａ ｌ ｙｚ ｅ ｃ ｒｏｗｄｕ ｓ ｅｒ ｒ ｅｖ ｉｅ ｗ ｓｔ ｏｅ ｆ ｆｉ ｃ ｉ ｅｎ ｔ ｌ ｙｐ ｒｏｖｉ ｄ ｅｄｅ ｖｅ ｌ ｏｐ ｅ ｒ ｓ ｗｉｔ ｈ ｓｏｆ ｔ ｗ ａ ｒ ｅｍａ ｉ ｎｔ ｅ ｎａ ｎ ｃｅ ａ ｎｄ ｅ ｖｏｌ ｕ ｔ ｉ ｏｎ ｓ ｕｇｇ ｅ ｓ ｔ ｉ ｏｎ ｓ ． Ｆｉ ｒ ｓ ｔｌ ｙ ，Ａ Ｒ ＩＣ Ａｃ ｌａ ｓ ｓｉ ｆ ｉ ｅ ｓｔ ｈ ｅｒ ｅ ｖｉ ｅ ｗｓ ｉ ｎ ｔ ｏｄ ｉ ｆｆ ｅｒ ｅｎｔｃ ａ ｔｅ ｇｏ ｒ ｉ ｅｓ ａ ｃｃ ｏｒｄ ｉｎ ｇ ｔ ｏｔｈ ｅ ｕｓ ｅｒ？ｓ ｆ ｅｅ ｄｂ ａ ｃｋ ｓ ， ａ ｎ ｄ ｔ ｈｅ ｎｕ ｓ ｅ ｓ ｔｈ ｅ ＬＤ Ａｔ ｏｐ ｉ ｃｍｏ ｄｅ ｌｔ ｏｃ ｌ ａ ｓｓ ｉ ｆ ｙｔ ｈ ｅｒ ｅ ｖｉ ｅ ｗ ｓｕｎ ｄ ｅｒｅ ａｃ ｈｕｓ ｅｒ’ｓｉ ｎ ｔ ｅｎ ｔｃａ ｔ ｅｇ ｏｒｙ ．Ｔ ｈ ｉ ｓａ ｌ ｌ ｏｗｓ ａｐｒ ｅ ｌ ｉ ｍ ｉｎ ａ ｒｙｓ ｃ ｒ ｅ ｅ ｎｉ ｎｇ ｏｆｕ ｓ ｅｒｒ ｅｖ ｉｅ ｗ ｓｔ ｏ ｏ ｂｔ ａ ｉｎ ｒ ｅ ｖｉ ｅ ｗｉ ｎ ｆｏ ｒｍ ａｔ ｉ ｏｎ ｕ ｎｄ ｅｒ ｅａ ｃ ｈｉ ｎ ｔｅ ｎ ｔｃ ａ ｔ ｅ ｇ ｏｒ ｙ ．Ｓｅ ｃｏ ｎｄ ｌ ｙ ，Ａ ＲＩ ＣＡｃ ｌ ｕ ｓ ｔ ｅ ｒ ｓ ｕｓ ｅ ｒ ｖ ｉｅ ｗ ｓ ｗ ｉｔ ｈｓ ｉｍ ｉｌ ａ ｒ ｓ ｅｍ ａ ｎｔ ｉ ｃｅ ｘ ｐｒ ｅ ｓ ｓ ｉ ｏｎ ｓｕ ｎｄ ｅｒｅ ａ ｃｈ ｒ ｅ ｖｉ ｅｗ ｔｏ ｐｉ ｃｔ ｏｆ ｕ ｒ ｔ ｈｅ ｒｆ ｉｌ ｔ ｅ ｒ ｔｈ ｅｒ ｅ ｄ ｕｎ ｄａ ｎ ｔｉ ｎ ｆ ｏｒｍａ ｔ ｉｏ ｎｉ ｎｒｅ ｖｉ ｅ ｗｓ ， ｓ ｏ ｔ ｈａ ｔ ｃａ ｎｅ ａ ｓｉ ｅ ｒａｎ ｄｉ ｎ ｔ ｕｉ ｔ ｉｖ ｅｔ ｏｕ ｎ ｄｅ ｒ ｓ ｔ ａ ｎ ｄｔ ｈ ｅｕｓ ｅ ｒ’ｓｏｒ ｉ ｇ ｉ ｎａ ｌｆ ｅ ｅｄ ｂ ａｃ ｋａ ｎｄｃ ａ ｐｔ ｕｒ ｅｔ ｈｅ ｕｓ ｅｒ’ｓｔ ｒｕｅ ｉ ｎｔ ｅ ｎｔ ｉ ｏｎｍ ｏｒ ｅａ ｃ ｃｕ ｒ ａ ｔｅ ｌ ｙ ．Ａｆｔ ｅ ｒｗ ａ ｒｄｓ ，Ａ ＲＩＣＡｕ ｓ ｅｓｔ ｈ ｅ ｓ ｅ ｎ ｔｉｍ ｅｎ ｔａ ｎａ ｌ ｙ ｓｉ ｓ ｔ ｏｏ ｌｃ ａ ｌ ｌ ｅｄ Ｓｅｎ ｔ ｉ Ｓｔ ｒ ｅ ｎ ｇｔ ｈｔ ｏｏ ｂ ｔａ ｉ ｎｕ ｓ ｅ ｒ ｓ ｅ ｎ ｔ ｉ ｍｅ ｎｔ ，ａ ｎ ｄｔ ｈ ｅ ｎａ ｎａ ｌ ｙｚ ｅｓ ｔ ｈ ｅｓ ｅ ｎ ｔ ｉｍ ｅ ｎｔ ｄ ｉｓ ｔ ｒ ｉ ｂｕ ｔｉ ｏ ｎｏ ｆ ｕ ｓ ｅ ｒ ｒ ｅｖ ｉ ｅ ｗｓ ｔｏ ｉ ｄｅ ｎ ｔｉ ｆ ｙｔ ｈ ｅｕｓ ｅ ｒ’ｓｓ ｉ ｇｎ ｉ ｆｉ ｃ ａ ｎｔｉ ｎ ｔｅ ｎ ｔ ｉｏ ｎｓ．Ｆｉ ｎ ａｌ ｌ ｙ ， ｔｈ ｅ ｍ ｕｌ ｔｉ ｄ ｉ ｍｅ ｎｓ ｉｏ ｎａ ｌｉ ｎ ｆｏ ｒｍａ ｔ ｉｏ ｎｓ ｕｃ ｈ ａ ｓｕｓ ｅ ｒ ｉｎ ｔ ｅｎ ｔｉ ｏ ｎｓａ ｎｄ ｓ ｅｎ ｔ ｉｍ ｅ ｎｔｐ ｒ ｅ ｆｅ ｒ ｅ ｎ ｃ ｅ ｓａ ｒ ｅｃｏ ｎ ｓ ｉ ｄ ｅｒ ｅｄｃ ｏｍｐ ｒ ｅ ｈ ｅｎ ｓ ｉ ｖｅ ｌ ｙｆｏｒ ｃａ ｌ ｃ ｕｌ ａ ｔ ｉｎ ｇ ｔｈ ｅ ｒ ｅ ｖｉ ｅ ｗ ｓｃｏ ｒ ｅ ａｎ ｄ ｔ ｈｅ ｎＡ ＲＩ ＣＡｐｒｉ ｏｒｉ ｔ ｉｚ ｅ ｓ ｒ ｅ ｖｉ ｅ ｗｓｆｏ ｒ ｒ ｅ ａ ｌ ｉｚ ｉ ｎｇｔ ｈ ｅｏｐ ｉ ｎｉ ｏｎ ｓ ｒ ｅ ｃｏ ｍｍｅ ｎ ｄａ ｔ ｉｏ ｎｆ ｏｒ ｔ ｈ ｅｄ ｅ ｖｅ ｌ ｏｐ ｅｒ ｓ ．Ｗｅ ｕｓ ｅ ｒ ｅａ ｌ ａ ｐｐ ｒｅｖｉ ｅ ｗ ｄａ ｔ ａ ｆｒｏ ｍＧｏｏ ｇｌ ｅ Ｐ ｌ ａ ｙｔ ｏｖ ｅｒ ｉ ｆｙ ｔ ｈ ｅｐｅ ｒ ｆｏ ｒｍａ ｎ ｃｅｏｆ ｒ ｅｖ ｉｅ ｗｉ ｎｔ ｅ ｎｔ ｃ ｌ ａ ｓ ｓ ｉｆ ｉ ｃａ ｔ ｉ ｏｎａ ｎｄ ｓ ｅ ｎｔ ｅ ｎ ｃｅ ｃ ｌ ｕ ｓ ｔ ｅ ｒ ｉ ｎｇｏｆＡＲ Ｉ ＣＡ．Ｔ ｈ ｅ ｅ ｘｐ ｅｒ ｉｍ ｅ ｎｔ ａ ｌｒ ｅｓ ｕｌ ｔ ｓ ｓｈ ｏｗ ｔ ｈａ ｔ ＡＲ ＩＣＡｈ ａ ｓｐｒ ｅ ｃｉ ｓ ｉ ｏｎ ｏｆ ８ ０ ％ｉ ｎ ｔ ｈ ｅｐ ｒｏｃ ｅｓ ｓ ｏｆ ｕ ｓ ｅ ｒｒ ｅｖ ｉ ｅｗｉ ｎ ｔ ｅｎ ｔｉ ｏｎｃ ｌ ａ ｓ ｓｉ ｆ ｉ ｃａ ｔ ｉ ｏ ｎ ，ｃｏｍ ｐａ ｒ ｅ ｄｗｉ ｔ ｈ ｔ ｈｅ ｓｔ ａ ｔ ｅ － ｏｆ－ｔ ｈ ｅ － ａｒ ｔ ｅｘ ｉ ｓ ｔ ｉ ｎｇａ ｕｔ ｏｍ ａ ｔ ｉｃ ｕ ｓ ｅ ｒｉ ｎｔ ｅ ｎｔ ｉｏ ｎ ｓ ｍｉ ｎｉ ｎ ｇｍ ｅ ｔ ｈｏｄＴ ｅ ｘｔ ＣＮ Ｎｗ ｈｉ ｃ ｈ ｂａ ｓ ｅ ｄ ｏｎ Ｃｏｎ ｖｏ ｌ ｕｔ ｉｏ ｎ ａｌ Ｎｅｕ ｒａ ｌＮ ｅ ｔ ｗｏ ｒｋ ｓ（ ＣＮ Ｎ ） ，ｔ ｈｅＦ－Ｍ ｅａ ｓ ｕｒ ｅ ｏｆＡ ＲＩ ＣＡ ｉ ｓ ｉｍ ｐｒ ｏｖ ｅ ｄｂ ｙ１ ９ ． １ ％ ．Ｍｅ ａ ｎｗ ｈ ｉ ｌ ｅ ，Ａ Ｒ ＩＣＡ ａｃ ｈ ｉｅ ｖｅ ｓ ８ ６ ％ｏ ｆｔ ｈ ｅ ｐ ｒ ｅｃ ｉ ｓｉ ｏｎｄｕ ｒ ｉ ｎｇｔ ｈｅ ｃ ｌ ｕｓ ｔ ｅｒ ｉ ｎｇｏｆｒ ｅ ｖｉ ｅ ｗｓ ｅ ｎｔ ｅ ｎ ｃｅ ｓ ， ｗ ｈｉ ｃ ｈｐｒｏ ｖｉ ｄｅ ｓｅ ｆｆ ｅｃ ｔｉ ｖ ｅｓｕ ｐｐ ｏｒ ｔ ｆｏｒｓ ｕｂ ｓｅ ｑｕ ｅ ｎｔｄｅ ｖｅ ｌ ｏ ｐｅ ｒ ｓ ｔｏｒ ｅ ｃｏｍ ｍｅ ｎ ｄａ ｐｐ ｕｐｄ ａ ｔｅ ｔ ａ ｓ ｋｓ．Ｆ ｕｒ ｔ ｈｅ ｒ ， ｗ ｅｕ ｓ ｅｔ ｈｅｏ ｆｆ ｉ ｃ ｉ ａ ｌａ ｐｐ ｃｈ ａ ｎｇ ｅｌ ｏ ｇａ ｓａｇｒｏｕ ｎｄｔ ｒｕ ｔ ｈ ， ａ ｎｄｅｍｐ ｉ ｒ ｉ ｃａ ｌ ｌ ｙａ ｎ ａｌ ｙｚ ｅ ｄ ｗ ｈｅ ｔ ｈｅ ｒｏｕ ｒｒ ｅｃ ｏｍｍ ｅ ｎｄ ｅｄｕ ｓ ｅ ｒ ｒ ｅ ｖｉ ｅｗ ｓｃａ ｎｂ ｅｔ ｒｕ ｌ ｙａｄ ｏｐｔ ｅ ｄｂ ｙｄｅ ｖｅ ｌ ｏｐ ｅ ｒ ｓ ， ｔｈ ｅ ｒ ｅｓ ｕ ｌ ｔ ｓｓｈ ｏｗ ｔ ｈａ ｔＡＲ ＩＣＡｃ ａ ｎｅ ｆｆ ｉ ｃｉ ｅ ｎｔ ｌ ｙｈｅ ｌ ｐｄ ｅ ｖｅ ｌｏｐ ｅ ｒ ｓｂｅ ｔｔ ｅ ｒｕ ｎ ｄｅ ｒ ｓｔ ａ ｎｄ ｔｈ ｅｕ ｓ ｅ ｒ？ｓｒ ｅａ ｌ ｒｅｑ ｕｉ ｒ ｅ ｍｅ ｎｔ ｓ ， ｗｈｉ ｃ ｈ ｉ ｓｏｆ ｇ ｒｅａ ｔ ｓ ｉ ｇｎ ｉ ｆｉ ｃａ ｎ ｃｅ ｆ ｏ ｒｄ ｅｖｅ ｌ ｏ ｐｅ ｒｓｔ ｏｐ ｅ ｒ ｆｏ ｒｍｓｕ ｂｓ ｅｑ ｕｅ ｎ ｔａ ｐｐｍａ ｉ ｎ ｔ ｅｎ ａ ｎｃ ｅ ａｎ ｄ ｅｖ ｏｌ ｕ ｔｉ ｏｎ ｔ ａ ｓｋ ｓ ．Ｉ ｎ ａ ｄｄｉ ｔ ｉ ｏｎ ， ｗ ｅ ａ ｌ ｓｏｐ ｕｂ ｌ ｉ ｓｈｔ ｈ ｅ ｏｒ ｉ ｇ ｉ ｎａ ｌｄ ａ ｔａｓ ｅ ｔ ，ｔ ｈｅｍ ａ ｎｕ ａ ｌ ｌ ｙｌ ａ ｂｅ ｌ ｅ ｄｄ ａｔ ａｓ ｅ ｔａ ｎｄ ｔｈ ｅｓ ｏ ｕ ｒ ｃ ｅｃｏ ｄｅｏ ｆＡ ＲＩ ＣＡｏ ｎｇ ｉｔ ｈ ｕ ｂｗｈ ｉ ｃｈ ｐ ｒｏｖｉ ｄ ｅｍ ａｔ ｅ ｒ ｉ ａ ｌ ｓ ｆｏ ｒｏｔ ｈ ｅ ｒ ｒ ｅｌ ｅｖａ ｎ ｔｒ ｅ ｓ ｅ ａ ｒ ｃ ｈｅ ｒｓ ．Ｋｅｙｗｏｒｄｓｕ ｓ ｅ ｒｒ ｅ ｖｉｅ ｗ ｓ ；ｉ ｎ ｔ ｅ ｎ ｔｃｌ ａ ｓ ｓ ｉ ｆｉ ｃ ａｔ ｉ ｏｎ ；ｓｅ ｎ ｔｉ ｍ ｅｎ ｔａ ｎａ ｌ ｙ ｓ ｉ ｓ ；ｍａ ｉ ｎ ｔ ｅｎ ａ ｎｃ ｅａ ｎｄｅ ｖｏ ｌ ｕｔ ｉ ｏｎ ；ｏ ｐｉ ｎ ｉｏ ｎ ｒ ｅ ｃｏｍ ｍｅ ｎｄ ａｔｉ ｏ ｎｓｉ 引言移动用户可以在应用程序分发平台（ 如Ａ ｐｐ ｌ ｅ的ＡｐｐＳｔｏ ｒ ｅ 和谷歌的Ｇｏｏｇｌ ｅ Ｐ ｌ ａ ｙ ） 获取他们想要的应用程序并分享他们对应用程序的意见和反馈［ １ ］． 这些反馈信息可以作为用户和开发者进行沟通的一个重要渠道， 用户使用ａ ｐ ｐ 后的反馈信息可以指导ａ ｐ ｐ 开发者完成多项软件维护和演化任务：比如修复相关的ｂｕ ｇｓ 或ｉ ｓ ｓ ｕｅ ｓ 、或者改进ａ ｐｐ 现有的特性或功能［２］． 然而， 去处理、分析和找出这些有价值的用户评论信息存在诸多挑战． 首先， 应用平台每天都会产生大量的用户评论． Ｐａ ｇａ ｎ ｏ 等人Ｍ 通过实证研究发现手机应用程序每天大约收到２ ３ 条评论， 而像Ｆ ａｃ ｅ ｂｏｏ ｋ 这样的热门应用程序每天会在Ｇｏｏ ｇｌ ｅ Ｐ ｌ ａ ｙ 上收到超过１ 万条评论？， 如果人工进ＣＤＡｐ ｐＡ ｎｎ ｉ ｅ， ｈｔ ｔ ｐ ｓ ： ／ ／ ｗｗ ｗ． ａ ｐ ｐ ａ ｎｎｉ ｅ． ｃｏｍ／ ｅｎ ／２ １ ８ ６ 计算机学报 ２ ０ ２ ０年行分析将耗时耗力． 其次， 用户评论中夹杂大量的噪声数据， 比如拼写错误的单词、重复的单词和非英语的单词， 并且大多数ａｐ ｐ 评论文本长度较短， 并且不遵循语法规则的特点， 导致没有足够的信息量来进行统计推理［ １ ］． 再次， 用户评论的质量差别很大， 从提供改进想法的有用评论， 到一般性的表扬以及用户的投诉抱怨（ 比如“Ａ ｃ ｃ ｏｕ ｎｔ ｈ ａ ｓｎ’ｔ ｂｅ ｅ ｎ ｈａ ｃ ｋｅ ｄ ，ｐ ｌｅ ａ ｓ ｅＨｘ ｔｈ ｉ ｓ！”，“ｉｌ ｏｖｅ ｉ ｔ ， ｉ ｊｕ ｓｔｌ ｏｖ ｅｉ ｔ”，“ｔ ｈｉ ｓ ｉ ｓａｖ ｅｒｙ ｂａ ｄａ ｐｐ ！ ！ ！”） 都大量散布在ａ ｐ ｐ 评论中？ 对于这些评论， 如果采用人工阅读的方式进行处理将会消耗大量的时间［５］． 因此， 对用户评论信息进行自动化分析， 系统地过滤、聚合和分类具有十分重要的意义．自动化评论分析方法主要是根据特定的主题（ 例如： ｂｕ ｇ 修复、功能改善等） 对用户评论进行分类（ 或者优先级排序）［６ １ １ ］．Ｍ ａａ ｌ ｅｊ 等人Ｗ 结合文本分类、自然语言处理和情感分析等技术来实现对应用评论的分类， 将应用评论分为错误报告， 特征请求，用户体验和评级四个大类， Ｐａ ｎｉ ｃｈ ｅ ｌ ｌ ａ 等人［８ “ ２］ 同样采用自然语言处理、文本分析和情感分析技术组合的方式将评论分为寻求信息、信息搜寻、功能要求、问题发现等有限的几个类别． 虽然这些工作可以从冗余的移动应用评论中自动提取部分有效的信息．但对一些流行的ａ ｐｐ 来说， 由于其评论数据庞大， 用上述方法分析得到的结果对开发者进行具体的维护任务仍然是不够的， 这些研究工作都是根据非常有限的一组类别对评论进行分类， 并产生一个非结构化评论集群列表， 最后仍然需要手动分析才能理解他们讨论的主题， 而用户真正关心ａ ｐ ｐ 哪一方面具体的信息仍不够准确．据我们查阅目前所发表的文献发现， 只有ＤｉＳｏ ｒｂ ｏ 等人［１ ３提出的ＳＵＲＦ 方法结合了用户评论主题提取、用户意图分类以及系统地定义了围绕ａ ｐ ｐ 具体某些方面（ 比如： ＵＩ 、下载信息等） 需要进行维护的工作， 并可以有效帮助开发人员规划下一步的ａ ＰＰ 更新任务． 但我们认为这个方法还是不够自动化， ＳＵＲＦ 的主题分类需要自定义概念词典， 然后人工去验证， 同时随着新的用户评论产生， 字典的有效性会受到限制； 另一方面， ＳＵ ＲＦ 推荐建议时没有考虑用户评论的真实情感倾向， 评论时间等维度信息． 事实上， 这些信息对于帮助反应真实的用户意图具有重要作用， 可以更准确地帮助开发者高效地识别用户的真实需求． 因此， 本文我们提出一种更加自动化的用户评论挖掘分析方法Ａ Ｒ ＩＣＡ．ＡＲＩ ＣＡ 首先利用Ｎ ＬＰ 最新的ＢＥＲＴ［ １ ５］ 模型将用户评论意图进行自动分类； 其次， 在意图分类的基础上， 利用主题模型ＬＤ Ａ 技术和词向量技术结合实现评论主题聚类； 并进一步将各个评论主题下的评论进行聚类分析， 得到最能表达用户意图的语句； 最后， 将聚类后的评论， 结合用户情感倾向， 评论时间信息以及用户评论点赞数等信息综合进行开发者建议推荐． 这样可以实现自动化高效的用户评论信息挖掘， 从而为开发者推荐关于ａ ｐ ｐ 维护更新最相关的评论内容． 本文的贡献如下：（ １ ） 提出了一种利用最新的自然语言处理技术ＢＥＲＴ 模型来实现的用户评论意图自动分类的方法， 大大的提高了用户意图分类的准确性． 和现有的最好基于卷积神经网络（ Ｃｏｎ ｖ ｏｌ ｕ ｔｉ ｏｎ ａ ｌＮ ｅ ｕｒａ ｌＮ ｅｔ ｗ ｏ ｒｋ ｓ ， ＣＮ Ｎ ） 方法Ｔｅ ｘ ｔＣＮ Ｎ ［ １ ６：１的用户意图自动挖掘相比， Ａ Ｒ ＩＣ Ａ 的Ｆ－Ｍ ｅａ ｓ ｕｒ ｅ 提高了 １ ９ ． １ ％ ．（ ２ ） 综合考虑了用户评论的情感、评论意图、评论时间等多维度等的信息对用户评论进行优先级排序， 为开发人员推荐用户真实需求， 为后续ａ ｐ ｐ 的版本演化和维护提供高效建议．（ ３ ） 我们公开了本文方法使用到的原始数据集和人工标注的数据集（ 用于复现以及未来的研究） ，以及该方法实现的源代码？．（ ４ ） 我们使用官方的ａ ｐｐ 更新日志来进行详细的案例分析， 验证了Ａ Ｒ Ｉ ＣＡ 为开发者进行评论意见推荐的高效性．本文第２ 节介绍本文的相关工作； 第３ 节阐述我们方法的整体思路和使用到的相关技术； 第４ 节阐述我们设计的实验和分析方法； 第５ 节展示和讨论实验结果； 第６ 节描述可能影响我们工作有效性的威胁； 第７ 节总结论文并概述了下一步的研究工作．２ 相关工作对于人类而言， 理解应用评论十分简单， 这是因为人能够根据积累的知识做出判断． 例如“Ｉｌ ｉ ｋ ｅｔ ｈ ｉｓａ ｐｐ ｌｉ ｃａ ｔｉ ｏｎ”和“ｔ ｈｉ ｓ ａ ｐｐ ｌ ｉ ｃ ａ ｔ ｉｏ ｎｉ ｓｇｏ ｏｄ ， ｌｉｋ ｅ ｉ ｔ”． 人类可以清楚的知道这两句话表达的意思是相似的．然而对应用评论进行理解和自动化分析则是一项充①ｈｔｔ ｐ ｓ ： ／ ／ｇｉｔ ｈ ｕ ｂ． ｃｏｍ／ ｘｕ ａ ｎｈ ｕ ｉ０ １ ２ ９ ／ ＡＲ Ｉ ＣＡ肖建茂等：一种基于用户评论自动分析的ＡＰＰ 维护和演化方法 ２ １ ８ ７ １ １ 期满挑战的任务． ＡＰＰ 评论数据和长文本数据不同，大多数ａｐ ｐ 评论具有短小并且不遵循语法规则的特点， 因此没有足够的信息量来进行统计推理Ｗ ． 传统对评论的分析方法主要是检查评论中是否包含某个关键字并手动定义关键字列表， 然后检查文本中是否包含关键字来挖掘评论的价值［ １ ７］， 如Ｂａ ｋｉ ｕ 等人Ｄ ８］ 提出一种基于评论分析用户情感的方法， 他们将用户评论中经常出现的关键词识别为特征， 并将提取的特征与用户情感关联， 然后使用主题建模进行分组， 最后将提取的功能相关的评论分类为与可用性和用户体验相关的需求类别来进行评论挖掘．Ｄａ ｂ ｒｏｗｓｋ ｉ 等人［ １ ９ ］ 针对用户评论分类的类别， 提出了一种对用户感兴趣的特定功能检索工具， 从而能够进一步支持需求工程师了解用户针对ａｐ ｐ 特定功能的需求， 以更好地维护对应的ａ ｐｐ ．近年来， 已经有相关学者对用户评论自动分类方法进行了研究． Ｃｈ ｅ ｎ 等人［６ ］ 对大量的ａｐ ｐ 评论进行研究， 发现在评论中有很多用户单纯的表达喜恶，如“ｇｏｏ ｄ ， Ｉｌ ｉ ｋ ｅ ｉ ｔ”等， 这些评论无论对于开发者还是其他的用户来说， 都没有提供有效的信息． 基于此现象， 他们开发了一种工具可以将评论分为信息性和非信息性， 并过滤无用的信息， 从而提取评论中有效的信息． Ｃｉ ｕｒ ｕｍｅ ｌ ｅ ａ 等人［ ２° ］ 基于用户评论定义了一个包含移动应用特定类别（ 例如性能、资源、电池、内存等） 的高级和低级分类， 并基于此构建了用户请求引用器（ ＵＲＲ ） 原型， 然后使用机器学习和信息检索技术进行评论自动分类． Ｇ ｕｚ ｍａ ｎ 等人［ ２］ 应用Ｎ Ｌ ＴＫ 工具对应用评论进行特征提取并使用Ｓｅ ｎｔ ｉ Ｓ ｔｒ ｅｎ ｇｔ ｈ 工具进行情感分析， 从而挖掘用户评论中的细粒度特征． 为了使挖掘得到评论更好的方便开发人员进行开发， 在文献［ ２ ］ 的基础上， Ｇ ｕｚｍ ａ ｎ等人［ １ ° ］ 进一步提出了一种以用户评论特征和情感为中心的检索方法ＤＩ ＶＥＲＳＥ ， 它可以自动为开发人员提供一个多样化的用户评论样本， 这些样本代表着整个评论集中用户提到的不同意见和体验．Ｄｈ ｉ ｎ ａｋ ａｒａ ｎ 等人［２ １］ 提出了一种结合主动学习以减少ａ ｐ ｐ 评论分析中涉及到的人工操作的方法， 其将评论分为功能请求、错误、评级和用户体验几个类别， 并使用主动学习相关策略应用到评论分类中进行分析． Ｍｅ ｓ ｓ ａ ｏｕ ｄ 等人［ ２ ２］ 针对开发人员难以手动分析用户评论并将它们归类到适当的评论类别中，提出了一种使用多标签主动学习方法来实现用户评论的分类问题， 从而更好地保证评论的快速准确挖掘． Ｋｈ ａｌ ｉｄ 等人［２ ３］ 重点研究了２ ０ 个免费下载的ｉ 〇Ｓ 应用程序的低评级用户评论， 他们发现了１ ２ 种类型的用户投诉以及它们的频率和影响， 这可以帮助开发者更好地优先考虑利用现有的资源来保证ａ ｐ ｐ 的质量． Ｌ ｉ ｕ 等人［ ２ ４］ 通过提取ａ ｐｐ 描述中的特征词的方法来指导评论的分析， 并建立了用户情感和主题特征词之间的关联， 该方法将贡献最大的词作为主题名， 并通过时间、评论的评分及评论的客观与否来设置评论优先级， 从而实现评论推荐． 但是，他们忽略了同一个问题可能会被多个用户提起， 也忽略了其他有贡献的主题词的作用． Ｓｃ ａ ｌ ａ ｂｒｉ ｎ ｏ 等人［２ ５ ］ 提出了用ＤＢＳＣＡＮ 聚类算法来实现对评论的聚类， 从而挖掘用户评论的意见． Ｇａ ｏ 等人［２ Ｓ］ 基于在线ａｐ ｐ 评论数据， 提出了一种自动化框架ＩＤ ＥＡ来自动分析用户评论， Ｉ ＤＥ Ａ 分别使用了ＬＤＡ 主题模型检测和推断分析来识别评论中的紧急问题， 并通过ａ ｐｐ 官方更新日志验证了Ｉ ＤＥＡ 的有效性？ 除此之外， 也有一些比较新颖的工作来进行ａｐ ｐ 评论数据分析挖掘用户需求， 比如Ｄａ ｌ ｐｉ ａ ｚ 等人［２ ７］ 提出来一个工具ＲＥＳＷＯ Ｔ ， 用于通过对应用程序商店中竞争对手ａ ｐｐ 的评论分析中挖掘用户需求． 上述方法都可以在某种程度上缓解人工分析用户评论的工作， 但不能细粒度让开发者理解用户的真实意图，从而难以指导开发者直接进行后续ａ ｐｐ 维护和演化任务．为了更好地理解用户细粒度需求， Ｄｉ Ｓｏ ｒｂ ｏ 等人［２ ８ ］ 提出了意图挖掘的概念． 具体来说， 他们提出了一种意图分类法， 将开发人员讨论中的句子从邮件列表中分为六类： 特征请求、意见询问、问题发现、解决方案建议、信息寻求和信息提供． Ｇ ｕ ｚｍａ ｎ 等人？ 提出了用于将应用程序评论分类为与软件维护相关类别的方法． 具体来讲， 他们将用户评论分为错误报告、功能优势、功能缺陷、用户请求， 好评、投诉和使用情况这几个类别， 这可以为开发人提供细致的用户评论建议． Ｍ ａ ａ ｌｅ ｊ 等人［７］ 结合文本分类、自然语言处理和情感分析等技术来实现对应用评论的分类， 将应用评论分为错误报告， 特征请求， 用户体验和评级四个大类． Ｐ ａｎ ｉ ｃｈ ｅ ｌ ｌ ａ 等人Ｍ 同样采用自然语言处理、文本分析和情感分析技术组合的方式将评论分为信息提供、信息搜寻、特征请求、解决方案以及问题发现等几个类别［１ １］， 并公开了一个基于这个分类的评论数据集［２ ９］． 在文献［ ８］ 工作的基础上， Ｈｕ ａ ｎｇ 等人［ １ ６ ］ 基于卷积神经网络（ ＣＮＮ ） 的基础上提出了Ｔ ｅ ｘｔ ＣＮ Ｎ 用于评论意图的分类， 该工作将文献［８］ 中的用户意图增加了方面评估和无意２ １ ８ ８ 计算机学报 ２ ０２ ０年义这２ 个类别， 然后用标记的文本进行训练， 和直接基于ＣＮＮ［ ３° ］、Ｌ ｉ ｂ ＳＶＭ［３ １ ］ 等分类算法相比， 获得了当前意图分类最好的效果． 相比于直接进行用户评论主题提取或聚类， 上述这些方法都将用户评论信息数据进行了进一步的细化． 经过我们调研大量的文献发现． 目前只有Ｄｉ Ｓ ｏｒ ｂ ｏ 等人［ １３ ］ 研究工作不仅将用户评论意图进行了细粒度分类， 同时重点考虑开发者关注的ａｐ ｐ 多个方面相关的主题信息． 但他们的主题分类需要自定义概念字典， 然后人工去验证， 这将导致评论推荐的效果受到字典的丰富性影响， 且分类的自动化程度不够．综上， 无论是基于传统的关键词提取用户评论信息还是基于用户意图分类进行自动用户评论分析， 最重要的是用户意图划分的合理性以及意图分类的准确性， 同时需要考虑多维度因素实现综合的评论优先级推荐， 这是挖掘用户评论中的蕴含的价值信息的核心内容， 也是开发者能否顺利实施后续ａ ｐｐ 维护和演化任务的关键．３ＡＲ ＩＣＡ 整体框架我们的目的是为了给开发者在其更新维护应用时提供高效的参考意见． 为了实现这一目标， 我们将用户评论分析定位到句子级别， 因为在原始用户评论中， 有些句子与软件开发和维护相关， 而有些则与之无关． Ａ ＲＩ Ｃ Ａ 可以自动实现： （ １ ） 对用户评论进行意图分类， 分类成和ａｐ ｐ 更新和维护方面相关的类别以２ ） 对各个意图下用户评论进行主题分类， 从而进一步提高评论的内聚性， 同时将各个主题下用户评论进行句子聚类， 得到和用户评论意图最相关的句子； （ ３ ） 重点分析用户评论的情感分布并识别用户重要意图ｄ ４ ） 综合考虑用户意图、情感倾向以及评论时间等多维度信息计算用户评论综合得分，并制定评论优先级规则进行用户评论推荐． 图１ 展示了方法的整体框架处理流程， 下面我们进行逐一介绍．＂ｃａ＂Ｗｏ ｒｄＭａｐ ｐｅｒＬ ＤＡ ＋Ｗｏ ｒｄ ２ ｖｅｃＡ ） 评论主题分类Ｗｏ ｒｄＭａｐ ｐｅ ｒ ＋Ｗｏ ｒｄ ２ ｖｅｃ，一、＇Ｚ． Ｊ 丨 ＤＢＳＣＡＮＢ ） 评论句子聚类② 主题分类和句子聚类Ｖｖｗ用户情感获取０用户情感分布③ 情感分析■■■■■：）评论优先级④ 综合意见推荐图１Ａ Ｒ１ Ｃ Ａ 整体框架３． １ 数据预处理移动用户通过终端（ 比如智能手机） 提交的评论一般包含许多噪声数据， 比如随意的单词， 重复的单词以及非英文的单词等， 这些会影响对数据处理的结果． 因此， 我们首先需要对评论数据进行数据预处理． 本文我们使用Ｎ ＬＰ 相关技术实现评论的数据预处理， 具体包括过滤掉非英文词汇， 无用的表情符号等， 同时使用正则表达式过滤掉网址、邮箱等干扰信息． 另一方面， 由于用户通常在移动设备上提交他们的评论， 而这些移动设备通常尺寸比较小， 没有实体键盘， 因此打字既困难又耗时． 很容易会产生错误．这种情况导致在用户对这些移动应用的评论中经常出现拼写错误（ 即拼错单词） 、缩略词和缩写， 比如单词“ ｕｓ ｅｆ ｕ ｌ ｌ”， 显然用户是想要表达的是“ ｕｓ ｅｆ ｕ ｌ ”，“ｆ ｒｉｅｎ ｄ ｓ” 缩写成了“ｆｍｄ ｓ”． 这样就会导致我们在进行评论分析时将他们当成不同的词来处理， 这会对数据分析结果造成不良的影响， 产生噪声数据． 因此需要将拼写错误、缩略词和缩写的词进行还原． 本文肖建茂等：一种基于用户评论自动分１ １ 期 析的 ＡＰＰ 维护 和演化方法 ２ １ ８ ９我们基于文献［３ ２］ 自定义的词典ｗｏ ｒ ｄＭ ａ ｐ ｐ ｅｒ？，一个手工整理了近３ ０ ０ ０ ０ ０ 和ａ ｐ ｐ 评论相关的词汇字典， 其中包含了在用户评论中常见的拼写错误、缩写和缩略的单词及其校正后的单词． 在该字典的基础上． 我们进一步往字典中增加ａｐ ｐ 评论相关的更细致词汇， 比如“ｙｏ ｕ’ｒ ｅ —ｙｏｕ ａｒ ｅ” 等？ 最后利用完善后的字典可以很好地将常见的容易拼写错误或者缩略的单词进行校正还原．３ ． ２ 评论意图分类为了帮助开发人员更容易地理解用户在应用市场的评论反馈， Ｅ） ｉ Ｓ ｏｒ ｂｏ 等人［１ ４］ 提出用户评论反馈分类方法ＳＵＲ Ｆ ， 旨在从软件维护和演化的角度对应用程序评论中包含的信息段落进行建模． 如表１所示． 他们把用户的评论意图分为５ 类， 分别为信息提供、信息搜寻、特征请求、问题发现以及其他， 并且证明这种分类可以很好地被开发者所理解并进行后续ａ ｐ ｐ 维护和演化任务． 本文我们使用的也是这种意图分类方法， 因为这些意图可以很好表达用户对ａ ｐ ｐ 的真实诉求， 同时也可以让开发者容易理解．表】用户评论意图分类类别类别 描述信息提供 告知其他用户或者开发者ＡＰ Ｐ 某方面信息的句子信息搜寻描述试图从其他用户或开发人员获取信息或帮助的句子特征请求 表达用户观点、建议或ＡＰＰ 某些方面需要增强的句子问题发现 报告异常行为或问题的句子其他 不属于任何以上类别的句子传统的文本分类通常使用Ｔ Ｆ－ Ｉ Ｄ Ｆ 方法来提取特征进行分类， 但这种方法忽略了同一语义的不同表达方式． 因此， Ｈ ｕ ａ ｎｇ 等人基于ＣＮ Ｎ 进行句子意图的分类， 该方法将句子进行向量化表示， 向量间的距离代表了句子的相似度， 与Ｔ Ｆ－Ｉ ＤＦ 相比， 该方法考虑了词与词之间的关系， 有效地提高了分类效率， 但他们的方法的效率还是不够的， 因为他们只是考虑了词与词之间的关系， 并没有考虑词上下文之间的关系． 因此， 本文我们采用了最新的自然处理模型ＢＥ ＲＴ 进行自动的用户意图分类， ＢＥ ＲＴ 是一种基于ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒｍ ｅｒ 架构的双向模型， 它在进行评论句子向量化后包含了上下文的信息， 可以有效地弥补基于ＣＮ Ｎ 方法的不足．ＢＥ Ｒ Ｔ的输入表７Ｋ （ ｉｎ ｐ ｕｔｒ ｅ ｐｒ ｅ ｓ ｅｎ ｔ ａ ｔ ｉ ｏ ｎ ） 能够在一个词（ ｔ ｏｋ ｅ ｎ ） 序列中明确地表示单个文本句子或一对文本句子（ 例如， ［ Ｑ ｕ ｅ ｓ ｔ ｉｏ ｎ ， Ａ ｎ ｓｗ ｅ ｒ ］ ）． 对于给定词， 其输人表示通过对相应的词嵌人（ ｔｏ ｋｅ ｎｅ ｍｂ ｅｄ ｄｉ ｎ ｇｓ ） 、分割嵌人（ ｓ ｅ ｇｍ ｅｎ ｔｅ ｍｂ ｅ ｄｄ ｉｎ ｇｓ ） 和位置嵌人（ ｐｏｓ ｉ ｔ ｉ ｏ ｎ ｅ ｍｂ ｅｄ ｄｉ ｎ ｇ ） 进行求和来构造． 图２展示了一个基于ＢＥ ＲＴ 进行评论意图分类的例子，输人的评论句子“ Ｗ ｅｎ ｅｅ ｄｎ ｉｇｈ ｔｍｏ ｄ ｅ”作为一？ 个句子整体输人到Ｂ Ｅ ＲＴ 模型中， 第一个词是一个特殊的符号［ ＣＬ Ｓ］ ， 表示为分类， 然后经过词、分割和位置嵌入进行求和操作， 每个位置对应的输出为一个维度为ｈ ｉ ｄ ｄｅ ｎ＿ｓ ｉ ｚ ｅ （ ＢＥＲ ＴＢａ ｓ ｅ中为 ７ ６ ８ ） 的向量？． 本文我们执行的是评论句子意图分类任务， 因此我们只关注第一个位置的输出（ 也就是被我们用［ ＣＬ Ｓ］ 符号代替的位置） 向量． 输出的这个向量作为我们前馈神经网络（ Ｆ ｅｅ ｄ－ ｆ ｏ ｒｗ ａ ｒ ｄ ｎ ｅ ｕ ｒ ａｌ ｎ ｅ ｔ ｗ ｏｒ ｋ ）分类器的输入， 最后得到用户评论句子的意图分类结果． 图中句子的分类结果为特征请求．评论句子［ＣＬＳ］ＷｅＴｏｋ ｅｎｎｂｅｄ ｄｉｎｇ Ｉｎ ｅ ｎ ｔＰｏ ｓｉ ｔ ｉ ｏ ｎｄ ｄ ｉｎ ｇＥｍｂｅｄｄ ｉ ｎｇ＾ ［ＣＬ Ｓ］ｅａ Ｅ〇＾ｗ ｅｅａｎｅ ｅｄｎ ｉ ｇ ｈ ｔ ！〇 ＋ＥＡｅ２Ｅｂｅ３ｅｂＥ，［ ＳＥＰ ：输入Ｅｂ ＥｓＢＥＲＴ ＡＳ ＡＳＥ ＲＶＩ ＣＥ分类器（ Ｆｅｅｄ －ｆｏ ｒｗａ ｒ ｄｎ ｅ ｕ ｒａ ｌ ｎｅ ｔｗｏ ｒｋ ＋ｓｏ ｆｔｍａｘ ）｜分类结果信息给予｜信息搜寻Ｕ 特？！请求问题发现其他输出图２ 基于ＢＥ Ｒ Ｔ 的评论意图分类示例３ ． ３ 主题分类及句子聚类用户的意图分类只能在宏观层面表示用户的想法， 开发者并不能直接基于这个意图分类进行ａ ｐ ｐ维护任务． 因此， 需要进一步对各个意图分类下的评论信息进一步进行提取， 从而实现更加细粒度的用户评论挖掘． 这里主要包含评论的主题分类和每个主题下句子聚类．３ ． ３ ．１ 评论主题分类单从句子意图分类这个维度对充分利用评论中的信息是不够的． 比如， 当信息搜寻类别中存在大量的评论句子时， 开发者要从中找到和ａ ｐｐ 维护相关信息仍然费时费力． 因此， 我们需要进一步提取出每个意图下用户评论隐藏的主题， 这些主题可以表达出该意图类别下用户关心的内容， 这可以帮助开发者更直接地了解用户的具体意图．①ｈ ｔ ｔｐ ｓ ： ／ ／ｇｉｔ ｈ ｕ ｂ ． ｃ ｏｍ ／ ｘｕ ａｎ ｈ ｕ ｉ ０ １ ２ ９ ／ ＡＲＩ ＣＡ／ ｂ ｌ ｏｂ ／ ｍａｓｔ ｅｒ ／ ｆｉｌ ｅ／ｗｏ ｒ ｄ Ｍａｐ ｐ ｅｒ ． ｔ ｘ ｔ②ｈ ｔ ｔ ｐｓ ： ／ ／ ｇ ｉ ｔ ｈ ｕ ｂ ． ｃ ｏｍ ／ ｇ ｏ ｏｇ ｌ ｅ－ｒ ｅ ｓ ｅａ ｒｃ ｈ ／ ｂ ｅ ｒ ｔ２ １ ９ ０ 计算机学报 ２ ０ ２ ０ 年ＬＤＡ［ Ｍ ］ 是一种经典的主题建模算法， 可以用来识别大规模文档集或语料库中潜藏的主题信息． 本文我们使用ＬＤ Ａ 主题模型来实现用户评论主题分类，并采用ｗ〇ｒｄ ２ ｖｅ ｃ［ ３ ４］ 词向量实现用户评论的向量化． 同时， 为了保证ＬＤＡ 模型能够对新产生的用户评论进行主题划分， 我们取每个主题下概率最大的前Ｎ 个词进行加权求和作为该主题的中心向量， 对于新产生的用户评论， 我们计算它和各个主题中心距离， 并把距离主题最近的评论划分为该评论的主题． 这样可以使得用户新产生的评论及时地进行主题自动划分． 这里向量距离为余弦距离，计算公式如式（ １ ） 所示：ｎＲ ｅｖ ｉ ｅｗ一Ｓｉｍ＝—ｆ——（ １ ）其中， ａ？， 和ｙ， 分别表示为主题中心向量和新产生的评论句子向量． 的取值范围为（ ０ ， １ ） ，取值越大， 距离越近． 句子主题分类过程的伪代码如算法１ 所示？算法１ ． 用户评论主题分类．输人： Ｄ： ｔｈｅｓ ｅｔ ｏ ｆ ｕ ｓｅ ｒ一ｒ ｅｖ ｉｅｗ ；ｋ： ｔｈｅ ｎｕｍ ｂｅ ｒ ｏｆ ｔ ｏｐｉ ｃｓ ｉｚ ｅ ：ｔｈ ｅ ｓｉ ｚｅ ｏ ｆ ｗｏ ｒｄ ｅｍｂｅ ｄ ｄｉ ｎｇｒｅ ｖ ｉｅｗ ＼ｐ ｅｎｄｉ ｎｇ ｒ ｅｖ ｉｅｗ＾： ｔ ｏ ｐ ｉ ｃ＿ｉ ｄ： ｔ ｈ ｅ ｔ ｏｐ ｉ ｃ＿ｉ ｄｏ ｆ ｉｎｐｕ ｔ ｒ ｅｖ ｉ ｅｗＰ ｒｏｃ ｅｄｕｒ ｅ：１ ．ｉｎ ｉｔ ｉ ａｌ ｉ ｚａｔｉｏ ｎ： ｔ ｏｐｉ ｃ ｓ＾ＬＤＡ Ｃ Ｄｆ ｋ ）２ ． ＦＯＲＥＡＣＨ ｔ ｏｐ ｉｃ ｓｔｏ ｐｉ ｃ ｓＤＯ３．ｔ ｏｐ ｉ ｃｊｗｏ ｒｄｓｔ ｏｐ ｉｃ，ｋ ｅｙｗｏｒ ｄｓ４．ＦＯＲＥＡＣ Ｈ ｔ ｏｐｉ ｃ＿ｘｖｏｒｄ６ｔ ｏ ｐ ｉｃｊｗｏｒｄｓ ＤＯ５．ｃａ ｌ ｃ ｕ ｌ ａ ｔ ｅ ｗｅ ｉｇｈ ｔ ｖ ｅｃ ｔ ｏ ｒｓｕ ｍ ；６．ＥＮＤＦＯＲ７．ｗｅ ｉｇ ｈｔ ｖｅ ｃ ｔ ｏ ｒ ｓｕｍ ａ ｓ ｓｕｍ＿ｖｅｃ＼８ ．ａ ｄｄｓ ｕｍ＿ｊｖｅ ｃ ｔ ｏｔ ｏｐｉ ｃ＿ｖｅ ｃｓ；９． ＥＮＤＦＯＲ１ ０ ． ｒｅ ｖｉｅ ｚｖ＿ｖ ｅｃ＾＊—Ｖｅｃ ｔ ｏ ｒ （ ｒ ｅｖ ｉ ｅｘｖ ）１ １． ｉｎ ｉ ｔ ｉ ａ ｌｉｚ ａ ｔ ｉｏ ｎ： ｍｉ ｎ Ｖｅ ｃ１ ２． ｉｎｉ ｔ ｉａ ｌｉ ｚ ａ ｔｉｏ ｎｓ ｔｏ ｐｉ ｃ＿ｉｄ ＾＊１；１ ３． ＦＯ ＲＥＡＣＨ ｔｏｐｉ ｃ＿ｖｅ ｃ ＾：ｔ 〇ｐｉ ｃ＿ｖ ｅｃ ｓＤＯ１ ４ ．ＩＦｄ ｉ ｓｔａ ｎ ｃｅ （ ｔ ｏｐｉ ｃ＿ｖ ｅｃ， ｒｅ ｖ ｉｅｗ ＿ｖｅｃ ） 〈ｍ ｉｎ Ｖｅ ｃＴ ＨＥＮ１ ５ ．ｍｉ ｎ Ｖｅｃ —ｄ ｉ ｓｔａ ｎ ｃｅ （ ｔ ｏｐ ｉ ｃ＿ｖｅ ｃ ’ ｒｅｖｉ ｅｗ一ｖｅ ｃ ）１ ６ ．ｔ ｏｐ ｉ ｃ＿ｉ ｄ－＊￣ｔ ｏｐｉ ｃ＿ｖｅ ｃ．ｉ ｄ１ ７．ＥＮＤ ＩＦ１ ８．ＥＮＤＦ ＯＲ１ ９．ＲＥ ＴＵＲＮ ｔ 〇ｐｉ ｃ＿ｉ ｄ３ ． ３ ． ２ 评论句子聚类在同一个评论主题下， 评论的句子仍然较多， 尤其是对于一些流行的ａ ｐｐ ， 存在一系列的句子是在讨论ａ Ｐ Ｐ 同一个方面的内容， 即存在语义相关． 因此， 我们进一步在每个主题下把语义相似的句子进行聚类， 这样可以为开发者过滤大量冗余信息， 从而更加容易和直观地理解用户的原始反馈并能更快地捕获用户的真实意图， 为进一步进行ａ ｐｐ 相关的实际维护和演化任务提供支撑．另一方面， 由于每个主题下用户评论的聚类个数未知． 因此， 本文我们采用一种基于密度的聚类算法ＤＢＳＣＡＮ［３ ５］ 来对每个评论主题下的语句进行聚类， 这可以避免々－ ｍ ｅａ ｎ ｓ 聚类时选择初始聚类中心对聚类结果影响． 同时， 由于ＤＢＳＣＡＮ 算法的输入为向量， 并且考虑到用户评论语句存在相似性， 我们同样使用ｗｏｒｄ ２ ｖｅｃ 对评论句子处理， 从而得到词向量模型． 进一步， 在进行聚类时， 我们对句子进行预处理后分别求出各个词的向量， 并对词向量加权求和． 加权之后的向量不仅对数据进行了降维， 同时也表示了句子的语义信息． 最后， 将加权之后的向量使用Ｄ ＢＳＣＡＮ 算法进行聚类， 找到句子之间距离较短、相似度较高的并将其聚类到一块， 从而帮助开发者快速识别用户的真实意图．３ ． ４ 评论情感分析在不同的时间段下， 用户的情感会可能发生大幅度的变化， 尤其在ａｐ ｐ 出现ｂｕｇ 或隐私安全等问题时， 会导致用户情感可能出现诸如波峰和波谷等趋势． 当用户情感出现波峰或者波谷时， 这很大程度上是和ａｐｐ 相关的特征发生变化所导致， 比如当ａ ｐ ｐ 出现崩溃或隐私等问题时， 用户会通过评论及时表达出很多负面的情感， 当ａ ｐｐ 出现新的功能特征， 或者发布新版本时（ 此时一般伴随新功能的产生） ， 用户整体会通过评论及时表达出较高正面的情感， 而在一般情况下， 用户的情感趋于平稳．图３ 展示了用户的情感演化趋势． 在Ｔ， 时间片下用户情感达到波谷， 在Ｔ，时间片下达到波峰， 其他时间片下变化较小． 我们基于不同时间段的用户情感倾向来对用户意图进行权重分配， 比如当用户情感趋势处在波谷时， 推荐权重更大， 而在用户情感趋势在波峰或者稳定时， 推荐的权重较小， 这是因为情感波峰或者稳定时， 用户可能没有遇到明显的问题， 此时用户更多的可能是在表达使用ａ ｐｐ 的一些体验信息． 而在波谷时可能由于ａｐ ｐ 出现ｂ ｕ ｇ 等情况， 此时用户更有可能表达出对ａ ｐｐ 的相关意图（ 如肖建茂等：一种基于用户评论自动分１ １ 期 析 的 ＡＰＰ 维护 和 演化方 法 ２ １ ９ １请求修复ｂ ｕｇ 等） ． 这可以帮助开发者了解用户的情感以及这些情感如何和用户的意图相关联， 从而为开发者推荐更精准的用户建议．时间片图３ 用户情感趋势示意图３ ． ４ ．１ 获取评论情感得分情感分析是为每个评论分配固定的正值或负值的过程［ ３ Ｓ ］． 为了分析用户评论中的情感， 我们使用Ｓ ｅ ｎｔ ｉ Ｓｔ ｒ ｅｎ ｇ ｔ ｈ＂ 、情感分析工具来实现用户评论情感分析， 它对于诸如Ｔ ｗ ｉ ｔ ｔ ｅ ｒ 和电影评论之类的社交媒体中的短文本具有很高的准确性：：ｉ ８］． Ｐ ａ ｇａ ｎｏ等人［３ ］ 发现， Ａ ｐ ｐＳ ｔ ｏｒ ｅ 中８ ０ ． ４ ％ 的评论所包含字符少于１ ６ ０． 同时， Ｓ ｅ ｎｔ ｉ Ｓ ｔ ｒ ｅ ｎ ｇ ｔ ｈ 可以很好地计算短文本中正面和负面的情感强度， 即使是非正式语言也是如此？ 而ａ ｐ ｐ 的评论信息与Ｓ ｅ ｎｔ ｉ Ｓｔ ｒ ｅｎ ｇ ｔ ｈ 的这些优势刚好非常匹配， 这使得Ｓ ｅ ｍ ｉ Ｓ ｔ ｒ ｅ ｎｇ ｔ ｈ 成为分析ａ ｐ ｐ 用户评论情感的理想工具．Ｓ ｅ ｍ ｉ Ｓ ｔ ｒ ｅ ｎ ｇｔ ｈ 可以将评论信息进行句子级别处理， 并分配相应的正值或负值． 其中分值范围是［― ５ ， ５］ ， 其中［ ＋ １， ＋ ５］ 表７Ｋ 正面情感， ＋ ５ 表本非常正面的情感， ＋ １ 表示没有正面情感． 类似地，［一５ ，一１ ］ 表示负面情感，＿５ 表示非常负面的情感，一１ 表示不存在任何负面情感． 在本文中， 针对每一个评论语句， 我们取该句子得分范围中绝对值较大的值作为句子的最后得分， 因为绝对值更大的值更能反映句子的实际情感． 另外， 由于负值可以更好地体现用户的意图， 当句子得分的正值和负值相等， 取负值作为整个句子得分， 从而避免漏掉相应的评论句子信息．值得注意的是， 由于用户评论中的表情符号， 极性词等也会影响用户的情感． 因此， 情感分析时我们无需将评论语句经过３ ．１ 节所述的数据预处理过程， 而是直接分析用户评论情感得分． 表２ 展示了经过Ｓ ｅｎ ｔ ｉ Ｓｔ ｒ ｅ ｎ ｇｔ ｈ 工具得到的３ 个评论句子得分示例．表２基于Ｓｅ ｎ ｔ ｉ Ｓ丨ｒ ｅ ｎｇｔ ｈ 的评论得分评论句子 单词得分 句子得分ｕ ｐ ｌ ｏ ａｄｉｎ ｇ ｐｉ ｃｔ ｕ ｒ ｅｓ ｗ ｉ ｔ ｈ ｔｈ ｅａ ｐ ｐ ｉ ｓ ｓ ｏ ａｎ ｎｏ ｙ ｉ ｎ ｇ ！ｕｐ ｌｏ ａｄ ｉ ｎ ｇ ｐ ｉ ｃｔ ｕ ｒ ｅｓ ｗ ｉｔ ｈ ｔ ｈ ｅａ ｐ ｐ ｉ ｓ ｓ ｏ ａ ｎ ｎ ｏ ｙ ｉ ｎ ｇ ［—３ ］ ！ ［１ ｐ ｕｎ ｃ ｔ ｕ ａ ｔ ｉ ｏ ｎ ｅ ｍｐ ｈ ａ ｓ ｉ ｓ ］｛１ ，一３｝ｌ ｏ ｖ ｅ ｌｉｓ ｔｅ ｎｉｎｇ ｔｏ Ｐ ａｎ ｄ ｏ ｒ ａ ． ． ． ｈａ ｓ ｅｖ ｅ ｒｙ ｔ ｈｉｎ ｇｙ ｏ ｕ ｃｏ ｕ ｌ ｄ ｎ ｅｅ ｄ ａ ｎｄ ｗ ａｎ ｔ ．ｗｏ ｒ ｋ ｓ ｇ ｒｅ ａｔ Ｉ ｐ ｒｅ ｆｅ ｒ ｏ ｖｅ ｒＡｍ ａｚｏ ｎｍ ｕｓ ｉｃ ！ ！ｌｏ ｖ ｅ ［ ３ ］ｌ ｉ ｓ ｔ ｅｎ ｉ ｎ ｇ ｔ ｏ Ｐ ａｎ ｄ ｏ ｒａ ［ ｐ ｒ ｏ ｐ ｅｒ ｎ ｏ ｕ ｎ ］ ． ． ．［ ｓ ｅｎ ｔ ｅｎ ｃｅ： ３ ，＿ １ ］ ｈ ａ ｓ ｅｖ ｅ ｒ ｙ ｔｈｉｎ ｇｙ ｏ ｕ ｃｏ ｕ ｌ ｄ ｎ ｅ ｅｄ ａｎ ｄ ｗａ ｎ ｔ ［ ｓ ｅｎ ｔ ｅｎ ｃｅ ： １ ，一 １ ］ ［ ｒ ｅ ｓ ｕ ｌｔ： ｍａ ｘ ａｎ ｄ －ｏ ｆ ａｎ ｙ ｓ ｅｎ ｔ ｅ ｎ ｃｅ］［ ｏ ｖ ｅ ｒａ ｌ ｌ ｒ ｅｓ ｕ ｌ ｔ＝ｌ ａｓ ｐ ｏ ｓ〉一ｎ ｅｇ ］ ｝ｗ ｏ ｒｋ ｓ ｇ ｒ ｅａｔ ［ ３ ］Ｉｐ ｒ ｅ ｆｅ ｒ ｏ ｖ ｅｒ Ａｍａｚ ｏ ｎ［ ｐ ｒ ｏ ｐ ｅｒ ｎ ｏ ｕ ｎ ］ｍｕ ｓ ｉ ｃ！ ！ 匸１ｐ ｕ ｎ ｃ ｔｕ ａ ｔｉｏ ｎｅ ｍｐ ｈ ａｓ ｉｓ ］ ［ ｓ ｅ ｎ ｔｅ ｎ ｃｅ ： ４，一１ ］［ｒ ｅ ｓ ｕｌｔ ： ｍａｘ ａ ｎ ｄ－ ｏ ｆ ａｎ ｙ ｓ ｅ ｎ ｔｅ ｎｃｅ ］ ［ ｏ ｖｅ ｒ ａｌ ｌ｛４，－ｒｅ ｓｕ ｌｔ ＝ １ ａ ｓ ｐｏ ｓ〉一ｎ ｅｇ］｛３ ，－１｝１｝３ ． ４． ２ 评论情感分布用户在不同时间段内对ａ ｐ ｐ 情感会发生变化，假设用户在时间段Ｔ， 对ａ ｐｐ 给出了《条评论， 基于３ ． ４ ． １ 节， 得到ｉ ？Ｓ （ ｓ ｃｏ ｒｅ ）＝ ｛ Ｒ Ｓ，． 】， 尺Ｓ，． ２ ，…，为《条评论情感得分． 值得注意的是， 在固定的时间段内， 用户对同一个ａ ｐｐ 的评论数目并不固定．因此， 我们把：Ｔ， 时间段内用户整体对ａｐ ｐ 的平均情感得分Ａ ｉ？ Ｓ Ｇ？ｒ ｅ ） 作为用户群体的情感倾向， 计算公式如式（ ２ ） 所示：ＡＲ Ｓ （ ｓ ｃ ｏ ｒ ｅ ） ＝ —ＲＳ ＾，ｎＡ—＊（ ２ ）其中， ７＾ ，…， Ｕ 表示一系列等长且不重复的时间间隔， 尺心表示为ａｐ ｐ 在：Ｔ， 时间段内的第７条评论情感得分， 〃表示在Ｔ， 时间段内的评论数目？图４ 通过折线图展示了在不同时间段内用户对ａ ｐｐ 的情感得分分布， 这里我们选择了当下比较流行的应用Ｆ ａ ｃ ｅ ｂｏ ｏ ｋ 和Ｕ ｂｅ ｒ 分析， 可以看到用户情感展示多元化的变化趋势， 在不同的时间段内， 用户的情感会出现迅速上升或者下降的趋势， 从而出现诸如波峰和波谷等趋势， 也有出现一段时间内用户情感比较稳定的趋势． 这些情感波谷趋势是后续开发者进行ａｐ ｐ 维护和更新需要重点关注的地方．２ １ ９ ２ 计算机学报 ２ ０２ ０年Ｆａｃｅｂ ｏｏ ｋ２０ １ ８－１ ２－１ ９ ２ ０ １ ８－１ ２－２ ７ ２０ １ ９－０ １－０ ４ ２０ １ ９－０ １－１ ２ ２０ １ ９－０ １－２ ０ＤａｔｅＵｂｅｒ图４ 不同时间段下用户评论情感趋势３ ． ４ ． ３ 情感波谷识别我们根据用户的情感变化． 得到用户在使用ａ ｐ ｐ 中的情感分布曲线， 当用户的评论在波谷（ 即负面情绪集中） 时， 我们认为此时用户所提出的评论反馈更能够反映用户意图． 识别用户情感波谷的主要思想是通过划分固定的时间段（ 比如３ 天、一周， 可根据需要动态调整） ， 然后在该时间段内寻找情感波谷，用户情感波谷识别具体流程如算法２ 所示．算法２ ． 用户情感波谷识别．输人： Ｄ ： ｔ ｈｅ ｓｅ ｔ ｏｆ ｕｓ ｅｒ一ｒｅｖ ｉ ｅｗ ｗ ｈｉ ｃ ｈ ｈａ ｓ ｓｅ ｎ ｔｉ ｍｅ ｎｔ一ｓ ｃｏｒ ｅａ ｎ ｄｄ ａｔ ｅ；ｅ ： ｔ ｈ ｅ Ｔｈ ｒｅ ｓ ｈ ｏ ｌ ｄｏ ｆＤ ａ ｙｓ＾５ ４： ｔ ｒｏ ｕｇｈＪｉ ｉｓ ｔ ＼ ｔ ｈｅ ｌ ｉ ｓ ｔ ｏｆ ｔ ｒ ｏｕ ｇｈ ｓＰ ｒｏｃ ｅ ｄ ｕ ｒ ｅ ：１．ｉ ｎ ｉ ｔ ｉ ａ ｌ ｉ ｚａ ｔ ｉ ｏｎ ：ｕ ｎｋ ｎ ｏｗ ｎ；２ ．ＦＯ ＲＥＡＣＨｄ ＾ ＤＢＯ３ ．Ｉ Ｆ＝ｕ ｎｋｎ ｏｗｎＴ Ｈ ＥＮ４．Ｉ Ｆ ｄ． ｓ ｅｎ ｔ ｉ ｍｅｎ ｔ＿ｓ ｃ ｏ ｒ ｅ ＾＞ ｄ Ｊｒ ＼Ｔ Ｈ Ｅ Ｎ５．ｓ ｔ ａ ｔ ｕｓ— ｄｏｗｎｈ ｉ ｌ ｌ；６．Ｅ Ｎ ＤＩＦ７．Ｅ Ｌ ＳＥＴ ＨＥ Ｎ８ ．ｓｔ ａ ｔ ｕｓ — ｕｐ ｈｉ Ｕ？’９．Ｅ Ｎ ＤＥ ＬＳ Ｅ１ ０ ．Ｅ ＮＤ ＩＦ１ １ ．Ｉ Ｆ ｄ．． ｓ ｔａ ｔ ｕ ｓ —＝ｄｏｗｎｈ ｉ ｌ ｌ Ｔ Ｈ Ｅ Ｎ１ ２ ．ＩＦ ｄ． ｓ ｅｎ ｔ ｉ ｍ ｅｎ ｔ＿ｓ ｃｏｒ ｅ ＜ｉ． ｓｅ ｎ ｔ ｉｍｅ ｎ ｔ＿ｓ ｃｏ ｒ ｅＴ ＨＥ Ｎ１ ３．Ｉ Ｆｄ ． ｄａ ｔ ｅ ￣ｔ ｒｏ ｕｇｈ＿ｌ ｉ ｓｔ＼＿ —＼￣＼ ． ｄａ ｔ ｅ＜ｉ ｅ Ｔ Ｈ Ｅ Ｎ１ ４ ．Ｉ Ｆ ｔ ｒｏ ｕｇｈ＿ｌ ｉ ｓｔ ［—＼￣＼ ． ｓｅ ｎ ｔ ｉｍｅ ｎ ｔ＿ｓ ｃｏ ｒ ｅ ］＞ｄ ． ｓ ｅｎ ｔ ｉ ｍｅ ｎ ｔ＿ｓｃ ｏ ｒ ｅ ＴＨ Ｅ Ｎ１ ５ ．ｔ ｒ ｏ ｕｇｈ＿ｌ ｉ ｓｔ ［ — １］ ＾ ＊—ｄ ；１ ６ ．Ｅ Ｎ ＤＩＦ１ ７ ．Ｅ Ｌ ＳＥ Ｔ ＨＥ Ｎ ：１ ８ ．ａ ｄ ｄｄｔ ｏ ｔ ｒｏ ｕｇｈ＿Ｌ ｉ ｓｔ；１ ９ ．Ｅ Ｎ ＤＥ ＬＳＥ２ ０ ．Ｅ Ｎ ＤＩ Ｆ２ １．Ｅ Ｎ ＤＩ Ｆ２ ２．Ｅ ＮＤ ＦＯ Ｒ２ ３ ． Ｅ Ｎ ＤＩＦ２ ４ ． ＲＥ Ｔ ＵＲ Ｎ对３ ． ５ 评论优先级推荐对于开发者来说， 他们更希望有一种方法可以同时做到： （ １ ） 很容易地获取到用户评论的有用信息“ ２ ） 正确地理解需要完成的维护任务； （ ３ ） ａｐ ｐ哪一个方面的内容是用户最关注且希望得到修复的． 因此， 我们需要找到一种合适的方式来对挖掘得到的用户评论信息推荐给开发者． 为了解决这个问题， 我们制定了一种评价用户评论优先级的机制， 从而为开发者推荐合理且高效的用户评论建议． 我们的机制同时考虑了５ 个方面（ Ａｓｐ ｅ ｃ ｔ ） 的因素：Ａ Ｓ １： 用户意图类别的重要性．一般来讲． 意图分类中最重要的是问题发现和特征请求这两个类别， 因为这更有可能是和ａｐ ｐ 维护相关的内容， 这对于开发者更加重要． 其次是信息提供和信息搜寻两个类别． 值得注意的是， 由于开发者只关心功能性的评论． 因此， 意图分类成其他类别的评论我们将其划分为最弱的优先级．Ａ Ｓ ２： 用户情感． 如３ ． ４ 节所描述， 用户通常会及时通过评论来表达使用ａ ｐｐ 的实时体验， 这些评论信息可以反映用户真实的情感． 比如当ａ ｐｐ 出现隐私安全时， 用户的行为一般为抱怨， 此时表达的是负面的情绪； 当ａｐ ｐ 出现新功能时， 用户表达的情感一般为正面的， 此时的情感得分较高． 情感得分越低（ 即情感趋势出现波谷时） ， 此时更能反映用户的真实意图．Ａ Ｓ３ ： 用户评论的时间． 用户的评论的时间距离１ １ 期 肖建茂等：一种基于用户评论自动分析的ＡＰＰ 维护和演化方法 ２ １ ９ ３现在越近， 对开发者重要性越大．Ａ Ｓ４ ： 评论句子的长度． 评论句子的长度越长，通常越能表达用户的意图信息．Ａ Ｓ ５ ： 点赞数． 点赞数越多， 说明越多用户认可该评论观点， 推荐时占的权重越大．３ ． ５ ． １ 评论综合得分计算将每个聚类后簇中的各个句子的得分求和来获取获取综合得分， 在每个簇下， 我们为每一个簇分配一个综合的得分， 计算公式如式（ ３ ） 所示：Ｔｏ ｔａ ｌ Ｓｃｏ ｒｅ ＝（ Ｉ ｎｓ ｒ ＸＳ ｅ ｎ ｔ ｉｍ ｅｎ ｔ＿ Ｓｃｏ ｒｅ Ｘ／ ＝ ｉＴｉｍｅ＿Ｓｃｏ ｒ ｅｉＸ Ｓｅｎ＿Ｉ ｎｆｏ ｒｉＸＨｅ ｌ ｐｓ＿ Ｓｃｏ ｒｅｉ＇） ｉ ３ ）其中， Ｉｎ ｓｒ ， Ｓｅｎｔｉｍｅｎｔ一Ｓｃｏｒ ｅ ， Ｔｉｍｅ＾Ｓｃｏｒｅｉ， Ｓｅｎ—Ｉｎｆｏ ｎ以及与我们的五个方面因素相对应，也就是Ａ Ｓ １？ Ａ Ｓ ５ ． Ｔｏｉａ Ｚ Ｓｃ ｏ ｒｅ 是评论的综合得分，Ｔｏ ｔａ ＺＳｃ ｏ ｒｅ 越大， 推荐的优先级越高．上述各个变量的取值范围都是（ 〇， １ ］ ， 乘积越大， 表示该簇的重要程度越大． 其中， 表示的是用户意图的重要性， 用户意图的分类可以清晰地表达开发者需要维护的任务． 我们根据用户意图的重要性给每个句子分配相应的权重， 其中问题发现和特征请求类别的权重设置为１ ， 信息搜寻和信息查找类别设置的权重为〇． ５ ， 其他类别设置为０ ． １ ． 对于情感趋势得分（ ） 计算， 我们将在波谷前后各一天的评论数据的权重设置为１， 其他时段的设置为〇． ５． 虽然用户意图和情感的权重也可以设置为其他相关的值， 但是对不同权重的影响进行系统的研究是我们未来议程的一部分．对于开发者来说， 如果某个问题被多个用户都提出， 说明该问题是个普适的问题， 应该得到开发者的重视． 在应用商店中， 允许用户对其他用户的评论点赞， 即如果用户认为有的评论表达出了自己想表达的内容， 他可以点赞该评论． 是点赞数得分． 用户评论被点赞数的得分计算公式如式（ ４ ）所示． 其中为当前评论的有帮助数，ｍ ａｘ／ｉ ｅ Ｚ ／） 为当前ａ ｐ ｐ 中评论中最大的点赞数．Ｈｅ ｌ ｐ＿Ｓ ｃｏ ｒｅ＝ｒ ． ｈｅ ｌｐ ｆｕ ｌ ｎ ｕｍｍ ａｘ ｈ ｅ ｌ ｐ（ ４ ）用户在应用商店中进行评论时， 会有时间属性，即用户是在何时进行评论的． 这些时间信息可以为我们提供诸多信息． 评论的时间离我们越远， 通常该评论越不具有时效性， 我们认为其价值较小． 本文用Ｔｉｍｅ＿Ｓｃ ｏ ｒ ｅ 表示时间得分， 式（ ５ ） 表示了时间得分的计算方法？ 其中， ｒｅｗ＇ｅｗｆ ｚＶｗｅ 是评论的时间， ｗｎ＇ｗｉ ｉｗ ｅ是数据集中最早的评论时间， ｃ ｗｒ ｒｅ ｗ？ ｆｍｅ 是当前时间． ７７ ；Ｔ ｚ ｅ＿ＳＣ 〇ｒｅ 值越大， 表示其距离现在越近， 其重要性越大．？？ｒｅｖ ｉ ｅ ｗｔｉ ｍｅ＿ｍ ｉｎｔ ｉｍ ｅ ＋ １， 、Ｔｉｍ ｅ＿ Ｓｃｏ ｒｅ＝———（ ５ ）ｃ ｕｒ ｒ ｅｎｔ ｔ ｉｍ ｅ＿ｍ ｉ ｎｔ ｉｍ ｅ＋ １由于评论中句子的长度是不固定的， 并且随着句子长度的增加， 句子的信息量是增加的． 但是， 随着句子长度的越来越大， 其信息量的增加是有限的．我们设置一个阈值Ａ 当超过该值时， 用户评论的信息量增加变慢． 信息量的计算公式如式（ ６ ） 所示， 其中， Ｊ ｗ／ｏ ｒ， 是指句子／ 的信息量得分，Ｚ ｅｗ （ Ｓｅｎ ｋｎ ｃｅ ） 是指句子的长度．Ｓ ｅｎ」ｎｆｏ ｒ ｉ＝—（ ６ ）１＿ｊ＿＾―＜， ｌ Ｓｅｎ ｔ ｅ ｎｃ ｅｉ）３ ． ５ ． ２ 评论综合推荐为了使开发者能够便捷地检索到用户评论中重要的信息， 同时正确的理解要完成的维护任务． 我们提供了一个可视化的在线原型系统向开发者展示挖掘得到的评论句子， 各个评论句子分别划分到不同的意图类别， 同时为了进一步保证ＡＲＩ ＣＡ 方法推荐评论的可读性， 我们只选择综合评分（ 也就是Ｔｏ ｔｏ Ｚ Ｓ ｃ ｏｒ ｅ ） 前１ ０ 的评论句子进行展示． 特别的， 我们同时基于用户情感倾向和评论意图等将挖掘得到的评论划分为紧急需求（ 或意见） 、核心需求以及其他需求三个等级， 其中情感倾向处于波谷附近的评论为用户的紧急需求（ 紧急需求可能包含问题发现等） ， 用户意图分类为问题发现和特征请求为核心需求， 属于其他这个类别的评论为其他需求．图５ 展示了Ｄｅ ｅｚ ｅ ｒ 应用的用户评论意见推荐，我们根据用户意图分类分别展示各个分类下的推荐的评论． 其中每一条评论分别包含了评论时间， 情感分数以及相应的评论等级． 比如推荐的前３ 条评论内容都是关于歌曲停止播放的问题， 情感分数不高， 且多个用户在同一个时间段都有提到． 因此，ＡＲＩＣＡ 会自动将它们划分为紧急需求， 因为这是ａ Ｐ Ｐ 出现歌曲播放的ｂ ｕ ｇ ， 而开发者可以直接根据Ａ Ｒ ＩＣＡ 推荐的评论建议进行直接的ａ ｐｐ 更新维护任务．２ １ ９ ４ 计算机学报 ２ ０ ２ ０ 年Ｄｅ ｅｚ ｅ ｒ Ｍ ｕ ｓ ｉｃ Ｐ ｌ ａ ｙ ｅ ｒＤ ｅｅｚｅｒ Ｍｕ ｓｉｃ ＰｌａｙｅｒＰ Ｒ ＯＢ Ｌ ＥＭＤ Ｉ ＳＣ ＯＶＥ ＲＹＦＥＡ Ｔ ＵＲＥＲ ＥＱＵ Ｅ Ｓ ＴＩ Ｎ ＦＯ Ｒ ＭＡ ＴＩ Ｏ ＮＳＥ Ｅ Ｋ Ｉ Ｎ ＧＩ ＮＦ ＯＲＭ ＡＴ ＩＯＮＧＩＶＩＮ ＧＯＴ Ｈ Ｅ Ｒ１ ： Ｉｖｅ ｒ ｅ ｉｎ ｓ ｔ ａｌ ｌ ｅｄ ｔ ｈ ｅ ａ ｐｐ ｌ ｉ ｃａｔ ｉｏ ｎ ｔ ｈ ｒ ｅｅ ｔ ｉｍ ｅｓ ｓ ｏ ｆａ ｒ ｂ ｅｃ ａｕ ｓ ｅ ｉ ｔ ｓ ｔ ｏ ｐ ｓｐ ｌ ａｙ ｉ ｎｇｓｏ ｎｇ ｓ ａ ｎｄｔ ｈ ｅ ｎ ｉ ｈ ａ ｖｅ ｔ ｏ ｕ ｎｉ ｎｓ ｔ ａ ｌ ｌ ａｎ ｄ ｒ ｅｉ ｎｓ ｔａ ｌ ｌ ａｇ ａ ｉｎ ｆ ｏ ｒ ｔ ｈｅ ｓｏｎ ｇ ｓ ｔ ｏ ｗ ｏ ｒｋ ａ ｎ ｄ Ｉ ｈ ａｖ ｅｐ ｒ ｅｍｉ ｕ ｍｓｏｙ ｅａ ｈ Ｋ ｉｎ ｄ ｌｙ ｆ ｉｘ ｔ ｈ ｉ ｓ ｉ ｓｓ ｕｅ日期： ２ ０ １ ８－０ ７－０ ８ 悄感分数： ２【Ｋ Ｓ１ 求１２ ： Ｉ ｔ ｓａｙ ｓ ｌｏａ ｄ ｉ ｎｇ ｂ ｕ ｔ ｔ ｈ ｅ ｓｏｎ ｇ ｎ ｅ ｖｅ ｒｐｌ ａｙ ｓ ａ ｎ ｄ ｙｅ ｓ ｉ ｔｓ ｃ ｏｎ ｎ ｅｃ ｔ ｅｄ ｔ ｏ ｔ ｈ ｅｗ ｉｆ ｉ ．曰期？ ２ ０ １ ８ － ０ ７ －０ ８ 悄？ 分＆ ？？ １【Ｋ Ｓ霈求］３ ： Ｅｘｃ ｅｐｔ ｔ ｈ ａｔ ｓｏ ｍ ｅｔｉ ｍｅ ｓ ａ ｎ ｄ ｔ ｈｉ ｓ ｈ ａｓ ｓｔａ ｒｔ ｅｄ ｈ ａ ｐ ｐｅ ｎ ｉｎ ｇ ｒ ｅｃ ｅｎ ｔ ｌｙ ． ｔ ｈｅ ａ ｐ ｐｌ ｉ ｃ ａｔ ｉ ｏ ｎ ｓｔ ｏ ｐ ｓｐｌ ａ ｙｉ ｎ ｇｓｏ ｎ ｇｓ ｗｈ ｅ ｔｈｅ ｒ ｔ ｈ ？ｙ ａｒ ｅ ｄ ｏ ｗｎ ｌ ｏａ ｄ ｅｄ ｏｒ ｎ ｏ ｔ ？日期２ ０ １ ８－ ０ ７－ ０ ８ 情感分数： ２【Ｓ ＳＳ 求Ｉ图５ 评论综合推荐示例４ 实验设计我们使用自然语言处理相关的技术将用户评论进行意图分类、主题分类以及句子聚类， 并提出了综合多维信息对用户评论信息进行优先级划分的方法． 我们的目的在于对应用的开发者提供ａ ｐｐ 维护相关的建议， 以此来减少开发人员在获取用户反馈中的时间消耗， 使其能够从大量的评论信息中找到关键的信息． 我们的实验设计主要受以下四个问题指导：Ｒ Ｑ １： 和基于传统的关键词提取等意图分类相比， 我们的意图分类方法是否更加具有优势？Ｒ Ｑ２ ： 基于ＤＢ Ｃ Ａ Ｎ 的聚类是否能达到将相似语义的评论语句聚类成一组？Ｒ Ｑ ３ ： Ａ ＲＩ ＣＡ 对用户评论的意见推荐是否能高效地为开发者进行ａ ｐ ｐ 的维护和更新提供真实参考？Ｒ Ｑ ４ ： 用户的情感对开发者建议推荐的影响如何？４． １ 数据准备本文提出的自动化评论分析方法涉及到的数据包括用户评论数据集以及ａ ｐ ｐ 的更新日志数据．４． １ ． １ 用户评论数据集为了回答我们的研究问题， 我们基于Ｇｏ ｏ ｇ ｌｅＰ ｌ ａｙ 的应用评论来评估我们的方法． 在选择ａ ｐ ｐ时， 我们采用以下几个原则： （ １ ） 这些ａ ｐ ｐ 是市场上流行的应用程序， 这意味着开发者会定期更新他们的应用程序以２ ） 包含不同类别的应用程序；（ ３ ） 应用程序有大量的用户评论， 从而可以验证评论自动化分析的效果． 基于这些原则可以在某种程度上保证所提出方法的泛化性． 最后， 我们选择了５ 个应用程序， 详细情况如表３ 所示．表３ 评论数据集Ａｐ ｐ 名字 类别 评论数 版本数Ｔ ｗｉｔ ｔｅ ｒ Ｎｅｗ ｓ ８＾Ｍａｇａ ｚｉ ｎ ｅｓ ３ ５ ５ ９ ８ ６Ｃｈ ｒｏｍｅ Ｃｏ ｍｍｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ４ ６ ０ ４ ５ ５Ｇ ｍａ ｉ ｌ Ｃｏ ｍｍｕ ｎｉ ｃ ａｔｉ ｏ ｎ ２ ２ ３ ６ ３ ４Ｕｂ ｅ ｒ Ｍａｐ ｓＮ ａ ｖ ｉ ｇ ａ ｔｉ ｏ ｎ １ ３ ０ ５ ３ ７Ｉ ｎ ｓ ｔ ａ ｇ ｒ ａｍ Ｓｏ ｃ ｉ ａ ｌ ９ １ ０ ６ ９ ５在表３ 中， 我们列出了应用程序的名称、类别、爬取的评论数以及评论集合中ａ ｐ ｐ 的版本数． 总体而言， 我们从４ 个类别下５ 个ａ ｐ ｐ 获得了２ ０ ８ １ ２ ８ 条评论．４ ． １ ． ２Ａｐｐ 更新日志Ａ ｐ ｐ 更新日志描述了最新版本的ａ ｐｐ 的主要修改内容， 以吸引用户安装和体验新版本．一般来说， 开发人员会在更新日志中记录与应用程序是否添加或删除功能相关的信息， 以及应用程序是否在某些设备上进行了改进， 还是针对特定的ｂｕ ｇ 进行了修复．表 ４展示了Ｇ ｏｏｇｌ ｅ Ｐｌ ａｙ中Ｔｗｉ ｔ ｔ ｅｒ２ ０ １ ９ ． １ １ ． １ １版本的更新日志详情．表４Ｔ ｗ ｉｔ ｔ ｅ ｒ２ ０ １ ９ ． １ １ ． １ １更新日志版本２ ０ １ ９ ． １ １ ． １ １Ｗｈａ ｔ＇ｓＮｅｗ ｉ ｎ Ｖ ２ ０ １ ９ ． １ １ ． １ １ ：ｆｅ ｗ ｕ ｐｄ ａ ｔ ｅｓ ｔ ｏ ｍａ ｋ ｅ Ｔｗ ｉｔ ｔ ｅｒ ｂ ｅ ｔｔ ｅ ｒ ！— Ｗｅ’ｒ ｅｍａ ｋ ｉ ｎ ｇ ｉ ｔ ｅ ａ ｓｉ ｅ ｒ ｆ ｏ ｒ ｙ ｏ ｕ ｔ ｏ ｓ ｅ ｅ ｔ ｈ ｅｍｏ ｓ ｔ ｒ ｅｌ ｅｖ ａ ｎ ｔ ａ ｎ ｄｉ ｎ ｔ ｅｒ ｅ ｓ ｔｉ ｎ ｇ ｃｏ ｎ ｖ ｅｒ ｓ ａｔｉ ｏ ｎ ｓ ｉ ｎ ｙ ｏ ｕ ｒ ｔｉｍ ｅｌ ｉ ｎ ｅ．—Ｎ ｏ ｗ ｙ ｏ ｕ ｃ ａｎ ｆｏ ｌ ｌ ｏ ｗ ｓ ｐ ｅｃ ｉｆｉ ｃｔ ｏ ｐ ｉ ｃ ｓ ｔ ｏ ｓ ｅ ｅ ｔｏ ｐ Ｔｗ ｅ ｅｔ ｓ ａ ｂ ｏ ｕ ｔ ｔ ｈ ｅｔ ｈ ｉ ｎ ｇ ｓ ｙ ｏ ｕ ｌ ｏ ｖ ｅ．肖建茂等：一种基于用户评论自动分１ １ 期 析 的 ＡＰ Ｐ 维护 和 演化方法 ２ １ ９ ５如表４ 所示， Ｔ ｗ ｉ ｔ ｔｅ ｒ 的２ ０ １ ９． １ １ ． １ １ 版本给出了最近的一些更新， 如增加了“关注特定主题”和“ 查看热门推文” 的功能， 这些更改表现出了开发人员所关注的问题． 尽管更新日志可能不能覆盖对ａ ｐｐ 新版本发布的所有修改， 但是它们代表了 ａ ｐｐ 主要更新的内容． 因此， 对于验证所从用户评论中挖掘的用户意图是否对开发人员有帮助， ａ ｐｐ 更新日志是一个合理的选择．４ ．２ 分析方法为了回答问题１ 和问题２ ， 我们从数据集中随机选取了 １ ９ ５ ５ 条句子进行手工标记用户的意图？．然后， 我们使用机器学习和Ｎ ＬＰ 任务中常用的度量标准， 将分类的结果与手动标记的真值集进行比较．在下面的部分中， 我们将描述创建的真值集和使用的衡量标准．４ ． ２ ． １ 创建真值集合为了创建真值集合， 我们分别从各个ａ ｐ ｐ 中采用分层随机抽样策略选取评论， 在抽样的过程中，我们验证了每个应用中提取的句子的百分比与原始集合中每个应用中评论的百分比相同． 最后按照３ ． ２ 节中的用户评论意图分类进行标记． 当句子与任何预先确定的类别不匹配时， 我们就会将句子标记为其他类别， 值得注意的是真值集包含了训练集和测试集．在标注的过程中， 我们选取两名同学分别进行用户评论意图标记， 两名同学本科和硕士都就读于计算机软件专业， 他们有丰富的背景知识． 当两人标记的结果出现分歧时， 我们另找第三个同学进行标记． 本着少数服从多数的原则， 我们将句子分类为两个人共同分类的结果作为最后的意图分类．另一方面， 由于用户评论的意图并不是均衡分布的． 例如， 用户只是单纯地表达喜恶的较多， 特征请求较少． 所以， 我们随机标记的数据具有数据不均衡性． 对此我们采用过采样的方法来对数据进行处理， 即把数据少的类别进行多次采样来减缓对分类结果的影响， 相当于增加了类别少的分类错误的惩罚． 表５ 展示了我们标注的数据真集的整体结果． 这个真集被用于为我们的意图分类算法生成训练集和测试集． 特别的， 我们随机选取其中８ ０ ％ 为训练集，剩余的２ ０ ％ 组成测试集．表Ｓ 意图分类标注结果类别Ａ ｐ ｐ 占比Ｉ ｎ ｓ ｔ ａ ｇ ｒ ａ ｍ Ｔ ｗｉｔ ｔ ｅ ｒ Ｃ ｈ ｒ ｏｍｅ Ｇ ｍａ ｉ ｌ Ｕｂ ｅ ｒＮ ｕ ｍ Ｒａ ｔｉ ｏ Ｎ ｕ ｍ Ｒ ａｔｉ ｏ Ｎ ｕ ｍ Ｒａ ｔｉｏ Ｎ ｕ ｍ Ｒａ ｔｉ ｏ Ｎ ｕ ｍ Ｒａ ｔｉ ｏ信息给予 １ ４ ５ ０ ．１ ９ １ ０ ６ ０ ． ２ ６ ４ ８ ０ ． １ ７ ３ ０ ０ ．１ ４ ５ ８ ０ ． ２ １信息搜寻 １ ２ １ ０ ．１ ６ ５ ６ ０ ．１ ４ ５ ５ ０ ． ２ ０ ４ ３ ０ ． ２ ０ ８０ ０ ． ２ ８特征请求 １ ４ ５ ０ ．１ ９ ５ ６ ０ ．１ ４ ２ ８ ０ ． １ ０ ４ １ ０ ．１ ９ ５ ８ ０ ．２ １问题发现 １ ０ ６ ０ ．１ ４ ６ １ ０．１ ５ ４ ５ ０． １ ６ ４ ４ ０ ． ２ １ ４ ３ ０ ． １ ５其他 ２ ５ ８ ０． ３ ３ １ ３ ０ ０ ． ３ ２ １ ０ １ ０ ． ３ ６ ５ ５ ０ ． ２ ６ ４ ２ ０ ． １ ５表６ 统计了上述真值集中所有ａ ｐ ｐ 下各个用户意图类别下评论句子数据及比例． 其中其他类别是最常见的类别， 占训练集的２ ９ ． ９ ％ ， 说明用户实际的评论很大一部分内容都是些和ａ ｐ ｐ 本身不是很相关的内容， 这也符合一般的真实情况， 比如我们经常可以看到用户的随意评论， 表情评论或评论语句非常短， 例如直接说“ｎ ｉ ｃ ｅ ａｐ ｐ ！” 或“ｇｏｏｄａ ｐ ｐ”， 这些评论没有为开发者带来开发任务相关的信息． 信息提供和信息搜寻紧随其后分别为１ ９ ．８ ％ 和１ ８ ． １ ％ ， 而问题发现和特征请求分别只出现在１ ６．８ ％ 和１ ５ ．２ ％表６ 评论句子标记结果类别 句子数 占比信息给予 ３８ ７ ０ ． １ ９ ７ ９ ５ ４信息搜寻 ３５ ５ ０ ？ １ ８ １ ５ ８ ６特征请求 ２９ ９ ０ ． １ ５ ２ ９ ４ １问题发现 ３２ ８ ０ ． １ ６ ７ ７ ７４其他 ５８ ６ ０ ？ ２９ ９７ ４ ４的句子中， 这说明用户评论中实际给出问题或特征请求相关的内容相对较少．４ ． ２ ． ２ 衡量指标ＲＱ １ 的衡量标准： 在我们的评估中， 我们将人工生成的真相集与自动生成的分类进行比较． 我们使用机器学习中常用的准确率／Ｖｅｃ ｂｏ ｎ 、召回率■Ｒ ｅ ｃａ ／ Ｚ 和Ｆ－ ｍｅ ａ ｓ ｕ ｒ ｅ 指标来评估结果． 他们的定义如式（ ７ ） 所示：Ｐｒ ｅｃ ｉ ｓ ｉｏ ｎＴＰＴ Ｐ＋ ＦＰＲ ｅｃａ ｌ ｌ ＝ＴＰＴ Ｐ＋ ＦＮ（ ７ ）Ｆ－ Ｍ ｅａ ｓｕ ｒ ｅ＝２ Ｐｒ ｅｄ ｓ ｉ ｏ ｎ ｙ＾Ｒ ｅ ｃａ ｌ ｌＰ ｒｅｃ ｉ ｓ ｉ ｏ ｎ￣＼￣Ｒ ｅｃａ ｌ ＬＴＰ （ Ｔ ｎｉ ｅ Ｐｏｓ ｉ ｔ ｉ ｖ ｅ ） 表示为将句子实际为正类①ｈ ｔ ｔ ｐｓ ： ／ ／ ｇ ｉ ｔ ｈ ｕｂ ． ｃｏｍ ／ ｘ ｕ ａｎ ｈ ｕ ｉ ０ １ ２ ９ ／ ＡＲＩＣＡ ／ｔ ｒ ｅｅ／ ｍ ａｓｔ ｅｒ ／ ｃｆ ａｔ ａ２ １ ９ ６计算机学报２ ０ ２ ０ 年且分类为正类， ＦＰ （ Ｆａ ｌ Ｓ ｅＰｏ ｓ ｉ ｔ ｉ ｖ ｅ ） 表示将句子实际为负类， 但分类为正类． 而实际为正类， 但分类的为负类的句子表示为ＦＮ （ Ｆａ ｌ ｓ ｅＮ ｅ ｇａ ｔ ｉ ｖｅ ｓ ） ？ 另外， 考虑到本文评论意图分类是多分类问题， 因此我们取各个分类结果的整体平均值作为衡量指标， 即宏查准率（ ＾ ＾ ＼＾￡＇；＿〇／３／＾ ）， 宏查全率（ ］＾（２ （ ： 厂０ 尺６ ＜： ） 以及宏？＇１值（ Ｍｗｒｏ Ｆｌ ）， 它们的计算公式如式（ ８ ） 所示：Ｍａ ｃｒ ｏ Ｐｒ ｅ ＝Ｉ”＝ — 乏］Ｐｒｅ ｃ ｉ ｓ ｉ ｏ ｎ”＾ ｉ ＝ ｉＭａ ｃ ｒ ｏＲ ｅｃ ＝ Ｒｅ ｃａ ｌ ｌ＾（ ８ ）Ｍａ ｃ ｒｏ ＦＩ ＝１ｖ％— ／， Ｆ－ ｍ ｅａ ｓ ｕ ｒ ｅ ，７２３其中， ｗ 表示分类的类别数， 本文中意图分类为５ 种．即ｗ ＝ ５ ．对于ＲＱ ２ ， 由于需要将句子语义相近的进行聚类， 但是我们事先并不知道需要聚类的簇数Ａ 值，故像ｔ ｍ ｅ ａ ｎ ｓ 需要指出聚类簇数的算法并不合适．ＤＢ ＳＣＡ Ｎ 是基于密度的算法， 不需要指定聚类簇数， 并且可以处理非凸分布的数据集． 因此， 我们采用密度聚类方法ＤＢ ＳＣＡ Ｎ 进行句子的聚类．ＤＢ Ｓ ＣＡ Ｎ 需要两个参数： 最小密度ｍ ｉ ｎＰ ｔ ｓ 及距离两点之间的最大距离￡， 找到合适的ｍｉ ｎｐ ｏｉ ｎ ｔ ｓ 和半径是聚类效果的关键．为了回答Ｒ Ｑ３ 和ＲＱ４ ， 我们使用官方真实的更新日志来验证Ａ Ｒ ＩＣ Ａ 的效果， 同时比较加入情感分析和不加人情感分析的推荐结果去观察最后的用户评论意见推荐效果．５ 结果分析Ｒ Ｑ １： 和基于传统的关键词提取等意图分类相比． 我们的意图分类方法是否更加具有优势？高效的意图分类是实现开发者准确获取用户建议的基础， 为了表达我们的意图分类算法的高效性，我们分别设计了不同的分类算法来进行比较． 在评论意图分类的过程中， 分别使用了经典的Ｔ Ｆ－ＩＤ Ｆ 、ｗ ｏｒ ｄ ２ ｖ ｅ ｃ 和ＢＥＲ Ｔ 词向量模型将评论句子进行向量化， 并作为分类算法的输人， 比较最后的意图分类效果． 为了展示本文Ｂ ＥＲ Ｔ 模型的高效性， 我们分另１Ｊ 使用Ｒａ ｎ ｄｏｍＦ ｏｒ ｅ ｓ ｔ 、ｓ ｖｍ 、Ｌ ｏ ｇｉ ｓ ｔ ｉ ｃＲ ｅｇ ｒ ｅ ｓ ｓ ｉ ｏ ｎ 、ＸＧ Ｂ Ｃ ｌａ ｓ ｓ ｉ ｆｉ ｅｒ 、Ｔ ｅ ｘｔ ＣＮ Ｎ ［１ ９］ 以及Ｂ Ｅ ＲＴ原生算法来进行比较．表７ 展本了各个分类算法下Ｍ２ ｃｒｏ Ｐ；＊ｅ ， ＭａｆｒａＲｅ ｃ以及ＡＷｍＦ ｌ 的结果． 我们可以看到在不同的向量模型下， ＢＥ Ｒ Ｔ 模型均取得了最好的分类效果， 其中Ｌ ｏｇ ｉ ｓ ｔ ｉ ｃＲ ｅｇ ｒ ｅ ｓ ｓ ｉ ｏ ｎ 分类算法取得的效果最佳，Ｍａ ｃ ｒｏＰ ｒｅ 为０ ． ７ ９ ， Ｍｕ ｃ ｒｏＲ ｅｃ 为 ０ ． ８ １ ， Ｍｃｉ ｃ ｒｏＦ ｌｉ 为 ０ ． ８ １ ．表７ 不同分类方法的结果分类方法衡量指标ＴＦ－Ｉ ＤＦ Ｗｏ ｒ ｄ ２ ｖ ｅｃ ＢＥ ＲＴＭａ ｃ ｒｏＰ ｒｅ Ｍａ ｃ ｒｏ Ｒｅｃ Ｍａ ｃｒｏ Ｆ ｌ Ｍａ ｃ ｒｏ Ｐｒｅ Ｍａ ｃ ｒｏＲ ｅｃ Ｍａ ｃｒｏ Ｆ ｌ Ｍａ ｃ ｒｏ Ｐｒ ｅ Ｍａ ｃ ｒｏ Ｒｅｃ Ｍａ ｃ ｒｏＦ ｌＲａ ｎ ｄ ｏｍＦ ｏ ｒ ｅｓ ｔ ０ ． ６ ９ ０ ． ６ ９ ０ ． ６ ９ ０ ． ６ ６ ０ ． ６ ６ ０ ． ６ ６ ０ ． ７ １ ０ ． ７ １ ０ ． ７ ０Ｓ ｖ ｍ ０ ． ７ ０ ０ ． ７ １ ０ ． ７ １ ０ ． ７ １ ０ ． ６ ４ ０ ． ６ ４ ０ ． ７ ５ ０ ． ７ ４ ０ ． ７ ２Ｌ ｏｇ ｉ ｓ ｔ ｉ ｃＲ ｅ ｇ ｒ ｅｓ ｓ ｉ ｏ ｎ ０． ７ １ ０ ． ６ ７ ０ ． ６ ９ ０ ． ７ １ ０． ７ １ ０ ． ７ １ ０ ． ７ ９ ０ ． ８ １ ０ ． ８ １Ｘ Ｇ ＢＣｌ ａｓ ｓ ｉ ｆ ｉｅ ｒ ０ ． ６ ６ ０ ． ６ ５ ０ ． ６ ６ ０ ． ６ ９ ０ ． ６ ９ ０ ． ６ ９ ０ ． ７ ３ ０ ． ７ ３ ０ ． ７ ３Ｆ ＦＮ Ｎ （ Ｂ ＥＲ Ｔ 原生） ０ ． ７ １ ０ ． ７ １ ０ ． ７ ０ ０ ． ７ ５ ０ ． ７ ６ ０ ． ７ ６ ０ ． ７ ７ ０ ． ７ ８ ０ ． ７ ８除了与上述传统的分类方法比较外， 我们还与当下意图识别最好的工作之？ ？ Ｔ ｅ ｘｔ ＣＮ Ｎ ［ １ ９ ］ 进行了比较， 我们将本文的测试数据集在Ｔ ｅ ｘｔ ＣＮ Ｎ 方法上进行分类， 并对其超参数进行调整， 得到整体的Ｍｕ ｃ ｒ〇＿Ｆ ｌ 值为０ ． ６ ８ ， 其混淆矩阵如图６ 所示． 从表７中我们可以看出我们的基于Ｂ Ｅ ＲＴ 的意图分类算法均大幅度高于Ｔｅ ｘ ｔ ＣＮ Ｎ 方法的０ ？ ６ ８ ， 其中基于Ｌｏ ｇｉ ｓ ｔｉ ｃＲｅｇｒ ｅ ｓ ｓ ｉｏｎ分类的Ｍａ ｃ ｒｏＦ ｌ提高了１ ９ ． １ ％ ．表 ８展亦／ 基于ＢＥＲＴ模型， Ｌｏｇ ｉ ｓ ｔ ｉ ｃ Ｒｅｇｒ ｅ ｓ ｓ ｉ ｏｎ分类算法下各个用户意图类别的综合结果， 其中Ｍａ ｆ ｒｏ ｆＶｈ Ｍａ ｃｍＲｅ ｆ 以及Ｍａ ｃ ｒｏ Ｆ ｌ 的平均值分别达到０ ？ ７ ９ ６ 、０ ． ８ ０ ２ 和０ ？ ８ ３ ２ ５． 而信息搜寻类别的各个指标达到〇． ９ ５ 以上， 高效的用户意图分类可以为Ｔｅｘ ｔ ＣＮＮＦＲ丨ＧＩ ＳＯｔｈｅｒＰＤＴｒ ｕ ｅ ｌａ ｂｅｌ图６ 基于Ｔ ｅ ｘｔ Ｃ ＮＮ 分类混淆矩阵肖建茂等：一种基于用户评论自动分１ １ 期 析的 ＡＰＰ 维护和 演化方法 ２ １ ９ ７表８ 基于ＢＥ Ｒ Ｔ 模型的评论意图分类结果类别 Ｐ ｒｅｃ ｉｓ ｉｏ ｎ Ｒｅ ｃａ ｌｌ Ｆ Ｉ－ｓ ｃｏ ｒｅ信息给予 ０． ７ １ ０ ． ６ １ ０ ． ６ ６信息搜寻 ０． ９ ５ ０ ． ９７ ０ ． ９ ６特征请求 ０． ７ ６ ０ ．８ ０ ０ ． ７ ８问题发现 ０ ． ７ ７ ０ ． ８ ２ ０ ． ７ ９其他 ０ ． ７９ ０． ８ １ ０ ． ８ ０平均 ０ ． ７ ９６ ０ ． ８ ０ ２ ０． ８ ３ ２ ５后续开发者推荐准确用户需求提供理论支持．ＲＱ ２： 基于ＤＢＣ Ａ Ｎ 的聚类是否达能将相似语义的评论语句聚类成一组？评论句子聚类效果的好坏直接关系到最后为开发者进行用户意图推荐的有效性． 我们使用稠密型向量表示方法ｗ 〇ｒ ｄ ２ ｖ ｅ ｃ 对预处理后的评论数据进行词向量化表示． 在具体进行聚类时， 我们对评论句子分别求出各个词的向量， 并对词向量加权求和． 最后将词向量处理过后的句子用ＤＢＳ Ｃ Ａ Ｎ 算法进行聚类， 从而找到句子之间距离较短、相似度较高的句子聚类到一块．ＤＢ Ｓ ＣＡ Ｎ 算法涉及两个参数， 分别是最小密度ｍｉ ｎ Ｐ ｏ ｉｎ ｔ ｓ 及距离两点之间的最大距离ｅ ． 不同的ｍ ｉ ｎ Ｐ ｏ ｉｎ ｔ ｓ 和ｅ 直接会影响最后的聚类效果． 本文由于我们要将多个的句子进行聚类， 因此， 我们将最小密度设置为２ ， 而对于距离两点之间的最大距离ｅ ，我们动态地去调整参数来获取分类效果最好的ｅ 值．为了验证聚类算法的效果， 我们随机从Ｉ ｎｓ ｔ ａ ｇｒ ａｍａｐ ｐ 下选取１ 〇〇条句子进行聚类分析． 同时让我们组两名同学分别将它们进行人工聚类分析， 将语义相似的句子聚类成一个类别， 对于有争议的句子， 我们通过进一步地讨论来决定句子所属的类别． 在实际的人工聚类的过程中， 发现有８ ５ 个句子未出现争议． 由于ｅ 取值范围在０ 和１ 之间， 所以我们在进行调参时将其取值设置为ｎ Ｘ Ｏ ． １． 通过设置不同的ｅ ，然后比较聚类的结果， 我们得到最佳的ｅ 值为〇． ５ ，此时． Ｍａ ｃ ｒｏ ｆＶｅ 为０ ． ７ ８． 为了进一步获取更好的分类效果． 我们进一步对ｅ 进行微调． 最后得到最佳ｅ 值为０ ． ５ ５ ， 此时ｉＷａ ｃｒｏ ／Ｖｅ 为０ ． ８ ６ ， 达到最好的效果．在确定好最佳的ｅ 值后． 我们对Ｉｎ ｓ ｔ ａ ｇｒ ａ ｍ 下面的１ ０ ０ ５ ０ 个句子进行聚类分析， 得到的簇数目为１ ３ ０ ４ ， 极大减少了用户评论中的冗余信息． 表９ 展示了我们聚类句子的一个示例， 我们可以从中看到， 在聚类类别１ ４ ０ 中， 虽然用户表达所用的词语不同， 但是其语义却是相似的， 都是表达视频和音频的播放问题， 而类别１ ３ ６ 表达的是用户喜欢这个社交媒体平台， 语义也非常相似． 这表明我们评论聚类效果可以很好支撑后续的开发者意见推荐．表９ 基于Ｄ ＢＳ ＣＡ Ｎ 的句子聚类句子ｉ ｄ 评论句子 簇３ ９ ３ ０ｓ ｏ ｍ ｅｔｉ ｍｅ ｓｐ ｌ ａ ｙｖ ｉ ｄ ｅ ｏｅ ｎ ｄａ ｕ ｄ ｉｏ ｋ ｅ ｅｐｇ ｏ ｅｘ ｉｔｃ ｏ ｍ ｐ ｌ ｅｔ ｅ ｌ ｙ ．１ ４ ０３ ２ ５ ４ｐ ｒ ｏ ｂ ｌ ｅ ｍｒ ｉ ｇ ｈ ｔ ｖｉ ｄ ｅ ｏ ｌ ｏａ ｄ ｐ ｌ ａ ｙ ｋ ｅｅ ｐ ｓ ｃ ｒ ｏ ｌ ｌ ｖｉ ｄ ｅｏｋ ｅ ｅｐ ｐ ｌ ａ ｙ ｖ ｉｄ ｅ ｏ ．１ ４ ０１ １ １ １ａ ｌ ｓ ｏ ｓ ｏ ｍｅ ｔ ｉｍ ｅｓ ａ ｕｄ ｉｏ ｓｔ ｏ ｐ ｖ ｉ ｄ ｅｏ ｋ ｅｅ ｐ ｐ ｌ ａ ｙ ｂａ ｃ ｋ ？ｇ ｒ ｏ ｕ ｎ ｄ ｓｃ ｒ ｏ ｌ ｌ ．１ ４ ０４８ ９０ ｐ ｒ ｏ ｂ ｌ ｅ ｍｖｉｄ ｅｏ ｋ ｅｅ ｐ ｐ ｌ ａｙ ｓｏ ｕ ｎ ｄ ｓｃ ｒ ｏ ｌ ｌ ｐ ｏ ｓｔ ． １ ４ ０１ ０ ８ １ ｌ ｏ ｖ ｅｂ ｅ ｓｔ ｓ ｏ ｃｉ ａ ｌｍｅ ｄ ｉ ｕ ｍｐ ｌ ａ ｔ ｆｏ ｒ ｍ ． １ ３ ６１ ６ ４ １ ｏ ｎ ｅｂ ｅ ｓｔ ｓ ｏ ｃｉ ａ ｌｍｅ ｄ ｉ ｕ ｍｐ ｌ ａ ｔ ｆｏ ｒｍ ． １ ３ ６为了更好地展示我们的聚类效果， 我们使用文献［３ ９］ 提出的一种有效的降维方式“ｔ－ ＳＮ Ｅ” 技术来可视化我们的聚类效果， 当数据维度高于２ 维时， 聚类结果可以以二维的方式展示出来． 图７ 可视化了Ｉ ｎｓ ｔ ａｇ ｒ ａ ｍ 下评论句子数目较多十个聚类簇． 可以发现， 我们的聚类算法可以很好地聚类语义相似的句子． 高效的聚类语义相关的句子可以提高为开发者推荐用户评论意见的准确性．图７ 丨ｎ ｓｔ ａ ｇ ｒ ａｍ 评论句子聚类效果可视化Ｒ Ｑ ３ ： 我们对用户评论的意见推荐是否能高效地为开发者进行ａ ｐ ｐ 的维护和更新提供真实参考？我们分别从Ａ ＲＩＣＡ 有效性分析和讨论来评估我们的模型是否有助于开发人员分析用户反馈．（ １ ） 有效性分析本节我们通过Ａｐ ｐａ ｎ ｎ ｉ ｅ （ — 个包含对Ｇ ｏ ｏ ｇ ｌ ｅＰ ｌ ａｙ 以及Ａｐ ｐ ｌ ｅＡ ｐ ｐＳ ｔｏ ｒ ｅ 中ａ ｐｐ 的数据分析平台） 中的应用程序的更新日志来验证我们对用户评论推荐的有效性． 特别的， 为了验证Ａ ＲＩ Ｃ Ａ 的可行性和高效性， 我们特意选取了和意图分类不同的其他ａ ｐ ｐ 的用户评论来进行验证分析． 值得注意的是，通过检查ａ ｐｐ 的更新日志发现， Ｇｏ ｏ ｇｌ ｅ Ｐｌ ａ ｙ 中ａ ｐｐ在更新时有的开发者不写更新日志， 或者只是粗略地描述ａ ｐ ｐ 的更新情况， 比如更新日志中只写了２ １ ９ ８ 计算机学报 ２ ０ ２ ０ 年“Ｂｕｇ ｆｉ ｘｅ ｓａ ｎ ｄｐ ｅ ｒ ｆ ｏｒｍａ ｎｃ ｅｉ ｍｐ ｒｏｖ ｅｍ ｅｎ ｔ ｓ”， 其中的ｂｕ ｇ 和性能改进内容不够具体， 无法对Ａ Ｒ ＩＣＡ进行验证． 因此， 我们在检查这些应用程序的历史更新日志时， 手动删除以上没有具体修改信息的日志．最后， 我们选择了 Ｆｒ ｅ ｅＲｉ ｎｇ ｔｏ ｎｅ ｓ 和Ｄｅｅ ｚ ｅ ｒ Ｍ ｕ ｓ ｉ ｃＰ ｌａ ｙ ｅ ｒ ２ 个ａ ｐ ｐ 进行实证分析验证， ａ ｐｐ 详细信息如表１ ０ 所示？表１ ０ 更新日志数据集Ａ ｐ ｐ 名字 类别 评论数 时间段 版本数Ｄ ｅｅ ｚｅ ｒ Ｍｕｓ ｉ ｃＰ ｌ ａ ｙ ｅ ｒＭｕ ｓ ｉ ｃ Ｓ－ Ａ ｕ ｄ ｉ ｏ １ ３ ８ ３ ４２ ０ １ ８ ． ０ ３ ．０ ５ ？２ ０ １ ９ ． ０ １ ． ２ ４３５Ｆ ｒ ｅ ｅＲ ｉ ｎ ｇｔ ｏ ｎ ｅ ｓ Ｍｕ ｓ ｉ ｃ ＆－ Ａ ｕ ｄｉ ｏ ８ ８ １ ３２ ０ １ ４ ． ０ ２． ２ ４ ？２ ０ １ ９ ． ０ １ ． ２ ４７６表１ １ 展示了Ｆ ｒｅｅ Ｒ ｉｎ ｇ ｔｏｎ ｅ ｓ版本７． １．１和２ ０ １ ８ 年８ 月１ ４ 日， ７ ． ２ ． ０ 版本修复了 ａ ｐｐ 的搜索功能以及增加了新的来电铃声（ 表１ １ 粗体部分的更新内容） ． 这表示我们推荐的评论基本上都有被开发者所处理， 并在相应的下一个版本进行了更新．为了更好地量化我们推荐评论的整体效果， 我们使用如下自定义的衡量指标来验证Ａ ＲＩ ＣＡ ？ 衡量指标Ｐｒｗ Ｍｏ ／ｖ 表示推荐的准确性， 为推荐的前ｔｏ ｐ－ 々条评论中有多少内容反映在更新日志中， Ｆ，，．ｖＷ 衡量了ｆＶｅｃｈｏ ｗ （． 与７． 之间的平衡，值越高， 表明推荐的评论更精确地覆盖了更新日志， 并且更多的更新日志反映在推荐的ｔ ｏｐ－ Ａ 评论中． 它们计算公式如式（ ９ ） 所示：ｎ． ．Ｓ （ Ｃ ｆ］ Ｒ ）ｒ ｒｅｃ ｔ ｓ ｔ ｏ ｒｉ ｃ＝￣■ －，７ ． ２ ． ０ 的更新时间及更新内容， 表１ ２ 为Ａ ＲＩＣＡ 推荐的前１ ０ 条评论句子． 我们手动检查每一个版本识别出的ａ ｐｐ 问题是否可以反映在下一个版本的变更日志中． 根据表１ ２ ， 我们可以看到用户群体在２ ０ １ ８ 年７ 月２ ０ 日反馈了搜索功能无法工作以及抱怨只有“ 工厂模式” 铃声（ 表１ ２ 的粗体部分） 的评论． 而在表１ １Ｆｒｅ ｅＲｉｎｇ ｔｏ ｎｅ ｓ 更新日志版本 时间 更新日志信息７． １ ． １ ２ ０ １ ８ ． ７ ． ０ ３（ １）Ｆｕ ｎ ｃｔｉ ｏ ｎ ａ ｌ ｉｔ ｙ ｏ ｆ ｔ ｈ ｅ ａｐ ｐ ｉｍｐ ｒ ｏｖ ｅ ｄ（ ２ ）Ｎ ｅ ｗ ｒｉｎｇｔｏ ｎｅｓ ｐ ａｃ ｋａ ｇ ｅ ａｄｄ ｅ ｄ７． ２． ０ ２０ １ ８ ． ８ ． １ ４（ １ ） Ｓｔａ ｂｉｌｉｔｙ ａ ｎｄ ｒｅｌｉ ａｂｉｌｉｔｙ ｏ ｆ ｔ ｈ ｅａ ｐ ｐ ｉｍｐｒｏ ｖｅｄ（ ２ ）Ｆ ｉ ｘｅｄ ａ ｎ ｉ ｓ ｓｕ ｅ ｗ ｉｔ ｈ ｔ ｈ ｅ ｓｅａ ｒｃｈ ｆｕｎｃ ｔｉ ｏｎ．（ ３ ）Ｎ ｅｗ ｒｉ ｎｇ ｔｏ ｎｅｓｃ ａｔ ｅ ｇ ｏ ｒ ｙ ａｄ ｄ ｅ ｄ－Ｔ ｈ ｅ ｂ ｅｓ ｔｏ ｆ ２ ０ １ ８ ． Ｃｈ ｅｃ ｋｉｔ ｏ ｕ ｔ ．表１ ２ＡＲＩＣＡ 推荐的评论句子时间段推荐的评论句子， 【情感分】， 评论时间（ １ ）Ｉ ｄ ｏｗ ｎ ｌ ｏ ａｄ ｅｄ ｔ ｈｉｓ ａ ｐ ｐ ｌｉｃａ ｔｉｏ ｎ ｏ ｎ ｍｙ ｎ ｅ ｗｐ ｈ ｏ ｎ ｅ ｓｏ Ｉ ｃ ａｎ ｈ ａ ｖｅ ｔ ｈ ｅｓａ ｍｅ ｒ ｉ ｎ ｇ ｔ ｏｎ ｅ Ｉｄ ｉ ｄ ｏ ｎｍｙ ｏ ｌ ｄ ｐ ｈ ｏ ｎ ｅ． 【一１ 】，２ ０ １ ８ ． ０ ７ ．２ ０（ ２ ）Ｉ ｓ ａｗ ａ ｓ ｎ ｉ ｐ ｐ ｅ ｔｏ ｆ ａｎ ｏ ｔ ｈ ｅｒｒ ｅ ｖ ｉｅ ｗ ｔ ｈ ａ ｔｃｏ ｍｐ ｌ ａ ｉ ｎ ｅ ｄｔ ｈ ａ ｔｔ ｈ ｉ ｓａ ｐ ｐ ｌ ｉ ｃａ ｔ ｉ ｏ ｎｏ ｎ ｌ ｙｈ ａ ｓ“ｆａ ｃｔ ｏ ｒ ｙ－ｌ ｉ ｋ ｅ”ｒ ｉ ｎｇｔｏ ｎｅｓ ． 【一２ 】， ２ ０ １ ８ ． ０ ７ ． ２ ０（ ３ ）Ｍｏ ｓ ｔ ｏ ｔｈ ｅｒ ｒｉｎｇｔｏ ｎ ｅ ａｐ ｐ ｓ ｄ ｏ ｎｏ ｔ ｈ ａｖ ｅ ａｎ ｙ ｔｈｉ ｎ ｇＩｗｏ ｕ ｌｄ ｅ ｖｅ ｎ ｃｏｎ ｓｉ ｄ ｅｒ ｕｓｉ ｎ ｇ ． 【一１ 】， ２ ０１ ８ ． ０ ７ ． ２０Ｃ ４ ） Ｃｏ ｕ ｌ ｄ ｎ ｏ ｔ ｂ ｅ ｂｏ ｔ ｈ ｅ ｒ ｅｄ ｔｏ ｔｒ ｙ ａ ｎ ｄ ｓｏ ｒ ｔ ｉ ｔ ｏ ｕ ｔｓｏ ｕ ｎｉｎｓｔ ａ ｌ ｌ ｅ ｄ ｉｔ ．Ｖ ｅｒ ｓ ｉｏ ｎ ７． ２ ． ０ ，（ ５ ） Ｓｅａ ｒｃｈｆｕ ｎｃ ｔｉ ｏｎ ｄｉ ｄｎ ｏ ｔｗ ｏ ｒ ｋ ． 【—１ 】，即 ２０ １ ８ ．８ ． １ ４２０ １ ８ ．０ ７ ． ０ ８之前（ ６ ）Ｔ ｈｅ ｈ ａｎｄ ｆ ｕ ｌ ｏ ｆ ｔ ｏ ｎ ｅｓ Ｉ ｈｅａ ｒ ｄ ｗ ｅｒ ｅ ａ ｗｆ ｕ ｌ．（ ７ ） Ｔ ｈ ｉ ｓ ａ ｐｐ ｌ ｉ ｃ ａ ｔｉ ｏ ｎ ｉ ｓａ ｃｏｍｐ ｌ ｅｔ ｅｗ ａ ｓｔ ｅ〇￡ｔｉ ｍｅｊｕ ｓｔ ｄ ｅｌｅｔ ｅ ｉ ｔａ ｎ ｄ ｓａ ｖｅ ｙｏ ｕｒ ｍｅ ｍｏ ｒ ｙ ｓｐ ａ ｃ ｅ ！（ ８ ）Ｔ ｈｉ ｓｉ ｓ ａ ｈ ｏｒｒｉｂｌ ｅ ａｐ ｐ ，ａｎ ｙｔ ｈｉ ｎｇｍｏ ｒ ｅ ｏ ｒ ｌ ｅｓ ｓｐ ｏ ｐ ｕ ｌ ａ ｒ ， ｏｒ ｃ ｌ ａｓ ｓ ｉ ｃａ ｌ ， ｏ ｒ ｐ ｒｅ ｔ ｔ ｙ ｍｕ ｃｈ ａｎｙ ｔ ｈｉ ｎ ｇａｔ ａ ｌ ｌ ｙｏ ｕ ｔ ｙ ｐ ｅ ｉ ｎｔ ｈｅ ｓ ｅａ ｒｃｈ ｊ ｕ ｓ ｔ ｄ ｏ ｅ ｓ ｎｏ ｔ ａ ｐ ｐｅ ａ ｒｔｏ ｂ ｅ ｏ ｎ ｔ ｈｉ ｓ ａ ｐ ｐ ． 【一４ 】， ２ ０ １ ８． ０ ７ ． ２ ０（ ９ ） Ｇｒｅ ａ ｔｑ ｕ ａ ｌ ｉ ｔ ｙ ａ ｎｄ ａ ｗｉ ｄ ｅ ｖ ａ ｒ ｉ ｅｔ ｙ ｏ ｆ ｓｔ ｙ ｌ ｅ ｓ ｔ ｏｃｈｏ ｏ ｓ ｅ ｆｒ ｏｍ．（ １ ０ ）Ｒｉ ｎｇｔ ｏｎｅｓ ａｒｅ ａｖ ａｉ ｌ ａｂ ｌ ｅ ｉ ｎ“ｐ ａｃｋ ｓ”ｔ ｈ ａｔ ｍ ｕｓｔｂ ｅｄ ｏｗｎｌｏ ａｄ ｅｄ ｂ ｅｆ ｏｒｅ ｋ ｎｏｗｉｎｇ ｗ ｈ ａｔ ｉ ｓｉ ｎｔｈ ｅｍ．Ｒｅｃ ｕ ｌｌ ｒ＝Ｓ Ｃ Ｃ ＯＲ ）Ｓ （ Ｒ ）（ ９ ）Ｆｈ ｙｂｒ ｉ ｄ＝ ２ ＸＰｒｅｃ ｉ ｓ ｉ ｏ ｒｉ ｃ ＸＲｅ ｃａ ｌｌ ｊＰｒ ｅ ｃ ｉ ｓ ｉｏ ｎｃ￣＼＾ Ｒｅ ｃａ ｌｌ Ｔ其中， Ｓ （ Ｃ） 表示更新日志的记录数， Ｓ Ｃ Ｒ ） 为推荐的前ｔ ｏｐ ｊ 条评论， Ｓ （ Ｃ Ｈ ｉ？ ） 为推荐的评论内容中有多少反映了ａ ｐｐ 更新日志中的更改信息． 我们基于上述衡量指标， 在ａ ｐ ｐ Ｆ ｒ ｅｅ Ｒｉ ｎ ｇｔ ｏ ｎ ｅ ｓ 上获得了Ｐ ｍ： ｉ ｓ ｉｏ ？ ２ ｃ＝０ ． ６ ６ ７ ， Ｊ？ ｅｃａ ＂ｒ＝０ ．４ ， Ｆ，， ｙ）ｒ，ｗ＝ ０ ？ ６ ３ １的效果． 这表明ＡＲ Ｉ ＣＡ 推荐用户评论建议的可行性和高效性．（ ２ ） 有效性讨论由于在ａ ｐｐ 新的版本的更新日志可能不会覆盖所有的更改， 但叱代表了 ＡＲＩ ＣＡ 性能的下界［ ２ Ｓ］， 它不仅推荐了关于ａ ｐｐ 的出现的“ｓ ｅ ａ ｒ ｃｈｆ ｕｎ ｃ ｔｉ ｏ ｎ”的ｂ ｕｇ 评论， 同时也推荐了关于增加铃声包的功能， 至于更新日志中关于ａ ｐ ｐ 的稳定性和可靠性， 虽然用户一般不会使用类似的评论直接表达，但会通过如评论（ ９ ） 所述的内容来间接反映ａｐ ｐ 的质量． 此外， 如表１ ２ 所示， Ａ Ｒ ＩＣＡ 除了可以识别关于ａｐ ｐ 更新日志的大多数内容， 同时也可以推荐关于信息给予类别的内容， 比如评论（ １ ） ， （ ９ ） 和（ １ ０ ） 是关于用户给出一些使用ａ ｐｐ 的体验信息， 这些信息对于开发者对用户使用ａ ｐ ｐ 体验有一个直观的了解， 但一般不会在更新日志中体现． 因此， 尽管我们的方法可能不能覆盖所有的更新内容， 但对于用户重点关注的问题， 都能够很好地检测出来并呈现给开发者．ＲＱ４ ： 用户的情感对开发者建议推荐的影响如何？用户的情感倾向直接反映了用户的评论意图，肖建茂等：一种基于用户评论自动分１ １ 期 析的 ＡＰＰ 维护和 演化 方 法 ２ １ ９ ９本文我们主要考虑的是情感波谷对评论综合推荐的影响， 表１ ３ 展示了比较考虑了情感因素和未考虑情感因素对评论推荐的影响． 从中可以看到． 加人了情感分析后， Ｐｒｅ ｃｂ ／ ｏ ｗｃ ，■ 和＾ 都相应地提高， 这说明用户的情感倾向对于提高评论推荐的准确性具有重要价值．表１ ３ 情感因素对推荐评论结果的影响衡量指标名字 Ｐ ｒｅｃ ｉｓ ｉｏ ｎ ｃ ，ｔ ｏ ｐ－々＝５Ｒｅｃａ ｌ ｌｒ ？ｔｏ ｐ－厶＝５Ｆｈ ｙｂ ｒｉｄｔ ｏ ｐ－々＝５Ｐｒｅ ｃｉ ｓ ｉｏｎ ｃ ？ｔ ｏ ｐ－々＝１ ０Ｒｅｃａ ｌ ｌ ｒ ？ｔ ｏ ｐ－ 是＝１ ０Ｆｈ ｙｂｒｉ ｄ？ｔ ｏ ｐ－ 是＝１ ０Ｆ ｒ ｅ ｅＲ ｉ ｎ ｇ ｔｏ ｎ ｅ ｓ ０ ． ６ ６ ７ ０ ． ６ ０ ．６ ３ １ ０．６ ６ ７ ０ ． ４ ０ ． ５Ｆ ｒ ｅ ｅＲ ｉｎ ｇ ｔ ｏ ｎ ｅ ｓ （ 未考虑情感） ０． ６ ６ ７ ０ ． ４ ０ ． ６ ３ １ ０ ． ６ ６ ７ ０ ． ３ ０ ． ４ １ ４Ｄ ｅｅｚ ｅ ｒＭｕ ｓ ｉ ｃ Ｐ ｌａ ｙ ｅ ｒ ０ ． ５ ０ ． ４ ０ ． ４ ４ ４ ０ ． ７ ５ ０．４ ０ ． ５ ２ ２Ｄｅ ｅｚｅｒ Ｍｕｓ ｉ ｃ Ｐｌ ａ ｙ ｅｒ （ 未考虑情感） ０ ． ２ ５ ０． ２ ０ ． ２ ２ ０ ． ５ ０ ． ４ ０ ． ４ ４ ４为了更细粒度地说明我们推荐的评论的高效性， 我们分别对推荐评论的前５ 和前１ ０ 个评论计算他们准确度并进行比较， 其中可以发现ＪＶｅ ｃ■以〇？ ｃ变大， 这是因为推荐的评论越多， 越能覆盖ａ ｐ ｐ 主要的更新信息． 而相反， 可能变小， 比如考虑情感因素情况下， 当ｔ ｏ ｐ－ 々＝ ５ 时， Ｆｒ ｅ ｅＲ ｉ ｎ ｇｔ ｏ ｎ ｅ ｓ 的ｉ？ ｅｃａ ＺＺ Ｔ＝ 〇． ６ ， 而在ｔ ｏｐ－ 是＝１ ０ 时为０．４ ． 鉴于此， 我们手动的对比分析更新日志和推荐的评论发现， 这是由于更新日志一般只是把当前ａ ｐ ｐ 版本的重要更新记录（ 比如ｂ ｕｇ 修复或者增加的新的功能） 展示出来， 给出的日志信息有限， 而我们推荐的评论除了问题发现和特征请求外， 同时包含了信息给予、信息搜寻和其他这３ 个类别的评论信息， 这会在？ 定程度上降低ａｐ ｐ 整体的但这３ 个类别的用户反馈信息同样对开发者具有借鉴意义．图８ 展示了Ａ ＲＩ Ｃ Ａ 为Ｆ ｒ ｅｅ Ｒ ｉ ｎｇ ｔ ｏｎ ｅｓ 推荐的前ｔ ｏｐ－々评论对推荐结果的影响（ 取前２ １ 条） ， 可以发现随着ｔｏ ｐ－々值增加， Ｐ ｒｅｃ ｉ ｓ ｉｏ ｎ（＇ 先保持０ ？６ ６ ７ 不变， 当ｔｏ ｐ－々＝ １ ５ 时，＝ １， 这表明随着ｔｏ ｐ－ 々增加， 基本能覆盖更新日志中提到的更改信息． 相反， ？Ｒａａ ／ Ｇ 则随着ｔｏ ｐ－々増加而减少， 这是因为Ａ Ｒ ＩＣＡ 推荐的评论不仅包含更新日志信息（ 即ａ ｐ ｐ 主要的更改） ， 同时也会包含用户关注的一些其他的内容，而表现出类似的趋势． 本文我们主要关注的是推荐的评论是否可以很好的覆盖ａｐ ｐ 的更新日志， 即所以将ｔ ｏｐ ｊ 值设置为１ ５ ， 对于其他的ｔ ｏ ｐ－ 々值， 也可以根据开发者的需要动态设置．特别地， 图９ 展示了Ｄｅ ｅｚ ｅｒ 情感趋势图， 可以发现在不同的时间段Ｄｅ ｅｚ ｅ ｒ 会出现波谷情况， 此时的用户评论理论上更具有代表性． 比如２ ０ １ ８ ． ０ ７． １ ２波谷时， 我们检测Ａ ＲＩＣＡ 推荐评论的前５ 条评论中发现有３ 条都是在２ ０ １ ８ ． ０ ７ ． ０ ８ 反馈的， 且都是关于ａ ｐ ｐ 不能播放歌曲的内容， 即用户反馈了 ｂｕ ｇ ， 这很好地解释了在用户情感波谷时用户的评论包含更重要的信息， 这对综合评论推荐具有重要意义．Ｄｅ ｅｚｅｒＤａ ｔｅ图９Ｄｅ ｅ ｚｅ ｒ 情感趋势图波谷识别６ 有效性挑战在我们的方法实施过程中对有效性存在威胁的因素主要体现在两个方面： 图８ｔ ｏｐ－ 々值对结果影响２ ２ ０ ０ 计算机学报 ２ ０ ２ ０ 年（ １ ） 内部影响因素对于真值集的构造， 我们依赖于容易出错的人工判断， 因为在决定一个句子是否属于某个特定类别时， 存在一定程度的主观性． 为了解决这个问题，我们根据两个注释者的判断建立了一个真值集． 此外， 每个标签类别的定义也被提出来进行了严格的讨论． 当分类出现分歧时， 由第三个人介人来确定句子最后意图分类， 这可以有效地缓解手工标注存在主观性的问题， 从而增加真值集的可信度．（ ２ ） 外部影响因素用户评论情感分析是根据ａ ｐ ｐ 评论信息计算用户评论情感得分， 真实场景下用户的情感并不能完全正确地识别． 此外， 由于ａｆ＞ ｐ 评论随机且大多为短文本， 对于ａ ｐｐ 评论情感分析更加困难， 为此我们使用了Ｓｅ ｎ ｔ ｉＳｔ ｒ ｅ ｎｇ ｔ ｈ 情感分析工具， 它针对短文本以及非正式语言具有很高的准确性， 这样可以减少情感分析不够准确带来的用户意见推荐影响， 从而提高推荐的效率． 同时， 为了保证我们方法的泛化性，我们选择不同类别下不同版本的用户评论数据进行分析， 在具体进行用户建议推荐时， 我们选择和训练集不同的ａ ｐ ｐ 用户评论数据进行分析， 以保证我们方法的可用性和泛化性．７ 总结和下一步工作应用市场的用户群体评论可以被用来分析应用程序维护和演化的各个方面内容． 及时准确地理解用户意图对于开发人员（ 或者ａ ｐ ｐ 提供商） 进行ａｐ ｐ更新和维护至关重要． Ａ ｐ ｐ 评论提供了一个可以主动收集用户抱怨等反馈的机会， 开发者可以通过用户的反馈来修复对应的ｂ ｕｇ 和改进或者增加特定的功能特征来及时改善用户体验．本文我们提出一种自动分析用户群体评论的方法Ａ ＲＩ ＣＡ 来高效地为开发者提供软件维护和演化的建议． ＡＲ ＩＣＡ 首先将根据用户评论信息进行评论意图分类， 然后根据每个评论意图类别实现评论句子级别的主题分类并聚类， 最后综合考虑聚类句子长度、评论被点赞数、时间维度信息、用户意图信息、情感变化趋势等多维度信息， 对评论进行优先级排序， 并为开发者直接提供更具参考价值的用户评论．在评论意图分类过程中， 分类准确度达到８ ０ ％ ， 评论句子聚类过程中获得８ ６ ％ 准确率， 为后续开发者进行意见推荐提供有效支撑． 同时， 我们通过以谷歌官方的ａ ｐ ｐ 更新日志为落地数据， 实证分析了我们推荐的用户评论建议可以高效为开发者进行后续的ａ ｐｐ 维护和演化提供参考．下一步我们将结合多维度的用户反馈信息， 比如用户和开发者间的邮件记录， 用户在社交媒体评论的ａ｛） ｐ 数据等， 重点考虑用户与开发者之间的交互． 比如结合开发者对ａ ｐｐ 的ｉｓ ｓｕ ｅ 或ｃｏｍ ｍｉ ｔ 等行为， 挖掘用户反馈的ｂ ｕ ｇ 等是否可以在代码层面体现出来， 进而分析用户和开发者之间的潜在协同机制， 从而更好地为ａｐ ｐ 维护和演化提供社会码层面参考．参考文献［ １ ］Ｉ ｎ ｕ ｋ ｏ ｌ ｌ ｕ ＶＮ ， Ｋ ｅｓ ｈ ａｍｏ ｎ ｉ Ｄ Ｄ ， Ｋ ａ ｎ ｇ Ｔ ，ｅ ｔａｌ ． Ｆａ ｃ ｔｏ ｒ ｓｉ ｎｆ ｌ ｕ ｅ ｎｃｉ ｎｇｑ ｕ ａ ｌｉｔ ｙｏ ｆ ｍｏ ｂｉｌ ｅａ ｐ ｐ ｓ ：Ｒｏ ｌ ｅ ｏ ｆ ｍｏ ｂ ｉ ｌ ｅａ ｐ ｐｄ ｅ ｖｅ ｌ ｏ ｐ ｍｅ ｎ ｔｌ ｉ ｆ ｅ ｃｙ ｃｌ ｅ ． Ｉｎ ｔ ｅｒ ｎ ａｔｉ ｏ ｎａ ！ Ｊ ｏ ｕ ｒｎａ ｌ ｏ ｆ Ｓｏ ｆｔｗａ ｒ ｅＥｎ ｇｉ ｎ ｅ ｅｒ ｉ ｎ ｇ Ａ ｐ ｐ ｌ ｉ ｃａ ｔｉ ｏ ｎｓ ＊ ２ ０ １ ４ ， ５ （ ５ ） ： １ ５ － ３ ４［ ２ ］Ｇ ｕｚ ｍａ ｎ Ｅ ， Ｍａａ ｌ ｅｊ Ｗ ， ｅｔ ａ ｌ ． Ｈｏｗｄ ｏ ｕ ｓ ｅ ｒ ｓｌ ｉ ｋ ｅ ｔ ｈｉ ｓ ｆ ｅａ ｔ ｕ ｒ ｅ ？Ａｆｉ ｎ ｅｇｒａ ｉｎｅｄ ｓｅ ｎｔｉ ｍｅ ｎ ｔａ ｎａｌ ｙ ｓ ｉ ｓ ｏｆ ａｐ ｐ ｒ ｅｖ ｉ ｅ ｗｓ／ ／Ｐｒｏ ｃｅｅｄ ｉｎ ｇｓｏ ｆｔ ｈ ｅ ２ ０ １ ４ ＩＥＥ ＥＩ ｎ ｔｅ ｒ ｎａｔｉ ｏ ｎａ ｌ Ｒｅ ｑ ｕ ｉ ｒ ｅｍｅｎｔ ｓＥｎｇ ｉ ｎ ｅ ｅｒｉ ｎ ｇＣ ｏ ｎ ｆ ｅｒ ｅ ｎ ｃｅ ．Ｋａ ｒ ｌ ｓｋ ｒ ｏ ｎ ａ ＊ Ｓｗ ｅ ｄ ｅｎ ， ２ ０ １ ４； １ ５３ －１ ６ ２［ ３ ］Ｐａ ｇ ａ ｎｏ Ｄ ， Ｍａａ ｌ ｅｊＷ ， ｅ ｔ ａ ｌ ．Ｕ ｓｅ ｒｆ ｅｅ ｄ ｂ ａｃ ｋｉ ｎ ｔ ｈ ｅ Ａｐ ｐＳｔ ｏ ｒ ｅ ：Ａｎ ｅｍｐ ｉｒ ｉ ｃａ ｌ ｓｔ ｕ ｄ ｙ ／ ／ Ｐ ｒ ｏ ｃｅｅ ｄ ｉ ｎｇ ｓ ｏｆ ｔ ｈ ｅ ２ ０ １ ４Ｉ ＥＥＥＩ ｎ ｔ ｅ ｒ ｎ ａ？ｔｉ ｏ ｎ ａｌ Ｒ ｅｑ ｕ ｉ ｒ ｅｍｅｎ ｔ ｓＥ ｎｇ ｉ ｎｅｅ ｒ ｉ ｎｇ Ｃｏ ｎ ｆｅ ｒ ｅｎ ｃ ｅ． Ｒｉ ｏ ｄ ｅ Ｊ ａ ｎ ｅ ｉ ｒ ｏ ，Ｂｒａｓ ｉ Ｕ２ ０ １ ３ ： １ ２ ５－１ ３４［４ ］Ｗａ ｎ ｇ Ｚｈｏ ｎ ｇ－ Ｙ ｕ ａ ｎ ， Ｃ ｈ ｅｎ ｇ Ｊ ｉ ａｎ－ Ｐｅｎ ｇ ， Ｗａ ｎｇ Ｈ ａ ｉ－ Ｘ ｕ ｎ ， ｅ ｔ ａｌ ．Ｓｈ ｏ ｒ ｔ ｔ ｅ ｘｔ ｕ ｎｄ ｅ ｒｓ ｔ ａ ｎｄｉｎｇ ： Ａ ｓｕ ｒｖ ｅ ｙ ． Ｊｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｃｏ ｍｐ ｕ ｔ ｅｒＲｅｓｅａ ｒｃ ｈａｎｄ Ｄｅｖ ｅｌ ｏ ｐｍｅｎｔ ， ２ ０ １ ６ ， ５ ３ （ ２ ） ： ２ ６ ２－２ ６ ９ （ ｉ ｎ Ｃｈ ｉｎｅｓｅ ）（ 王仲远， 程健睹， 王海勋等． 短文本理解研究． 计算机研究与发展，２ ０ １ ６ ， ５３ （ ２ ） ：２ ６ ２ － ２ ６ ９ ）［ ５ ］Ｙａｎ ｇ Ｈ ， Ｌｉ ａｎｇＰ ． Ｉｄ ｅｎ ｔ ｉ ｆｉ ｃａｔｉｏ ｎ ａｎ ｄｃｌ ａ ｓｓｉ ｆｉ ｃ ａｔｉ ｏｎ ｏ ｆｒｅｑ ｕｉ ｒ ｅｍｅｎ ｔｓｆ ｒｏ ｍ ａｐ ｐ ｕ ｓｅ ｒ ｒｅ ｖｉ ｅｗ ｓ ／ ／ Ｐ ｒ ｏ ｃｅ ｅｄｉ ｎｇ ｓ ｏ ｆ ｔ ｈ ｅ ２０ １ ５ Ｉｎ ｔｅ ｒ ｎ ａ ｔｉ ｏｎ ａｌＣ ｏｎ ｆｅ ｒ ｅ ｎ ｃｅｏ ｎ Ｓｏｆ ｔｗ ａ ｒ ｅＥｎｇ ｉ ｎ ｅｅ ｒｉ ｎ ｇ ．Ｆ ｉ ｒ ｅ ｎ ｚ ｅ ， Ｉｔ ａ ｌ ｙ ， ２ ０ １ ５ ：７－１ ２［６］Ｃｈｅ ｎＮ ， Ｌｉ ｎ Ｊ ， Ｈｏｉ ＳＣＨ ， ｅｔ ａ ｉ ． ＡＲ－ｍｉ ｎ ｅｒ ：Ｍｉ ｎ ｉ ｎ ｇ ｉ ｎ ｆｏ ｒｍａｔｉ ｖｅｒ ｅｖ ｉ ｅ ｗｓ ｆｏ ｒｄ ｅｖ ｅ ｌ ｏ ｐ ｅ ｒ ｓｆ ｒ ｏ ｍｍｏ ｂ ｉ ｌ ｅ ａ ｐ ｐｍ ａｒ ｋ ｅｔ ｐ ｌ ａ ｃｅ ／／Ｐ ｒ ｏｃ ｅｅｄｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ ２ ０ １ ５ Ｉ ｎ ｔ ｅ ｒ ｎ ａ ｔｉｏ ｎ ａｌ Ｃｏ ｎ ｆｅ ｒ ｅｎ ｃｅｏ ｎＳｏ ｆ ｔｗａ ｒ ｅＥｎ ｇ ｉ ｎ ｅ ｅｒｉ ｎ ｇ ．Ｈ ｙｄ ｅｒ ａ ｂ ａ ｄ ，Ｉ ｎ ｄ ｉ ａ ， ２０ １ ４：７ ６ ７－７ ７８［ ７ ］Ｍａａ ｌ ｅｊ Ｗ ， Ｎ ａｂ ｉ ｌ Ｈ ． Ｂｕ ｇ ｒ ｅ ｐｏ ｒ ｔ，ｆ ｅａ ｔ ｕ ｒ ｅ ｒ ｅｑ ｕ ｅ ｓｔ， ｏ ｒ ｓｉｍｐ ｌ ｙｐ ｒ ａｉ ｓｅ ？ Ｏｎ ａ ｕ ｔ ｏｍａ ｔ ｉ ｃａｌ ｌ ｙｃｌ ａ ｓｓｉ ｆ ｙｉｎ ｇ ａｐ ｐ ｒ ｅｖ ｉ ｅｗｓ／ ／ Ｐｒ ｏ ｃｅｅｄ ｉｎ ｇｓｏ ｆ ｔ ｈｅ２ ０ １ ５Ｉ ＥＥ ＥＩ ｎ ｔ ｅ ｒ ｎ ａｔｉｏ ｎａ ｌ Ｒｅ ｑ ｕｉｒｅｍ ｅｎ ｔ ｓ Ｅｎｇ ｉｎ ｅ ｅｒｉｎ ｇＣｏ ｎ ｆｅ ｒ ｅｎ ｃｅ． Ｏｔ ｔａ ｗ ａ ， Ｃａ ｎａｄ ａ ， ２ ０ １ ５ ： １ １ ６－１ ２ ５［ ８ ］Ｐａ ｎ ｉ ｃ ｈｅｌ ｌ ａＳ ？ Ｄｉ Ｓｏ ｒ ｂ ｏ Ａ ， Ｇｕ ｚ ｍａｎ Ｅ ， ｅ ｔａ ｉ． Ｈ ｏ ｗｃａ ｎｉｉ ｍｐ ｒ ｏ ｖ ｅ ｍｙａ ｐ ｐ ？Ｃ ｌ ａｓ ｓ ｉ ｆｙ ｉ ｎ ｇｕ ｓ ｅｒ ｒｅ ｖ ｉ ｅ ｗｓ ｆｏ ｒ ｓ ｏ ｆ ｔｗａ ｒ ｅｍａｉ ｎ ｔ ｅｎａ ｎ ｃｅ ａ ｎ ｄ ｅｖ ｏ ｌ ｕ ｔｉ ｏ ｎ ／ ／Ｐｒｏ ｃ ｅｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ２ ０ １ ５Ｉ ＥＥＥＩ ｎ ｔｅ ｒ ｎａ ｔｉ ｏ ｎ ａｌＣｏ ｎｆ ｅ ｒｅ ｎｃｅ ｏ ｎＳｏ ｆ ｔｗ ａｒ ｅＭａｉ ｎ ｔｅ ｎａ ｎｃｅ ａｎ ｄＥｖｏ ｌ ｕ ｔｉ ｏ ｎ ． Ｂｒｅ ｍｅ ｎ ＊ Ｇ ｅ ｒｍａｎ ｙ ， ２ ０ １ ５ ： ２ ８ １ － ２ ９０［ ９］Ｇ ｕｚ ｍａｎ Ｅ ，Ｅｌ ｈ ａ ｌ ａ ｂｙＭ ， Ｂｒ ｕ ｅｇ ｇ ｅＢ ， ｅｔ ａ ｌ ．Ｅｎ ｓ ｅｍ ｂ ｌ ｅｍｅｔｈｏ ｄ ｓｆ ｏｒ ａｐ ｐ ｒ ｅｖ ｉ ｅｗｃｌ ａ ｓ ｓ ｉｆ ｉ ｃａ ｔｉ ｏｎ ： Ａｎ ａｐ ｐ ｒ ｏａｃｈ ｆｏ ｒ ｓｏ ｆ ｔｗａ ｒ ｅ肖建茂等：一种基于用户评论１ １ 期 自动 分析 的 ＡＰＰ 维护和演化方法 ２２ ０ １ｅｖ ｏ ｌ ｕ ｔｉ ｏｎ ／ ／ Ｐ ｒｏ ｃｅｅｄｉ ｎｇｓｏ ｆ ｔ ｈｅ ２０ １ ６ ＩＥＥ Ｅ／ ＡＣＭＩ ｎｔ ｅｒ ｎａ ｔｉ ｏ ｎａ ｌＣｏ ｎｆ ｅｒ ｅｎ ｃｅ ｏ ｎＡ ｕ ｔ ｏ ｍａ ｔ ｅｄ Ｓｏ ｆｔ ｗａ ｒｅＥｎｇｉ ｎ ｅ ｅｒｉ ｎ ｇ．Ｓ ｉ ｎｇ ａ ｐｏ ｒｅ，２ ０ １ ６ ： ７ ７ １－ ７ ７ ６［ １ ０ ］Ｇｕｚ ｍａ ｎＥ ， Ａｌ ｙ０ ？Ｂｒ ｕ ｅｇｇｅ Ｂ ， ｅ ｔ ａｌ ．Ｒｅ ｔ ｒ ｉ ｅｖｉ ｎｇｄ ｉ ｖ ｅｒｓ ｅｏ ｐ ｉｎｉ ｏ ｎｓ ｆ ｒｏｍａ ｐ ｐ ｒ ｅｖ ｉ ｅ ｗｓ ／ ／ Ｐ ｒｏ ｃｅ ｅｄ ｉｎ ｇ ｓｏ ｆ ｔ ｈｅ ２ ０ １ ５ Ｉ ｎｔ ｅｒｎａ －ｔ ｉ ｏｎ ａ ｌ Ｓｙｍｐ ｏ ｓｉ ｕ ｍ ｏｎＥｍ ｐ ｉ ｒｉ ｃａ ｌＳ ｏｆｔ ｗａ ｒ ｅＥｎｇｉ ｎｅ ｅｒｉｎｇａ ｎｄＭｅａ ｓ ｕｒｅ ｍｅ ｎｔ ．Ｂｅ ｉｊ ｉ ｎｇ ＊ Ｃ ｈｉ ｎａ ， ２ ０ １ ５ ： １－１ ０［ １ １ ］ｌａ ｃｏ ｂ Ｃ ， Ｈａ ｒｒｉ ｓｏ ｎ Ｒ ？ Ｆａ ｉｌ ｙ Ｓ ？ ｅｔ ａｌ．Ｏｎ ｌｉ ｎｅｒｅ ｖｉ ｅｗｓａ ｓｆｉ ｒｓｔｃｌ ａ ｓｓ ａ ｒ ｔ ｉｆａ ｃｔ ｓ ｉ ｎｍｏ ｂｉｌ ｅａ ｐ ｐ ｄ ｅ ｖ ｅＩ ｏｐｍｅ ｎｔ ／ ／ Ｐｒ ｏｃ ｅｅ ｄ ｉ ｎｇｓｏｆ ｔｈｅ６ｔ ｈ Ｉｎ ｔ ｅｒ ｎａｔ ｉｏ ｎ ａｌ Ｃｏｎ ｆ ｅｒ ｅｎｃｅｏ ｎＭｏｂ ｉ ｌ ｅ Ｃｏｍｐ ｕ ｔｉ ｎｇ ＊ Ａｐｐ ｌｉ ｃａｔｉｏ ｎｓａｎｄ Ｓｅ ｒ ｖｉ ｃｅｓ ． Ａｕ ｓｔ ｉ ｎ ， ＵＳＡ ， ２ ０ １ ４ ： ４ ７－ ５ ３［ １２ ］Ｍａｒ ｔｉ ｎ Ｗ ，Ｓａ ｒ ｒ ｏＦ？Ｊ ｉ ａＹ ， ｅｔ ａ ｌ ． Ａｓｕ ｒｖ ｅ ｙｏ ｆ ａ ｐｐ ｓ ｔｏ ｒｅａｎａ ｌ ｙｓｉ ｓ ｆ ｏ ｒｓｏ ｆ ｔｗａ ｒｅ ｅｎ ｇｉ ｎｅ ｅｒｉｎｇ．ＩＥＥＥ Ｔｒ ａｎｓａ ｃｔ ｉ ｏ ｎｓ ｏ ｎＳｏ ｆｔ ｗａ ｒｅ Ｅｎｇｉ ｎｅ ｅｒ ｉｎ ｇ ＊ ２ ０ １ ７ ， ４ ３ （ ９ ） ： ８ １ ７－ ８ ４ ７［ １ ３ ］Ｄ ｉＳ ｏ ｒｂｏ Ａ ，Ｐａ ｎｉ ｃｈｅ ｌ ｌａ Ｓ ？ Ａｌ ｅｘ ａｎｄ ｒａ ＣＶ ， ｅｔ ａ ｌ ．Ｗｈａ ｔｗｏ ｕ ｌｄ ｕ ｓ ｅｒｓ ｃｈ ａｎｇｅ ｉｎ ｍｙ ａｐ ｐ ？Ｓｕ ｍｍａ ｒｉｚ ｉ ｎｇ ａ ｐｐ ｒ ｅ ｖ ｉ ｅｗｓｆ ｏ ｒｒｅ ｃｏｍｍｅ ｎｄｉ ｎｇｓ ｏ ｆｔ ｗａｒ ｅｃ ｈａｎ ｇ ｅｓ／ ／Ｐｒｏ ｃｅ ｅｄ ｉ ｎｇ ｓｏ ｆ ｔｈ ｅ２ ０ １ ６ＡＣＭ ＳＩ ＧＳＯＦＴ Ｉｎ ｔｅ ｒｎ ａ ｔ ｉｏ ｎ ａ ｌ Ｓ ｙｍｐ ｏ ｓｉ ｕｍ ｏ ｎ ｔ ｈｅ Ｆｏ ｕｎ ｄ ａｔ ｉ ｏ ｎｓｏ ｆ Ｓｏ ｆｔ ｗａｒ ｅＥ ｎｇｉ ｎｅｅ ｒ ｉ ｎｇ． Ｗａｓ ｈｉ ｎｇｔ ｏ ｎ ， Ｕ ＳＡ ， ２ ０ １ ６ ： ４ ９ ９ － ５ １ ０［ １ ４ ］Ｄｉ Ｓ ｏ ｒ ｂｏ Ａ ， Ｐ ａｎ ｉｃ ｈｅ ｌ ｌ ａ Ｓ ， Ａ ｌｅ ｘａ ｎｄ ｒｉａ Ｃ Ｖ ，ｅ ｔ ａｌ． ＳＵＲ Ｆ ：Ｓｕ ｍｍａ ｒｉ ｚｅ ｒ 〇￡ ｕ ｓｅ ｒ ｒｅ ｖ ｉ ｅｗ ｓｆｅ ｅｄ ｂ ａｃ ｋ／ ／ Ｐｒｏ ｃ ｅｅ ｄ ｉ ｎｇｓ ｏ ｆ ｔ ｈｅ２ ０ １ ７ＩＥＥＥ Ｉ ｎｔｅｒ ｎａｔ ｉ ｏｎａ ｌＣｏ ｎｆｅ ｒｅｎｃｅ ｏｎ Ｓｏ ｆｔ ｗａ ｒｅＥｉ＾ｉ ｎｅｅｒ ｉｎｇ．Ｂ ｕ ｅ ｎｏ ｓＡ ｉｒ ｅｓ＊ Ａｒｇｅ ｎｔｉ ｎ ａ＊ ２ ０ １ ７ ： ５ ５－５ ８［ １ ５ ］Ｄ ｅｖ ｌ ｉ ｎ Ｊ， Ｃｈ ａ ｎｇ Ｍ ， Ｌｅｅ Ｋ ， ｅｔ ａ ｌ ． ＢＥＲ Ｔ ： Ｐｒｅ－ｔ ｒ ａｉ ｎｉｎｇ ｏ ｆｄ ｅ ｅｐ ｂ ｉ ｄ ｉ ｒｅ ｃｔ ｉ ｏ ｎ ａｌ ｔ ｒａ ｎｓｆ ｏｒ ｍｅｒｓｆ ｏ ｒ ｌ ａｎｇ ｕ ａｇｅ ｕ ｎｄ ｅｒｓ ｔ ａｎｄ ｉ ｎ ｇ／／Ｐ ｒ ｏ ｃｅ ｅｄ ｉ ｎ ｇｓ ｏ ｆ ｔ ｈｅ ２ ０ １ ９Ａｎｎｕａ ｌＣｏ ｎｆ ｅ ｒｅｎｃ ｅ ｏ ｆｔ ｈｅ Ｎｏ ｒ ｔｈＡｍｅ ｒｉ ｃａ ｎＣｈａ ｐ ｔ ｅ ｒｏ ｆ ｔｈ ｅ Ａ ｓｓｏ ｃｉ ａ ｔｉ ｏ ｎｆｏ ｒＣｏｍｐ ｕ ｔ ａ ｔｉ ｏ ｎ ａｌＬｉ ｎ ｇ ｕ ｉ ｓ ｔｉ ｃ ｓ． Ｍｉ ｎｎｅ ｓｏ ｔ ａ＊ ＵＳＡ ， ２ ０ １ ９ ： ４ １ ７ １－ ４ １ ８ ６［ １ ６ ］Ｈ ｕ ａ ｎｇＱｉ ａ ｏ ， Ｘｉ ａ Ｘ ｉ ｎ ＊Ｌ ｏ Ｄ ＊ｅｔ ａｌ ． Ａｕ ｔｏｍａ ｔｉｎｇ ｉ ｎ ｔ ｅｎ ｔ ｉｏ ｎｍｉ ｎｉ ｎｇ ．Ｉ ＥＥＥ Ｔ ｒａｎ ｓａｃ ｔｉｏ ｎｓ ｏ ｎ Ｓｏ ｆｔ ｗａｒｅ Ｅｎ ｇｉ ｎｅ ｅｒ ｉｎ ｇ ＊２ ０ １ ８．１ （ １ ） ： １－２ ２［ １ ７］Ａｎｔ ｏｎｉ ｏ ｌ Ｇ＊ Ａｙ ａ ｒｉ Ｋ ？ Ｐｅｎ ｔａ Ｍ Ｄ ，ｅ ｔ ａｌ． Ｉ ｓ ｉ ｔ ａ ｂ ｕｇｏｒ ａｎｅｎ ｈａ ｎｃｅｍ ｅｎｔ ？ ： Ａｔ ｅｘｔ－ ｂ ａｓ ｅｄａ ｐ ｐ ｒｏ ａｃ ｈｔ ｏｃｌ ａｓｓ ｉｆｙｃ ｈａ ｎｇｅｒｅ ｑｕ ｅｓｔ ｓ／ ／Ｐｒｏ ｃ ｅｅｄ ｉ ｎ ｇｓｏ ｆ ｔ ｈ ｅ２ ０ １ ７ Ｃｏ ｎ ｆ ｅｒｅ ｎｃｅ ｏ ｆ ｔｈ ｅＣｅ ｎｔ ｒｅｆｏ ｒＡｄ ｖ ａ ｎｃｅ ｄ Ｓ ｔ ｕｄ ｉ ｅ ｓ ｏ ｎ Ｃｏ ｌ ｌ ａ ｂｏ ｒａ ｔ ｉ ｖ ｅＲ ｅ ｓｅａ ｒｃｈ． Ｒ ｉ ｃｈｍｏ ｎ ｄＨ ｉ ｌ ｌ， Ｃａｎａ ｄａ， ２ ０ ０ ８ ： ３ ０ ４－ ３ １ ８［ １ ８ ］Ｂａｋ ｉ ｕ Ｅ ＊ Ｇｕ ｚｍａ ｎ Ｅ． Ｗ ｈ ｉ ｃｈ ｆ ｅａ ｔ ｕ ｒｅ ｉ ｓ ｕ ｎｕ ｓａ ｂ ｌ ｅ ？Ｄｅ ｔ ｅｃｔ ｉｎ ｇｕ ｓ ａ ｂｉ ｌ ｉ ｔ ｙ ａ ｎｄｕ ｓ ｅｒｅ ｘｐ ｅ ｒｉｅ ｎｃｅ ｉ ｓｓ ｕ ｅｓｆ ｒｏｍｕ ｓ ｅｒｒ ｅｖ ｉ ｅｗｓ／ ／Ｐｒｏ ｃｅｅｄ ｉ ｎｇｓ ｏ ｆ ｔ ｈ ｅ２ ０ １ ７ Ｉ ＥＥＥ ２５ ｔ ｈ Ｉｎｔ ｅｒ ｎａ ｔ ｉｏ ｎ ａｌ Ｒｅｑ ｕ ｉ ｒｅｍｅｎｔｓＥｎｇｉ ｎｅｅ ｒｉ ｎｇ Ｃｏ ｎｆｅ ｒｅ ｎｃｅＷｏ ｒ ｋ ｓ ｈｏ ｐｓ ． Ｌｉ ｓｂ ｏ ｎ ？ Ｐ ｏｒｔｕ ｇ ａｌ ， ２ ０ １ ７ ：１ ８ ２－ １８ ７［ １ ９ ］Ｄａ ｂ ｒｏｗｓ ｋ ｉ Ｊ ？ Ｌｅ ｔ ｉ ｅｒＥ ＊ Ｐｅｒｉｎｉ Ａ， ｅｔ ａｌ ． Ｆｉ ｎｄｉ ｉ＾ａｎｄ ａｎａｌｙ ｚｉ ｎ ｇａｐ ｐ ｒｅ ｖｉ ｅｗｓｒ ｅｌ ａ ｔ ｅｄｔ ｏ ｓｐｅｃ ｉ ｆｉ ｃ ｆ ｅａ ｔｕ ｒｅｓ ：Ａｒ ｅｓｅ ａｒ ｃｈｐ ｒ ｅｖ ｉｅ ｗ／ ／Ｐｒｏ ｃｅｅ ｄｉ ｎｇｓ ｏ ｆ ｔ ｈｅ ２ ０ １ ９Ｉｎ ｔ ｅｒｎａ ｔ ｉ ｏ ｎａｌ Ｃｏ ｎｆ ｅｒｅ ｎｃｅ ｏｎＲ ｅ ｑｕｉ ｒｅ？ｍｅｎ ｔ ｓＥｎｇｉ ｎｅｅ ｒｉｎ ｇ ： Ｆｏ ｕ ｎ ｄ ａｔ ｉ ｏ ｎ ｆｏ ｒ Ｓｏ ｆｔ ｗａｒｅ Ｑｕａ ｌ ｉｔ ｙ． Ｅｓｓ ｅｎ ，Ｇ ｅｒｍａ ｎｙ ＊ ２０ １ ９ ：１ ８ ３－１ ８ ９［ ２ ０］Ｃｉ ｕ ｒｕｍｅｌ ｅａ Ａ， Ｓｃｈａｕｆ ｅｌ ｂ ｉｉｈｌ Ａ ＊ Ｐａｎｉｃ ｈｅｌ ｌａ Ｓ ？ ｅｔａＬＡｎａ ｌｙｚ ｉｎｇｒｅ ｖｉ ｅ ｗｓａ ｎｄ ｃｏｄ ｅ ｏ ｆ ｍｏｂｉｌ ｅ ａ ｐ ｐ ｓｆ ｏ ｒ ｂ ｅｔ ｔ ｅｒ ｒｅｌ ｅａ ｓｅ ｐｌａ ｎｎｉｎｇ／ ／Ｐｒ ｏｃ ｅｅｄ ｉ ｎｇｓｏ ｆ ｔ ｈ ｅ ２０ １ ７Ｉ ＥＥＥ Ｉｎ ｔｅ ｒｎａｔｉ ｏｎａ ｌ Ｃｏｎｆｅ ｒｅｎｃ ｅｏ ｎＳｏｆｔ ｗａ ｒ ｅＡｎａｌｙ ｓ ｉｓ＊ Ｅｖ ｏ ｌ ｕｔ ｉｏｎ ａ ｎｄＲｅ ｅｎｇｉｎ ｅｅｒｉ ｎｇ． Ｋｌ ａｇ ｅｎｆ ｕ ｒｔ，Ａｕ ｓｔ ｒｉａ， ２ ０ １ ７ ： ９ １－１ ０ ２［ ２ １ ］Ｄｈｉｎ ａｋａｒａｎ ＶＴ ？ Ｐｕ ｌ ｌｅ Ｒ ，Ａｊｍｅｒｉ Ｎ ？ｅｔａ ｌ． Ａｐｐｒｅｖｉｅ ｗ ａｎａｌｙ ｓ ｉ ｓｖ ｉ ａａ ｃｔｉ ｖ ｅｌ ｅ ａ ｒｎｉ ｎｇ ：Ｒ ｅｄ ｕｃｉ ｎｇｓ ｕ ｐ ｅｒ ｖ ｉｓｉ ｏｎ ｅ ｆ ｆｏ ｒｔｗｉｔ ｈｏ ｕ ｔｃｏｍｐ ｒ ｏｍ ｉ ｓｉｎｇ ｃｌ ａ ｓｓｉ ｆｉ ｃａ ｔｉｏ ｎ ａｃ ｃｕ ｒ ａｃ ｙ／ ／ Ｐｒ ｏ ｃｅｅｄ ｉ ｎｇｓ ｏｆ ｔ ｈｅ ２ ０ １ ８ＩＥ ＥＥＩ ｎｔ ｅ ｒｎ ａｔ ｉ ｏ ｎａ ｌＲｅ ｑ ｕｉ ｒｅｍ ｅｎｔ ｓＥｎｇｉ ｎ ｅｅｒ ｉ ｎｇＣｏ ｎｆ ｅｒｅ ｎｃｅ ．Ｂａ ｎｆ ｆ， Ｃａ ｎａｄ ａ＊ ２０ １ ８ ： １ ７ ０ －１ ８ １［ ２ ２ ］Ｍｅｓ ｓ ａｏ ｕ ｄ ＭＢ ， Ｊ ｅｎｈａ ｎｉ Ｉ ？ Ｊ ｅ ｍａａ ＮＢ ， ｅｔ ａ ｌ． Ａｍ ｕ ｌｔｉ－ｌ ａ ｂ ｅ ｌａｃｔ ｉｖ ｅ ｌ ｅａｒｎｉ ｎｇ ａ ｐｐ ｒ ｏａ ｃｈ ｆｏ ｒ ｍｏｂｉｌｅ ａ ｐｐ ｕ ｓｅｒｒｅｖ ｉ ｅｗ ｃｌａｓｓｉ ｆｉ ｃａ ｔｉｏ ｎ／／ Ｐ ｒｏｃ ｅｅｄｉ ｎ ｇ ｓｏ ｆｔｈ ｅ２ ０ １ ９ Ｉ ｎｔｅ ｒｎ ａ ｔ ｉｏ ｎａｌ Ｃｏ ｎｆ ｅｒｅ ｎｃ ｅｏｎＫｎｏ ｗｌｅ ｄｇｅ Ｓｃ ｉ ｅｎｃ ｅ ， Ｅｎ ｇｉ ｎ ｅｅｒｉ ｎｇａｎｄ Ｍａ ｎａ ｇｅ ｍｅ ｎ ｔ． Ａ ｔ ｈ ｅｎｓ ，Ｇｒ ｅ ｅ ｃｅ ， ２０ １ ９ ： ８ ０ ５ － ８ １ ６［ ２ ３］Ｋｈ ａｌ ｉｄ Ｈ ， Ｓｈ ｉ ｈａｂ Ｅ ， Ｎａ ｇ ａ ｐ ｐ ａｎ Ｍ ， ｅ ｔ ａ ｌ． Ｗｈａ ｔ ｄ ｏｍ ｏ ｂ ｉｌ ｅａ ｐ ｐ ｕ ｓｅ ｒｓ ｃｏｍｐ ｌ ａｉ ｎ ａ ｂ ｏ ｕ ｔ ？ ＩＥ ＥＥＳ ｏ ｆｔ ｗａ ｒ ｅ ， ２ ０ １ ４＊３ ２ （ ３ ） ：７ ０ －７ ７［２４ ］Ｌｉ ｕ Ｙ， Ｌｉ ｕ Ｌ ？Ｌｉ ｕ Ｈ ，ｅ ｔ ａｌ ． Ａｎａｌ ｙｚ ｉｎ ｇｒｅ ｖｉ ｅｗｓ ｇ ｕ ｉ ｄ ｅｄ ｂ ｙａｐ ｐｄ ｅ ｓｃ ｒｉ ｐｔｉ ｏ ｎ ｓｆ ｏｒｔ ｈｅｓｏ ｆｔ ｗａｒｅ ｄｅｖｅ ｌ ｏ ｐｍｅ ｎｔ ａ ｎｄｅｖ ｏ ｌ ｕ ｔｉｏｎ．Ｊｏ ｕ ｒ ｎａｌ ｏｆ Ｓｏ ｆｔ ｗａ ｒｅＭａ ｉ ｎｔ ｅｎ ａｎ ｃ ｅａ ｎｄＥｖｏ ｌｕ ｔｉｏ ｎ ， ２０ １ ８ ，３ ０ （ １ ２ ） ： ｅ２ １ １ ２ ． ｌ－ ｅ２ １ １ ２ ． ２ ２［ ２ ５］Ｓｃ ａｌ ａｂ ｒｉ ｎ ｏ Ｓ ＊Ｂａ ｖ ｏ ｔａ Ｇ ， Ｒ ｕｓｓｏ Ｂ ＊ｅｔ ａ ｌ ．Ｌｉ ｓ ｔｅ ｎ ｉ ｎｇ ｔ ｏｔ ｈｅｃ ｒｏｗｄｆｏ ｒｔ ｈ ｅ ｒ ｅ ｌ ｅａ ｓｅ ｐ ｌ ａ ｎｎ ｉ ｎｇｏ ｆｍｏ ｂ ｉ ｌｅ ａｐ ｐｓ ．Ｉ ＥＥＥＴ ｒａ ｎ ｓａ ｃｔｉ ｏ ｎｓ ｏ ｎＳ ｏｆ ｔ ｗａ ｒｅ Ｅｎｇｉ ｎｅ ｅｒ ｉ ｎｇ ， ２ ０ １ ７ ， ４ ５ （ １ ） ：６ ８ － ８ ６［ ２ ６ ］Ｇａｏ Ｃ ？Ｚ ｅ ｎｇ Ｊ ？ Ｌｙ ｕ ＭＲ ，ｅ ｔａ ｌ． Ｏｎ ｌ ｉ ｎｅ ａｐ ｐ ｒｅ ｖ ｉ ｅｗ ａ ｎ ａｌ ｙｓｉ ｓｆ ｏ ｒｉ ｄｅｎ ｔ ｉ ｆ ｙ ｉ ｎ ｇｅ ｍｅ ｒｇ ｉ ｎ ｇｉ ｓｓｕ ｅｓ ／／ Ｐ ｒｏ ｃｅ ｅｄ ｉ ｎｇ ｓｏ ｆ ｔｈ ｅ２ ０ Ｘ８Ｉ ＥＥＥＩ ｎｔ ｅ ｒ ｎ ａｔ ｉｏ ｎ ａ ｌＣｏｎ ｆｅ ｒ ｅｎ ｃｅ ｏ ｎＳｏｆ ｔ ｗａｒ ｅＥｎｇ ｉｎｅ ｅｒｉ ｎ ｇ．Ｇｏ ｔ ｈｅ ｎ ｂ ｕ ｒｇ ， Ｓ ｗｅｄ ｅ ｎ ， ２ ０ １ ８ ： ４ ８－５８［ ２ ７ ］Ｄ ａｌ ｐ ｉ ａｚＦ ？ Ｐａ ｒｅ ｎ ｔｅ Ｍ．Ｒ Ｅ－ ＳＷＯＴ ：Ｆｒｏｍ ｕ ｓ ｅｒ ｆ ｅｅｄｂ ａｃ ｋ ｔｏｒｅ ｑ ｕ ｉ ｒ ｅｍ ｅｎ ｔｓｖ ｉ ａ ｃｏｍ ｐ ｅｔ ｉ ｔ ｏ ｒａ ｎａ ｌ ｙ ｓｉ ｓ／ ／ Ｐｒ ｏ ｃ ｅｅ ｄ ｉ ｎｇｓｏ ｆ ｔ ｈｅ２ ０ １ ９ Ｉ ｎ ｔ ｅｒ ｎ ａｔｉ ｏｎ ａ ｌＷ ｏ ｒ ｋｉ ｎ ｇＣｏ ｎ ｆ ｅｒｅ ｎｃｅ ｏｎＲ ｅｑ ｕｉ ｒｅｍｅ ｎｔ ｓＥｎｇ ｉ ｎｅｅ ｒｉ ｎｇ ： Ｆｏｕ ｎｄ ａ ｔ ｉｏ ｎ ｆｏ ｒ Ｓｏｆ ｔｗ ａ ｒｅ Ｑｕ ａｌ ｉｔｙ ．Ｊ ｅｊｕ Ｉ ｓｌ ａ ｎｄ ，Ｓｏ ｕ ｔ ｈＫ ｏ ｒｅ ａ， ２ ０ １ ９ ： ５ ５ － ７ ０［ ２ ８ ］Ｄ ｉ Ｓｏ ｒｂ ｏＡ ， Ｐａ ｎｉ ｃｈ ｅｌ ｌ ａＳ ， Ｖｉ ｓａ ｇｇｉ ｏ ＣＡ ，ｅ ｔ ａｌ． Ｄｅ ｖ ｅｌｏ ｐ ｍｅｎ ｔｅ ｍａｉ ｌ ｓｃｏ ｎｔ ｅ ｎ ｔａ ｎａ ｌ ｙ ｚ ｅｒ ： Ｉｎ ｔｅ ｎｔ ｉ ｏ ｎｍｉ ｎｉｎ ｇｉ ｎｄ ｅ ｖ ｅ ｌ ｏ ｐ ｅｒｄｉ ｓｃ ｕ ｓｓ ｉｏｎ ｓ／ ／ Ｐｒｏ ｃｅｅ ｄ ｉ ｎｇｓ ｏ ｆ ｔ ｈｅ ２ ０ １ ５ＩＥＥＥ／ ＡＣＭ Ｉ ｎｔ ｅｒ ｎａ？ｔｉｏｎａ ｌＣｏｎｆ ｅｒ ｅ ｎｃｅ ｏ ｎＡｕ ｔｏｍ ａｔ ｅｄＳｏｆ ｔ ｗａｒｅ Ｅｎｇ ｉ ｎｅｅ ｒｉ ｎｇ．Ｌｉ ｎｃ ｏｌ ｎ ． Ｎ ｅｂ ｒａ ｓｋ ａ ＊ ２ ０ １ ５ ： １ ２ － ２ ３［ ２ ９ ］Ｇｒ ａ ｎ ｏ Ｇ ＊ Ｍｅｒｃ ａｌ ｄ ｏ Ｆ ，Ｍ ｅｒｃａ ｌ ｄ ｏ Ｆ ． ｅ ｔ ａｌ ． Ａｎ ｄｒｏ ｉ ｄ ａｐｐｓ ａ ｎｄｕ ｓ ｅｒ ｆ ｅｅｄ ｂａ ｃ ｋ：Ａ ｄ ａ ｔ ａｓ ｅｔ ｆ ｏ ｒ ｓｏ ｆ ｔｗａ ｒｅ ｅ ｖｏ ｌ ｕ ｔｉ ｏ ｎａ ｎｄ ｑ ｕａ ｌｉｔ ｙｉｍｐ ｒ ｏｖ ｅｍｅｎ ｔ／ ／ Ｐ ｒｏ ｃｅｅｄ ｉ ｎｇｓ ｏ ｆ ｔ ｈｅ ２ ０ １ ７ ＡＣＭＳＩ ＧＳＯＦＴ Ｉ ｎｔ ｅｒ？ｎａ ｔ ｉ ｏｎａ ｌＷｏ ｒ ｋ ｓ ｈｏ ｐ ｏ ｎ Ａｐ ｐＭａ ｒｋｅ ｔ Ａｎ ａｌ ｙ ｔｉ ｃ ｓ． Ｗ ａｓ ｈｉ ｎ ｇ ｔ ｏ ｎ ？ＵＳ Ａ ， ２ ０ １ ７ ： ８－１ １［ ３ ０ ］Ｋ ｉｍＹ．Ｃｏ ｎ ｖｏ ｌ ｕ ｔ ｉｏ ｎａ ｌ ｎ ｅｕ ｒａ ｌ ｎｅ ｔ ｗｏ ｒ ｋｓｆ ｏ ｒｓ ｅｎｔ ｅｎ ｃｅ ｃｌａ ｓ ｓｉｆｉ－ｃａ ｔｉ ｏ ｎ ／ ／ Ｐ ｒ ｏ ｃｅｅ ｄ ｉ ｎｇ ｓ ｏ ｆｔ ｈ ｅ ２ ０ １ ４Ｃｏ ｎｆ ｅ ｒｅｎｃ ｅｏ ｎＥｍ ｐｉ ｒｉ ｃａ ｌＭｅ ｔ ｈｏ ｄ ｓｉ ｎ Ｎ ａｔ ｕ ｒ ａ ｌＬａ ｎｇｕ ａ ｇｅＰ ｒｏ ｃｅ ｓｓｉｎｇ．Ｄｏ ｈａ ，Ｑａ ｔ ａｒ ，２ ０ １ ４ ： １ ７４ ６－１ ７ ５ １［ ３ １ ］Ｃｈ ａｎｇ Ｃ－ Ｃ ， Ｌｉ ｎＣ－Ｊ．Ｌｉ ｂ ＳＶＭ ： Ａｌ ｉ ｂｒａｒ ｙ ｆｏ ｒ ｓ ｕ ｐ ｐｏｒｔ ｖ ｅｃｔ ｏ ｒｍａ ｃｈｉ ｎｅｓ．ＡＣＭＴ ｒａ ｎｓ ａｃ ｔｉ ｏ ｎｓ ｏ ｎＩｎ ｔｅ ｌ ｌ ｉ ｇｅ ｎｔ Ｓｙ ｓｔ ｅ ｍｓａ ｎｄＴ ｅｃ ｈｎｏｌ ｏ ｇｙ ， ２０ １ １ ， ２ （ ３ ） ： １－２ ７［ ３ ２ ］Ｖｕ ＰＭ ， Ｎｇ ｕ ｙ ｅｎ ＴＴ ，Ｐｈａ ｍ ＨＶ ＊ ｅ ｔ ａ ｌ ．Ｍｉ ｎｉ ｎｇ ｕ ｓｅ ｒｏｐｉ ｎｉｏ ｎ ｓ ｉ ｎ ｍｏ ｂ ｉｌ ｅ ａｐｐ ｒｅｖ ｉｅ ｗｓ ： Ａ ｋｅ ｙｗｏ ｒｄ－ ｂ ａ ｓｅ ｄａ ｐ ｐ ｒｏａｃ ｈ ／ ／Ｐｒｏ ｃｅ ｅｄｉ ｎｇｓ ｏ ｆ ｔｈ ｅ２ ０ １ ５ Ｉ ＥＥＥ ／ ＡＣＭＩ ｎ ｔ ｅｒｎ ａｔ ｉ ｏ ｎａ ｌ Ｃｏｎ ｆ ｅ ｒｅ ｎ ｃｅｏｎＡｕ ｔ ｏｍａ ｔ ｅｄＳｏｆ ｔｗａ ｒｅ Ｅｎｇ ｉ ｎｅｅ ｒｉ ｎｇ． Ｌｉ ｎｃｏｌ ｎ ，Ｎ ｅｂ ｒａ ｓｋａ ？２ ０ １ ５ ： ７４ ９－ ７ ５ ９２ ２ ０ ２ 计算机学报 ２ ０ ２ ０年［ ３ ３ ］Ｂｌ ｅｉ Ｄ Ｍ ， ＮｇＡ Ｙ ， Ｊ ｏ ｒ ｄ ａ ｎＭ Ｉ ， ｅ ｔａ ｌ ． Ｌａ ｔ ｅ ｎ ｔ Ｄｉ ｒｉ ｃ ｈ ｌ ｅ ｔａｌ ｌ ｏｃ ａｔｉ ｏ ｎ ． Ｊ ｏ ｕ ｒ ｎａ ｌ ｏ ｆＭａｃ ｈ ｉ ｎｅ Ｌｅ ａ ｒｎ ｉ ｎｇＲｅ ｓ ｅａ ｒ ｃ ｈ ， ２０ ０ ３，（ ３ ） ： ９ ９ ３ －１ ０ ２ ２［ ３４ ］Ｍｉ ｋ ｏ ｌ ｏ ｖ Ｔ ？ Ｓ ｕ ｔ ｓｋ ｅ ｖｅ ｒ Ｉ， Ｃｈｅ ｎ Ｋ ， ｅ ｔ ａｌ ． Ｄ ｉｓ ｔ ｒｉｂ ｕ ｔ ｅｄ ｒ ｅｐ ｒ ｅ？ｓ ｅｎ ｔａ ｔｉｏ ｎ ｓ ｏ ｆｗ ｏ ｒ ｄ ｓ ａ ｎ ｄ ｐ ｈ ｒ ａ ｓｅ ｓ ａ ｎ ｄ ｔｈ ｅｉ ｒ ， ｃｏ ｍ ｐｏ ｓ ｉｔｉｏｎ ａ ｌ ｉｔｙ ．Ａ ｄ ｖａ ｎ ｃｅ ｓ ｉ ｎ Ｎ ｅ ｕ ｒａ ｌ Ｉ ｎ ｆｏ ｒｍａ ｔｉｏ ｎ Ｐ ｒ ｏ ｃｅｓ ｓｉ ｎ ｇ Ｓ ｙ ｓｔ ｅｍ ｓ ， ２ ０ １ ３ ，（ ２ ６ ） ：３ １ １ １－ ３ １ １ ９［ ３ ５ ］Ｅ ｓ ｔ ｅｒＭ ， Ｋ ｒ ｉ ｅｇ ｅ ｌ Ｈ ， Ｓａ ｎ ｄ ｅ ｒＪ ， ｅｔ ａ ｌ．Ａ ｄ ｅ ｎ ｓｉ ｔ ｙ－ ｂ ａｓ ｅｄａｌ ｇ ｏ ｒ ｉｔ ｈ ｍ ｆｏ ｒ ｄ ｉ ｓｃ ｏ ｖｅ ｒ ｉ ｎ ｇ ｃｌ ｕ ｓ ｔｅ ｒ ｓｉ ｎ ｌ ａ ｒ ｇ ｅｓ ｐ ａ ｔ ｉ ａ ｌｄ ａ ｔ ａｂ ａ ｓｅ ｓｗｉ ｔ ｈ ｎ ｏ ｉ ｓ ｅ／ ／ Ｐ ｒ ｏ ｃｅｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ９ ９ ６ Ａ ＣＭ ＳＩ Ｇ ＫＤ Ｄ Ｉ ｎ ｔ ｅｒ ｎ ａ？ｔｉ ｏ ｎ ａ ｌ Ｃｏ ｎ ｆ ｅｒ ｅ ｎ ｃｅ ｏ ｎ Ｋ ｎ ｏ ｗ ｌ ｅｄ ｇｅ Ｄｉ ｓ ｃ ｏ ｖ ｅ ｒ ｙ ａ ｎ ｄ Ｄａ ｔａ Ｍｉ ｎ ｉ ｎ ｇ ．Ｐ ｏ ｒ ｔｌ ａ ｎ ｄ ， Ｏ ｒｅ ｇ ｏ ｎ ， １ ９ ９６ ： ２ ２ ６ － ２３ １［ ３ ６ ］Ｋ ｕｃ ｕ ｋ ｔ ｕ ｎ ｃ （ ） ，Ｃ ａｍ ｂａ ｚｏ ｇ ｌ ｕ ＢＢ ， Ｗｅｂ ｅｒ Ｉ ，ｅｔ ａ ｌ ．Ａ ｌ ａ ｒｇ ｅ －ｓ ｃａ ｌ ｅｓ ｅ ｎ ｔｉｍｅ ｎ ｔ ａ ｎ ａ ｌ ｙ ｓｉｓ ｆｏ ｒ Ｙａ ｈ ｏ ｏ！ ａｎ ｓ ｗ ｅｒ ｓ ／ ／ Ｐ ｒ ｏ ｃ ｅｅｄｉｎ ｇ ｓｏ ｆＸ Ｉ ＡＯＪ ｉ ａ ｎ － Ｍａ ｏ ． Ｐｈ ．Ｄ． ｃａ ｎｄ ｉ ｄａ ｔ ｅ．Ｈ ｉ ｓ ｍａ ｉ ｎｒｅ ｓ ｅａ ｒｃ ｈｉ ｎ ｔ ｅ ｒｅ ｓｔ ｓｉ ｎｃ ｌ ｕ ｄｅｓ ｅ ｒｖｉ ｃ ｅｃｏｍ ｐ ｕ ｔ ｉ ｎｇ ，ｉｎ ｔ ｅ ｌ ｌ ｉｇ ｅ ｎｔ ｓｏ ｆ ｔｗ ａ ｒｅｅ ｎｇ ｉ ｎｅ ｅ ｒｉ ｎ ｇ．Ｃ ＨＥ ＮＳｈ ｉ－ Ｚｈ ａ ｎ，Ｐ ｈ ．Ｄ ．，ａ ｓｓ ｏｃ ｉ ａ ｔ ｅｐｒ ｏｆ ｅ ｓ ｓ ｏｒ ．Ｈ ｉ ｓｒ ｅ ｓｅ ａ ｒｃ ｈ ｉ ｎ ｔ ｅ ｒ ｅ ｓ ｔ ｓ ｉ ｎ ｃｌ ｕｄ ｅ ｓ ｅ ｒｖｉ ｃ ｅ ｃ ｏｍｐｕ ｔ ｉｎｇａ ｎ ｄ ｔ ｈｅ ｓ ｅ ｒｖｉ ｃ ｅ －Ｂａ ｃ ｋ ｇｒ ｏｕ ｎｄＴ ｈｅ ｒ ｅｓ ｅ ａ ｒ ｃ ｈｗｏ ｒ ｋｉｎｔ ｈｉ ｓ ｐａ ｐｅ ｒ ｉ ｓ ａ ｂ ｏ ｕ ｔ ｍｏ ｂ ｉｌｅ ａ ｐ ｐｍａ ｉ ｎ ｔ ｅ ｎ ａ ｎｃ ｅ ａ ｎ ｄｅ ｖｏｌｕ ｔ ｉ ｏ ｎ．Ｗ ｅｈ ａ ｖｅ ｐ ｒｏｐｏ ｓｅ ｄａ ｎｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔａ ｕ ｔ ｏｍａ ｔ ｅ ｄ ｕ ｓ ｅ ｒ ｒｅ ｖｉ ｅ ｗｍｉ ｎ ｉ ｎ ｇａ ｎｄ ａ ｎａ ｌ ｙｓ ｉ ｓ ｍｅ ｔ ｈ ｏｄ ， ｗｈ ｉ ｃ ｈ ｉ ｓｏｆ ｇ ｒｅ ａ ｔｓ ｉ ｇ ｎ ｉ ｆ ｉ ｃａ ｎ ｃ ｅ ｆｏ ｒ ｄ ｅ ｖｅ ｌ ｏｐ ｅ ｒｓ ｔｏ ｍａ ｉ ｎ ｔ ａ ｉ ｎ ｔ ｈｅ ａ ｐｐ ．Ｔｈ ｉ ｓｍｅ ｔ ｈ ｏｄ ｃａ ｎ ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖｅｌ ｙｍ ｉ ｎｉ ｎ ｇ ｔｈ ｅ ｒ ｅｖ ｉ ｅ ｗ ｓｓ ｕ ｂｍ ｉ ｔ ｔ ｅ ｄｂ ｙｔ ｈ ｅｕ ｓｅ ｒ ｉ ｎｔ ｈ ｅ ａ ｐ ｐｓ ｔ ｏｒｅ ， ａ ｎｄ ｅ ｘ ｔ ｒａ ｃ ｔ ｔ ｈｅ ｕ ｓｅ ｆ ｕ ｌ ｉ ｎｆ ｏ ｒｍａ ｔ ｉ ｏ ｎ ｆｒ ｏｍｔ ｈ ｅｒ ｅ ｖｉ ｅ ｗ ｓｆ ｏ ｒｔ ｈ ｅｄ ｅ ｖｅｌｏｐｅ ｒ ．Ｍｏ ｒｅｐｒ ａ ｃ ｔ ｉ ｃ ａ ｌ ，ｔ ｈ ｅ ｍｅ ｔ ｈ ｏｄｃ ａ ｎ ｒｅ ｃ ｏｍｍｅ ｎ ｄｔ ｈ ｅｒ ｅ ｖ ｉ ｅ ｗｓｒ ｅ ｌ ａ ｔ ｅ ｄｔ ｏｔ ｈｅ ａｐｐｍａ ｉ ｎｔ ｅ ｎ ａ ｎｃ ｅａ ｎｄ ｖｅ ｒｓ ｉ ｏｎ ｕｐｄａ ｔ ｅ ｔ ｈ ａ ｔ ｔ ｈ ｅ ｕ ｓ ｅ ｒ ｍｏ ｓ ｔ ｃ ｏｎ ｃ ｅ ｒ ｎ ｓ ａ ｎｄ ｈｏｐｅ ｔ ｈ ｅｄｅ ｖ ｅｌ ｏｐｅ ｒ ｔ ｏｐ ａ ｙａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ ｔ ｏ．Ｂ ｙｏ ｕ ｒ ｍｅ ｔ ｈｏ ｄ ？ ｔ ｈ ｅ ｌａ ｂ ｏ ｒｃ ｏｓ ｔｏｆ ｍａ ｎ ｕ ａ ｌ ｒ ｅ ａ ｄｉ ｎｇｒｅ ｖ ｉ ｅ ｗｓ ｃ ａ ｎ ｂｅ ｇ ｒ ｅ ａ ｔ ｌ ｙｒ ｅ ｄ ｕ ｃｅ ｄ ．Ｔｈ ｅ ｐ ｒｅ ｖ ｉ ｏ ｕ ｓｍ ｅｔ ｈ ｏ ｄ ｏ ｆ ｍ ｉ ｎｉ ｎｇｕｓ ｅ ｒｒｅ ｖ ｉ ｅｗ ｓ ｉｓｔ ｏ ｃ ｌａ ｓｓｉｆ ｙｕ ｓｅ ｒ ｒｅ ｖ ｉ ｅ ｗｓ ｉｎｔ ｏｄ ｉ ｆ ｆｅ ｒｅ ｎｔ ｃ ａ ｔ ｅｇ ｏ ｒ ｉ ｅｓ，ａ ｎｄ ｔ ｈ ｅｎ ｃｏ ｍｂ ｉ ｎ ｅ ｗｉ ｔ ｈｔ ｅ ｘｔ ａｎ ａｌ ｙｓ ｉ ｓ， ｎ ａ ｔ ｕｒａｌ ｌａ ｎｇｕ ａ ｇｅ ｐｒｏｃ ｅｓ ｓｉｎｇ ａ ｎｄ ｏｔ ｈｅ ｒｔ ｅ ｃｈ ｎｏｌｏｇ ｉ ｅ ｓｔ ｏｒｅ ａ ｌｉｚ ｅ ａ ｐ ｐｒｅ ｖ ｉ ｅ ｗｉ ｎｆ ｏｒ ｍａ ｔ ｉ ｏ ｎｍｉ ｎ ｉ ｎｇ ．Ｈ ｏ ｗｅ ｖ ｅ ｒ， ｔｈ ｅｉ ｎ ｆ ｏｒ ｍａ ｔｉｏ ｎｍｉ ｎ ｉ ｎ ｇ ｆｒ ｏｍｔ ｈｅ ａ ｐ ｐｒｅ ｖｉ ｅｗｂ ｙｔ ｈｅ ｓ ｅ ｍｅ ｔ ｈｏ ｄ ｓｇｅ ｎ ｅ ｒａｌ ｌ ｙｃ ａ ｎ’ｔ ｂｅ ｄ ｉ ｒ ｅ ｃ ｔｌ ｙ ｆ ｏｒ ｄ ｅ ｖｅ ｌｏ ｐｅ ｒ ｓ ｔ ｏｍａ ｋｅ ａ ｃ ｔ ｉ ｏｎ ａ ｂ ｌｅｔ ｈ ｅ２ ０ １ ２ Ｉ ｎ ｔ ｅｒ ｎ ａ ｔｉｏ ｎ ａ ｌＣｏ ｎ ｆ ｅｒ ｅ ｎｃｅ ｏ ｎ Ｗｅ ｂ Ｓｅ ａｒ ｃ ｈ ａ ｎ ｄ Ｄ ａ ｔａＭｉ ｎ ｉ ｎ ｇ ． Ｗａ ｓｈ ｉ ｎ ｇ ｔ ｏ ｎ ， ＵＳ Ａ ， ２ ０ １ ２ ：６ ３３ － ６ ４ ２［ ３ ７ ］Ｔ ｈ ｅｌ ｗ ａ ｌ ｌ Ｍ ， Ｂ ｕ ｃｋ ｌ ｅｙＫ ． Ｐａ ｌｔ ｏｇ ｌ ｏ ｕＧ ，ｅｔ ａ ｌ．Ｓ ｅｎ ｔｉ ｍｅ ｎ ｔｓ ｔ ｒ ｅｎ ｇ ｔ ｈ ｄ ｅｔ ｅｃ ｔ ｉ ｏ ｎｉ ｎｓ ｈ ｏ ｒｔｉ ｎｆ ｏ ｒｍａ ｌ ｔｅ ｘｔ．Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆｔ ｈ ｅＡ ｍｅ ｒ ｉｃ ａｎ Ｓｏ ｃｉｅ ｔ ｙｆ ｏ ｒ Ｉ ｎ ｆｏ ｒｍａ ｔｉｏ ｎＳｃｉｅ ｎ ｃｅ ａｎ ｄ 丁ｅｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ．２０ １ ０ ， ６ １ （ １ ２ ） ： ２５ ４ ４ － ２ ５ ５ ８［ ３ ８ ］Ｔｈ ｅｌ ｗ ａ ｌ ｌ Ｍ ，Ｂ ｕ ｃｋ ｌｅ ｙＫ ．Ｐ ａ ｌｔ ｏｇｌ ｏ ｕＧ ，ｅ ｔａ ｌ．Ｓ ｅｎ ｔｉ ｍｅ ｎ ｔｓ ｔ ｒｅ ｎｇ ｔ ｈ ｄ ｅｔ ｅｃ ｔｉｏ ｎ ｆｏ ｒ ｔ ｈ ｅｓ ｏ ｃｉ ａｌ Ｗｅｂ ．Ｊｏ ｕ ｒｎａｌ ｏｆ ｔ ｈｅ Ａｓ ｓ ｏ ｃｉａ ｔｉｏ ｎｆｏ ｒＩ ｎ ｆｏ ｒ ｍ ａｔｉ ｏ ｎ Ｓｃｉ ｅ ｎ ｃｅ ａ ｎ ｄ Ｔｅ ｃｈ ｎ ｏ ｌ ｏ ｇ ｙ ， ２ ０ １ ２ ， ６ ３ （ １ ）： １６ ３ －１ ７ ３［ ３ ９］Ｄｅ ｒ Ｍａ ａ ｔ ｅｎ Ｌ Ｖ ， Ｈ ｉｎ ｔ ｏ ｎ Ｇ Ｅ． Ｖｉ ｓ ｕ ａ ｌ ｉ ｚ ｉ ｎ ｇ ｄ ａ ｔ ａ ｕ ｓ ｉ ｎ ｇ ｔ －Ｓ Ｎ Ｅ．Ｊ ｏ ｕ ｒ ｎ ａ ｌｏ ｆＭ ａｃ ｈ ｉ ｎ ｅＬ ｅａ ｒ ｎ ｉ ｎ ｇ Ｒｅｓ ｅａ ｒ ｃ ｈ ，２ ０ ０ ８ ？９ （ ２ ６ ０ ５ ） ：２５ ７ ９－ ２ ６ ０ ５ｏ ｒｉ ｅ ｎ ｔｅ ｄ ａ ｒｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒｅ．ＦＥＮ ＧＺ ｈｉ－Ｙ ｏ ｎｇ ． Ｐ ｈ． Ｄ． ． ｐｒｏ ｆｅｓ ｓｏｒ． Ｈ ｉ ｓ ｒｅｓ ｅａ ｒｃ ｈ ｉ ｎ ｔｅ ｒｅ ｓｔ ｓｉ ｎ ｃ ｌ ｕ ｄｅ ｋ ｎ ｏｗ ｌ ｅ ｄ ｇｅｅ ｎ ｇｉｎ ｅ ｅ ｒｉ ｎｇ ，ｓ ｅ ｒｖ ｉ ｃ ｅ ｃｏ ｍｐｕ ｔ ｉ ｎ ｇａ ｎ ｄｃｏ ｍｐｕ ｔ ｅ ｒ ｃ ｏｇ ｎ ｉ ｔ ｉ ｏｎ．ＬＩＵ Ｐｅｎ ｇ－ Ｌｉ ，Ｍ ． Ｓ． ｃ ａｎ ｄｉ ｄａ ｔ ｅ ．Ｈ ｉ ｓｍａｉ ｎ ｒｅｓ ｅａ ｒｃ ｈ ｉ ｎ ｔｅ ｒｅ ｓｔ ｓｉ ｎ ｃ ｌ ｕ ｄｅ ｓ ｅ ｒｖ ｉ ｃｅ ｃ ｏ ｍｐｕ ｔ ｉ ｎｇ ， ｓ ｏｆ ｔ ｗ ａ ｒｅ ｅ ｎｇｉ ｎ ｅ ｅ ｒ ｉ ｎｇ ．ＸＵＥ Ｘｉ ａ ｏ ． Ｐ ｈ ． Ｄ．， ｐｒｏ ｆ ｅ ｓ ｓｏ ｒ． Ｈ ｉ ｓ ｒｅ ｓｅ ａ ｒ ｃ ｈｉ ｎ ｔ ｅ ｒｅ ｓ ｔ ｓｉ ｎ ｃｌ ｕ ｄｅ ｓ ｅ ｒｖ ｉｃ ｅｃ ｏ ｍｐｕ ｔ ｉ ｎ ｇａ ｎ ｄ ｃｏ ｍｐｕ ｔ ａ ｔ ｉ ｏ ｎ ａ ｌｅ ｘｐｅ ｒ ｉｍｅ ｎｔ ．ｔ ａ ｓｋ ｓｆ ｏｒ ｓ ｕ ｂ ｓｅ ｑ ｕｅ ｎｔａ ｐ ｐｍａ ｉ ｎｔ ｅ ｎａｎ ｃｅ ａ ｎｄ ｅ ｖｏｌ ｕ ｔ ｉｏ ｎ． Ｍｏ ｒｅｏ ｖｅ ｒ，ｔ ｈ ｅｓ ｅ， ｍｅ ｔ ｈ ｏｄｓ ｒ ａ ｒｅ ｌ ｙ ｐ ｒｏ ｖｉ ｄｅ ａ ｎ ｉｎ ｔ ｅｒ ａ ｃｔ ｉ ｖ ｅ ｔ ｏ ｏ ｌ ｆｏ ｒｄ ｅ ｖｅ ｌ ｏｐ ｅ ｒｓｔ ｏｅ ａ ｓ ｙｕ ｎ ｄｅ ｒ ｓｔ ａ ｎ ｄｔ ｈ ｅ ｕ ｓｅ ｒ ｓ’ｒｅ ａ ｌ ｉ ｎ ｔ ｅ ｎｔ ｉｏ ｎ ．Ｗｅ ｂｅ ｌｉ ｅ ｖｅ ｔ ｈ ａ ｔ ｏ ｕｒ ｒｅ ｓ ｅ ａ ｒｃ ｈ ｍｅ ｔ ｈｏ ｄｓ ｃ ａ ｎ ｉ ｍｐ ｒｏ ｖ ｅ ｔ ｈ ｅｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙｏ ｆａ ｕ ｔ ｏｍａ ｔ ｅｄ ａ ｎａ ｌ ｙｓ ｉ ｓ ｏ ｆｕ ｓ ｅ ｒｒｅ ｖ ｉ ｅｗ ｓａ ｔ ｔ ｈ ｅｔ ｈ ｅｏ ｒ ｅｔ ｉ ｃ ａｌ ｌｅｖ ｅｌａ ｎ ｄｉ ｄ ｅ ｎｔ ｉ ｆ ｙｔ ｈ ｅ ｕ ｓｅ ｒ ｓ？ｒ ｅ ａｌｉ ｎ ｔ ｅ ｎ ｔ ｉｏｎ ｓ． Ａｔｔ ｈ ｅｐｒ ａ ｃ ｔ ｉ ｃａｌａ ｐｐ ｌｉ ｃａ ｔ ｉ ｏｎ ｌｅ ｖｅ ｌ ， ｔ ｈｉ ｓｍｅ ｔ ｈ ｏ ｄｃ ａ ｎｐ ｒｏｖ ｉ ｄｅｄｅ ｖ ｅ ｌ ｏｐｅ ｒ ｓ ｗｉ ｔ ｈｄ ｉ ｒｅ ｃ ｔ ａ ｎｄ ｉ ｎ ｔ ｅ ｒａ ｃ ｔ ｉ ｖ ｅａ ｐ ｐｍａ ｉ ｎｔ ｅ ｎ ａ ｎｃ ｅ ｔ ａ ｓｋ ｓ，ｓｏ ａ ｓ ｔｏ ｃ ｏ ｎｔ ｉ ｎ ｕ ｏ ｕ ｓ ｌ ｙ ｍｅ ｅ ｔ ｔ ｈ ｅ ｕ ｓ ｅ ｒ ｓＪｒｅ ａ ｌ ｒｅｑｕ ｉ ｒ ｅｍｅ ｎ ｔ ｓａ ｎ ｄｉ ｍｐ ｒ ｏ ｖ ｅ ｕ ｓｅ ｒ ｓ ａ ｔ ｉ ｓ ｆ ａ ｃ ｔ ｉ ｏ ｎ．Ｔｈ ｉ ｓ ｗ ｏｒ ｋｉｓｓ ｕｐ ｐｏ ｒｔ ｅ ｄｂ ｙｔ ｈ ｅ Ｎａ ｔ ｉ ｏｎａｌＫ ｅ ｙＲ ＆－ ＤＰ ｒ ｏｇ ｒ ａｍｏ ｆＣ ｈ ｉ ｎａ ｕ ｎｄ ｅ ｒＧ ｒａ ｎ ｔＮ ｏ． ２ ０ １ ７ ＹＦＢ １ ４ ０ １ ２ ０ １ ，ｔ ｈ ｅＮ ａ ｔ ｉ ｏ ｎ ａｌ Ｎａ ｔ ｕ ｒ ａｌ Ｓｃｉｅ ｎ ｃ ｅＦｏ ｕ ｎ ｄ ａ ｔ ｉ ｏｎｏ ｆ Ｃ ｈ ｉ ｎ ａｕ ｎ ｄｅ ｒＧ ｒａ ｎ ｔＮ ｏ． ６ １ ５ ７ ２ ３ ５ ０ ． ｔ ｈ ｅ Ｎａ ｔ ｉ ｏ ｎ ａｌ Ｎ ａ ｔ ｕ ｒａｌ Ｓｃｉ ｅｎ ｃ ｅ Ｋ ｅ ｙＦ ｏ ｕ ｎ ｄａ ｔ ｉ ｏ ｎｏｆ Ｃ ｈ ｉ ｎ ａ ｕ ｎ ｄｅ ｒＧ ｒ ａ ｎ ｔ Ｎｏ ． ６ １ ８ ３ ２ ０ １ ４ ａ ｎｄ ｔ ｈｅ Ｓ ｈｅ ｎ ｚ ｈｅ ｎＳｃ ｉ ｅ ｎ ｃ ｅａ ｎ ｄＴｅ ｃ ｈ ｎｏ ｌ ｏ ｇ ｙ Ｆｏ ｕｎ ｄ ａ ｔ ｉ ｏ ｎ （ Ｊ Ｃ ＹＪ ２ ０ １ ７ ０ ８ １ ６ ０ ９ ３ ９ ４ ３ １ ９ ７ ） ． |
| [返回] |
下一篇：社区环境下基于节点交互和主题的影响力计算模型_王大刚