ｅ　ｆｉｒｓｔ　ｉｓ　ｅｎｔｉｔｙ　ｌｉｎｋｉｎｇ　ｉｎ　ｑｕｅｒｉｅｓ，ｗｈｉｃｈ　ａｉｍｓ　ｔｏ　ｄｉｓａｍｂｉｇｕａｔｅ　ｔｈｅ　ｅｎｔｉｔｙｍｅｎｔｉｏｎｅｄ　ｉｎ　ａ　ｑｕｅｒｙ　ａｎｄ　ｌｉｎｋ　ｉｔ　ｔｏ　ｔｈｅ　ｃｏｒｒｅｓｐｏｎｄｉｎｇ　ｅｎｔｉｔｙ　ｉｎ　ａ　ｋｎｏｗｌｅｄｇｅ　ｂａｓｅ．Ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅｅｎｔｉｔｙ　ｌｉｎｋｉｎｇ　ａｃｃｕｒａｃｙ，ａｎ　ｅｎｔｉｔｙ　ｌｉｎｋｉｎｇ　ｓｙｓｔｅｍ　ｓｈｏｕｌｄ　ｃｏｎｓｉｄｅｒ　ａｄｄｉｔｉｏｎａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｓｕｃｈ　ａｓｔｈｅ　ｑｕｅｒｙ　ｃｏｎｔｅｘｔ　ａｎｄ　ａ　ｕｓｅｒ’ｓ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｙ．Ｔｈｅ　ｓｅｃｏｎｄ　ｉｓ　ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ，ｗｈｉｃｈ　ａｉｍｓｔｏ　ｆｉｎｄ　ａ　ｓｅｔ　ｏｆ　ｒｅｌａｔｅｄ　ｅｎｔｉｔｉｅｓ　ｔｏ　ａ　ｑｕｅｒｙ，ａｎｄ　ｔｈｅｎ　ｒａｎｋ　ｔｈｅｓｅ　ｅｎｔｉｔｉｅｓ．Ｓｐｅｃｉｆｉｃａｌｌｙ，ａｎ　ｅｎｔｉｔｙｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｍｏｄｅｌ　ｔｙｐｉｃａｌｌｙ　ｃｏｎｓｉｓｔｓ　ｏｆ　ｔｗｏ　ｃｏｍｐｏｎｅｎｔｓ：ｒｅｌａｔｅｄ　ｅｎｔｉｔｙ　ｆｉｎｄｉｎｇ　ａｎｄ　ｅｎｔｉｔｙｒａｎｋｉｎｇ．Ｔｈｅ　ｆｏｒｍｅｒ　ｅｘｔｒａｃｔｓ　ａ　ｓｅｔ　ｏｆ　ｃａｎｄｉｄａｔｅ　ｅｎｔｉｔｉｅｓ　ｒｅｌａｔｅｄ　ｔｏ　ａ　ｑｕｅｒｙ　ｔｈａｔ　ａ　ｕｓｅｒ　ｉｓ　ｓｅａｒｃｈｉｎｇｆｏｒ，ｗｈｉｌｅ　ｔｈｅ　ｌａｔｔｅｒ　ｒａｎｋｓ　ｔｈｅ　ｃａｎｄｉｄａｔｅ　ｅｎｔｉｔｉｅｓ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｈｏｗ　ｗｅｌｌ　ｔｈｅｙ　ｍｅｅｔ　ｔｈｅ　ｕｓｅｒ’ｓｉｎｆｏｒｍａｔｉｏｎ　ｎｅｅｄ．Ｔｏ　ｂｅｔｔｅｒ　ｕｎｄｅｒｓｔａｎｄ　ａ　ｕｓｅｒ’ｓ　ｉｎｆｏｒｍａｔｉｏｎ　ｎｅｅｄｓ　ａｎｄ　ｃａｐｔｕｒｅ　ａ　ｕｓｅｒ’ｓ　ｐｒｅｆｅｒｅｎｃｅｓ，ａｎ　ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｍｏｄｅｌ　ｓｈｏｕｌｄ　ｅｘｐｌｏｉｔ　ａｄｄｉｔｉｏｎａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｓｕｃｈ　ａｓ　ａ　ｕｓｅｒ’ｓ　ｓｅａｒｃｈｈｉｓｔｏｒｙ．Ｔｈｅｒｅ　ａｒｅ　ｔｗｏ　ｋｉｎｄｓ　ｏｆ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｙ：ｓｈｏｒｔ－ｔｅｒｍ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｙ　ｉｎ　ａ　ｓｉｎｇｌｅ　ｓｅｓｓｉｏｎ　ａｎｄｌｏｎｇ－ｔｅｒｍ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｙ　ａｃｒｏｓｓ　ａｌｌ　ｓｅｓｓｉｏｎｓ．Ｔｈｅ　ｓｈｏｒｔ－ｔｅｒｍ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｙ，ｗｈｉｃｈ　ｃｏｎｓｉｓｔｓ　ｏｆｉｎ－ｓｅｓｓｉｏｎ　ｐｒｅｃｅｄｉｎｇ　ｑｕｅｒｉｅｓ　ａｎｄ　ｃｌｉｃｋｔｈｒｏｕｇｈ　ｄａｔａ，ｃａｎ　ｂｅ　ｅｘｐｌｏｉｔｅｄ　ｔｏ　ｈｅｌｐ　ｕｎｄｅｒｓｔａｎｄ　ａ　ｕｓｅｒ’ｓｉｎｆｏｒｍａｔｉｏｎ　ｎｅｅｄｓ　ａｎｄ　ｃａｐｔｕｒｅ　ａ　ｕｓｅｒ’ｓ　ｉｎｔｅｒｅｓｔｓ　ｏｎ　ｅｎｔｉｔｙ　ｐｒｅｆｅｒｅｎｃｅ　ｉｎ　ｔｈｅ　ｃｕｒｒｅｎｔ　ｓｅｓｓｉｏｎ．Ｔｈｅｌｏｎｇ－ｔｅｒｍ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｙ　ｉｎｃｌｕｄｅｓ　ｑｕｅｒｙ　ｈｉｓｔｏｒｙ　ａｎｄ　ｃｌｉｃｋｔｈｒｏｕｇｈ　ｄａｔａ　ａｃｒｏｓｓ　ａｌｌ　ｓｅｓｓｉｏｎｓ　ｆｏｒ　ａｐｅｒｉｏｄ　ｏｆ　ｔｉｍｅ，ｗｈｉｃｈ　ｒｅｆｌｅｃｔｓ　ａ　ｕｓｅｒ’ｓ　ｉｎｔｅｒｅｓｔｓ　ａｃｃｕｍｕｌａｔｅｄ　ｏｖｅｒ　ｔｉｍｅ　ａｎｄ　ｃｏｕｌｄ　ｂｅ　ｕｓｅｄ　ｔｏ　ｃａｐｔｕｒｅｔｈｅ　ｕｓｅｒ’ｓ　ｉｎｔｒｉｎｓｉｃ　ｉｎｔｅｒｅｓｔｓ　ｏｎ　ｅｎｔｉｔｙ　ｐｒｅｆｅｒｅｎｃｅ．Ｔｈｅｒｅｆｏｒｅ，ｉｎ　ｏｒｄｅｒ　ｔｏ　ｇｅｎｅｒａｔｅ　ｍｏｒｅ　ｒｅｌｅｖａｎｔｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ　ｗ．ｒ．ｔ．ｔｈｅ　ｕｓｅｒ’ｓ　ｉｎｆｏｒｍａｔｉｏｎ　ｎｅｅｄｓ　ａｎｄ　ｐｒｅｆｅｒｅｎｃｅｓ，ｉｔ　ｉｓ　ｉｍｐｏｒｔａｎｔ　ｆｏｒａｎ　ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｍｏｄｅｌ　ｔｏ　ｅｘｐｌｏｉｔ　ａｓ　ｍａｎｙ　ｓｅａｒｃｈ　ｈｉｓｔｏｒｉｅｓ　ａｓ　ｐｏｓｓｉｂｌｅ．Ｔｈｅ　ｔｈｉｒｄ　ｉｓｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｃａｐｔｉｏｎｉｎｇ，ｗｈｉｃｈ　ａｉｍｓ　ｔｏ　ｅｘｐｌａｉｎ　ｗｈｙ　ｔｗｏ　ｅｎｔｉｔｉｅｓ　ａｒｅ　ｒｅｌａｔｅｄ　ａｎｄ　ｗｈｙ　ａｇｒｏｕｐｏｆ　ｅｎｔｉｔｉｅｓ　ｉｓ　ｒｅｃｏｍｍｅｎｄｅｄ　ｔｏ　ａ　ｕｓｅｒ．Ｐｒｅｓｅｎｔｉｎｇ　ｒｅｌａｔｅｄ　ｅｎｔｉｔｉｅｓ　ｗｉｔｈ　ｐｌａｕｓｉｂｌｅ　ｅｘｐｌａｎａｔｉｏｎｓ　ｃａｎｈｅｌｐ　ｕｓｅｒｓ　ｑｕｉｃｋｌｙ　ｆｉｇｕｒｅ　ｏｕｔ　ｔｈｅ　ｃｏｎｎｅｃｔｉｏｎｓ　ｂｅｔｗｅｅｎ　ｔｈｅ　ｑｕｅｒｙ　ａｎｄ　ｔｈｅ　ｒｅｃｏｍｍｅｎｄｅｄ　ｅｎｔｉｔｉｅｓ　ａｓｗｅｌｌ　ａｓ　ｔｈｅ　ｋｅｙ　ｆａｃｔｓ　ｏｆ　ｔｈｅｓｅ　ｅｎｔｉｔｉｅｓ，ｗｈｉｃｈ　ｉｎ　ｔｕｒｎ　ｉｎｃｒｅａｓｅｓ　ｔｈｅ　ｕｎｄｅｒｓｔａｎｄａｂｉｌｉｔｙ　ｏｆ　ｔｈｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ　ａｎｄ　ｕｓｅｒ　ｅｎｇａｇｅｍｅｎｔ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｔｈｅ　ｒｅｓｅａｒｃｈ　ｂａｃｋｇｒｏｕｎｄ　ａｎｄ　ｔｈｅ　ｃｈａｌｌｅｎｇｅｓｏｆ　ｔｈｉｓ　ｔａｓｋ　ａｒｅ　ｐｒｅｓｅｎｔｅｄ　ｆｉｒｓｔ，ａｎｄ　ｔｈｅｎ　ｔｈｅ　ｒｅｌａｔｅｄ　ｓｔｕｄｉｅｓ　ａｎｄ　ｍｅｔｈｏｄｓ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ．Ｆｉｎａｌｌｙ，ｐｒｏｂｌｅｍｓ　ａｒｅ　ｄｉｓｃｕｓｓｅｄ，ａｎｄ　ｓｅｖｅｒａｌ　ｆｕｔｕｒｅ　ｒｅｓｅａｒｃｈ　ｄｉｒｅｃｔｉｏｎｓ　ａｒｅ　ｓｕｇｇｅｓｔｅｄ．Ｋｅｙｗｏｒｄｓ　ｓｅａｒｃｈ　ｅｎｇｉｎｅ；ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ；ｅｎｔｉｔｙ　ｌｉｎｋｉｎｇ；ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｃａｐｔｉｏｎｉｎｇ１　引　言搜索引擎是用户获取信息的重要工具．近年来，为了更好地满足用户的信息获取需求，搜索引擎从最初只能被动地根据用户输入的搜索查询（ｓｅａｒｃｈｑｕｅｒｙ）返回相关网页，逐步改进到能够主动为用户提供直接答案［１－２］和推荐相关信息［３－６］．用户对实体的信 息 需 求 较 大，例如超过 ７０％的搜索查询包含命名实体（ｎａｍｅｄ　ｅｎｔｉｔｙ）［７］，在所有搜索查询中大约４０％的搜索查询其主要搜索需求为其中出现的一个 实 体［８］．大 规 模 知 识 库 （ｋｎｏｗｌｅｄｇｅ　ｂａｓｅ）如Ｆｒｅｅｂａｓｅ［９］、ＤＢｐｅｄｉａ［１０］的出现使得搜索引擎可以为搜索查询中的核心实体推荐相关的实体．面向搜索引擎的实体推荐（为简便起见，后续统一简称为实体推荐）不仅能够帮助用户探索和发现感兴趣的相关实体，而且对于提升用户参与度（ｕｓｅｒ　ｅｎｇａｇｅｍｅｎｔ）具有至关重要的作用．实体推荐已经成为现代搜索引擎必不可少的功能之一．实体推荐系统的目标是根据用户输入的查询，在搜索结果中提供相关实体建议，以帮助用户发现更多与其搜索需求相关的信息．图１显示了百度搜索引擎为查询“奥巴马”所提供的搜索结果．在搜索结果页中，左侧区域展现的是与该查询相关的网页，而与该查询相关的实体推荐，则展现在右侧区域的“相关人物”中，每一个被推荐的实体还附有一条恰当且合理的推荐理由以便让用户迅速了解被推荐的实体．这些由系统推荐的实体，能够帮助用户便捷地找到与其搜索需求相关的其他实体，让用户多了一种探索更多信息的方式，能够有效提升用户的信息发现体验．８６４１ 计　　算　　机　　学　　报 ２０１９年所对应的百度搜索结果与传统推荐任务相比，面向搜索引擎的实体推荐任务主要存在以下挑战：（１）在传统推荐任务中，用户感兴趣的物品（ｉｔｅｍ）是显式的和具体的，例如某一个商品或电影，而在搜索引擎的实体推荐任务中，用户所感兴趣的实体并没有被显式地给出．查询中的实体指称（ｍｅｎｔｉｏｎ）通常具有歧义，例如“奥巴马”在百度百科中有７个不同的义项，因此需要对实体指称进行消歧以获取用户的搜索需求；（２）传统推荐任务中候选推荐物品的规模远小于搜索引擎实体推荐任务中所需处理的查询与实体的规模；（３）传统推荐任务中对用户推荐的物品通常限定于同一个领域如商品或电影，而搜索引擎实体推荐则没有限 定推荐实体的领域，它可能来自知识库中任何一个领域；（４）在传统推荐任务中，用户对于物品的偏好信息通常能够显式地获取到，例如用户购买过某物品或观看过某电影的行为可以较为确定地表明用户对该物品或电影的喜爱，而在搜索引擎中用户对于实体的偏好信息则较难显式地获取到；（５）在 传统推荐任 务 中，由 于 被 推 荐 的 物 品 属 于 同 一 领 域通常不需 要 给 出 具 体 的 推 荐 理 由，而 搜 索 引 擎 中的实体推荐则需要给出具体的推荐理由以帮助 用户更好地理解实体推荐结果．面向搜索引擎的实体推荐存在的主要挑战及其对应研究任务如图２所示．为了能更好地理解用户的搜索需求并准确地为用户推荐感兴 趣的相关 实体，一个完备的实体推荐系统需要包含三个子任务，分别为实体链接（ｅｎｔｉｔｙ　ｌｉｎｋｉｎｇ）、实体推荐以及推荐理由生成．其中实体链接旨在消除查询中实体指称的歧义并链接到知识库中无歧义的实体上，以获得与搜索查询对应的查询实体．实体推荐旨在为查询实体寻找相关实体并排序生成推荐实体．推荐理由生成则旨在为被推荐的实体集合以及单个实体生成推荐理由．上述三个任务对应的技术挑战、研究现状以及解决方法将分别在第２、３、４节中进行详细介绍．为更直观地进行说明，图３以搜索查询“美国总统奥巴马”为例，描述了实体推荐系统中不同模块的关系及工作流程．图 ２　面向搜索引擎的实体推荐存在的主要挑战及其对应研究任务实体链接的引入主要是针对以上所提的第一个挑战，其作用是将搜索查询中的实体指称消除歧义并链接到知识库中一个无歧义的实体上［１１］．实体链接不仅是实体推荐系统中必不可少的一部分［６，１２］，也是知识库构建（ｋｎｏｗｌｅｄｇｅ　ｂａｓｅ　ｐｏｐｕｌａｔｉｏｎ）的重要环节［１３］．实体链接任务已经成为近年来的研究热点，国 内 外 均 有 相 关 的 实 体 链 接 评 测 如 ＴＡＣＫＢＰ［１４］、ＥＲＤ　２０１４［１５］、ＮＬＰＣＣ　２０１５［１６］．根据文本的形式，实体链接任务可以分为长文本实体链接与短文本（如ｔｗｉｔｔｅｒ［１７－１８］、搜索查询［１２，１９］）实体链接．　　从语言的角度，实体链接任务又可分为单语言实体链接与跨语言实体链接［２０］．实体链接任务通常包含三个子模块，分别是实体识别、候选实体获取与候选实体排序．由于候选实体排序需要对实体指称及候选实体进行更深层的语义理解以计算它们的语义相似度，因而目前大部分对实体链接的研究都集中在候选实体排序阶段．随着深度学习在自然语言处理领域不断取得进展［２１］，实体链接的方法也不断发展，从依赖于人工构建特征［２２］到利用神经网络从知识库和文本中自动学习特征［２３－２４］，实现对候选实体排序．　　７期 黄际洲等：面向搜索引擎的实体推荐综述９６４１图 ３　实体推荐系统示意图　　实体推荐旨在为查询实体给出一系列推荐实体，它具有相关实体发现和相关实体排序两部分．由于搜索查询与知识库的规模都很庞大，因此无法通过遍历的方式计算知识库中所有实体与查询实体的相关度来进行召回．为了提高效率，相关实体发现模块为查询实体从知识库中召回一小部分最相关的候选实体．由于实体推荐的领域无关性，在相关实体排序中需要尽可能引入更多领域无关的特征．为了获取用户对实体的偏好信息，可以利用搜索日志中的用户点击信息．按照是否利用当前查询的历史来搜索信息，目前的实体推荐方法可以被划分为上下文相关的方法［２５－２６］以及上下文无关［５－６，２７－２８］的方法．其中上下文相关的方法由于考虑了用户的历史搜索，因而能够更好地对当前查询进行理解，使得给出的推荐结果与用户的信息需求更相关．此外，按照是否考虑用户偏好信息，目前的实体推荐方法又可以被划分为个性化的方法［６，２７－２８］和非个性化的方法［５，２５－２６］．推荐理由生成旨在为被推荐实体集合以及单个被推荐实体生成推荐理由，分别为集合推荐理由和实体推荐理由．集合推荐理由需要反映出被推荐实体集合与用户查询实体之间的关系，如图１中的集合推荐理由“相关人物”说明对应的被推荐实体均为与查询实体“奥巴马”相关的人物．集合推荐理由的生成方法主要有基于标签的方法和 基 于模板的方法．实体推荐理由通常可以分为两种：一种是关系型推荐理由，主要用来说明被推荐实体与查询实体的关系；另一种是亮点型推荐理由，旨在用简短的自然语言表达介绍被推荐实体的特点或独到之处．例如在图１给出的推荐结果示例中，“第４２任美国总统”主要介绍被推荐实体“威廉·杰斐逊·克林顿”，属于亮点型推荐理由．而“９２年结婚并育有俩女儿”给出了被推荐实体“米歇尔·奥巴马”与查询实体之间的关系，则属于关系型推荐理由．由于搜索引擎为了更好地展示实体推荐理由而对其字数进行了限制，因此实体推荐理由的生成需要分两步：（１）为被推荐实体生成实体推荐理由，即一小段无字数限制的自然语言描述文本；（２）对上述实体推荐理由进行压缩以使其符合搜索引擎要求的字数限制．关系型实０７４１ 计　　算　　机　　学　　报 ２０１９年出版日期：２０１９－０３－２２．本课题得到国家“九七三”重点基础研究发展计划项目基金（２０１４ＣＢ３４０５０５）资 助．黄际洲，博士研究生，主要研究方向为自然语言处理、推荐系统、人工智能．Ｅ－ｍａｉｌ：ｈｕａｎｇｊｉｚｈｏｕ０１＠ｂａｉｄｕ．ｃｏｍ．孙雅铭，博士，工程师，主要研究方向为实体消歧、自然语言处理．王海峰，博士，教授级高工，博士生导师，主要研究领域为自然语言处理、机器翻译、人工智能．刘　挺，博士，教授，博士生导师，主要研究领域为人工智能、自然语言处理、社会计算．面向搜索引擎的实体推荐综述黄际洲１），２）　孙雅铭２）　王海峰２）　刘　挺１）１）（哈尔滨工业大学计算机学院社会计算与信息检索研究中心　哈尔滨　１５０００１）２）（百度公司　北京　１０００８５）摘　要　面向搜索引擎的实体推荐任务旨在为用户输入的搜索查询推荐出相关实体，从而帮助用户发现感兴趣的实体，提升用户的搜索体验．此外，为了帮助用户更好地理解实体推荐结果，还需要为被推荐的实体集合以及每一个被推荐实体生成恰当且合理的推荐理由．实体推荐能够帮助用户便捷地获得与其搜索需求相关的信息，有助于提升用户的信息发现体验，因此已成为现代搜索引擎中必不可少的功能之一．与传统领域的推荐任务相比较，面向搜索引擎的实体推荐面临更多的挑战，例如搜索查询中实体指称的歧义性以及实体推荐的领域无关性等．针对搜索引擎实体推荐任务的特点与存在的挑战，我们认为构建一个完备的实体推荐系统需要解决如下三个子研究任务：实体链接、实体推荐与推荐理由生成．实体链接任务的目标是将搜索查询中的实体指称消除歧义并链接到知识库中无歧义的实体上，以获得与搜索查询对应的查询实体．实体推荐任务的目标是获取与查询实体相关的实体集合并对其进行排序．为了提供更准确的推荐结果，往往还需要进一步利用历史搜索信息获取用户对实体的偏好并对当前查询进行更好地理解．推荐理由生成任务的目标是为被推荐的实体集合以及每一个被推荐实体生成推荐理由，其中集合推荐理由解释的是该集合中的被推荐实体与查询实体的关系，实体推荐理由则是单个实体被推荐的理由．本文首先介绍面向搜索引擎的实体推荐任务的研究背景与意义、存在的挑战以及各子任务，然后详细介绍每一个子任务存在的技术挑战、研究现状以及解决方法，最后对未来研究方向进行展望并对本文进行总结．关键词　搜索引擎；实体推荐；实体链接；推荐理由中图法分类号 ＴＰ１８　　　ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１９．０１４６７Ａ　Ｓｕｒｖｅｙ　ｏｆ　Ｅｎｔｉｔｙ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｉｎ　Ｗｅｂ　ＳｅａｒｃｈＨＵＡＮＧ　Ｊｉ－Ｚｈｏｕ１），２）　ＳＵＮ　Ｙａ－Ｍｉｎｇ２）　ＷＡＮＧ　Ｈａｉ－Ｆｅｎｇ２）　ＬＩＵ　Ｔｉｎｇ１）１）（Ｒｅｓｅａｒｃｈ　Ｃｅｎｔｅｒ　ｆｏｒ　Ｓｏｃｉａｌ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅｔｒｉｅｖａｌ，Ｈａｒｂｉｎ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ　１５０００１）２）（Ｂａｉｄｕ　Ｉｎｃ．，Ｂｅｉｊｉｎｇ　１０００８５）Ａｂｓｔｒａｃｔ　 Ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ａｉｍｓ　ｔｏ　ｐｒｏｖｉｄｅ　ｓｅａｒｃｈ　ｕｓｅｒｓ　ｗｉｔｈ　ｅｎｔｉｔｙ　ｓｕｇｇｅｓｔｉｏｎｓ　ｒｅｌｅｖａｎｔｔｏ　ｔｈｅｉｒ　ｉｎｆｏｒｍａｔｉｏｎ　ｎｅｅｄｓ，ｗｈｉｃｈ　ｃａｎ　ｈｅｌｐ　ｔｈｅｍ　ｔｏ　ｅｘｐｌｏｒｅ　ａｎｄ　ｄｉｓｃｏｖｅｒ　ｅｎｔｉｔｉｅｓ　ｏｆ　ｉｎｔｅｒｅｓｔ．Ｆｏｒｔｈｉｓ　ｒｅａｓｏｎ，ｏｖｅｒ　ｔｈｅ　ｐａｓｔ　ｆｅｗ　ｙｅａｒｓ，ｍａｊｏｒ　ｃｏｍｍｅｒｃｉａｌ　Ｗｅｂ　ｓｅａｒｃｈ　ｅｎｇｉｎｅｓ　ｈａｖｅ　ｐｒｏａｃｔｉｖｅｌｙｒｅｃｏｍｍｅｎｄｅｄ　ｒｅｌａｔｅｄ　ｅｎｔｉｔｉｅｓ　ｆｏｒ　ａ　ｑｕｅｒｙ　ａｌｏｎｇ　ｗｉｔｈ　ｔｈｅ　ｒｅｇｕｌａｒ　Ｗｅｂ　ｓｅａｒｃｈ　ｒｅｓｕｌｔｓ　ｔｏ　ｅｎｒｉｃｈ　ａｎｄｉｍｐｒｏｖｅ　ｔｈｅ　ｕｓｅｒ　ｅｘｐｅｒｉｅｎｃｅ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｒｅｔｒｉｅｖａｌ　ａｎｄ　ｄｉｓｃｏｖｅｒｙ．Ｔｏ　ｈｅｌｐ　ｕｓｅｒｓ　ｂｅｔｔｅｒ　ｕｎｄｅｒｓｔａｎｄｗｈｙ　ｔｈｅ　ｅｎｔｉｔｉｅｓ　ａｒｅ　ｒｅｃｏｍｍｅｎｄｅｄ　ｔｏ　ｔｈｅｍ，ｉｔ　ｉｓ　ａｌｓｏ　ｉｍｐｏｒｔａｎｔ　ｔｏ　ｐｒｏｖｉｄｅ　ｅｘｐｌａｎａｔｉｏｎｓ　ｆｏｒｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ．Ｔｈｅ　ｔａｓｋ　ｏｆ　ｂｕｉｌｄｉｎｇ　ａｎ　ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｓｙｓｔｅｍ　ｐｒｅｓｅｎｔｓ　ｍｏｒｅ　ｃｈａｌｌｅｎｇｅｓｔｈａｎ　ｔｈｅ　ｔａｓｋ　ｏｆ　ｂｕｉｌｄｉｎｇ　ａ　ｔｒａｄｉｔｉｏｎａｌ　ｉｔｅｍ－ｂａｓｅｄ　ｒｅｃｏｍｍｅｎｄｅｒ　ｓｙｓｔｅｍ　ｂｅｃａｕｓｅ　ｏｆ　ｔｈｅ　ａｍｂｉｇｕｉｔｙ　ｏｆｔｈｅ　ｅｎｔｉｔｉｅｓ　ｍｅｎｔｉｏｎｅｄ　ｉｎ　ｑｕｅｒｉｅｓ，ｔｈｅ　ｄｏｍａｉｎ－ａｇｎｏｓｔｉｃ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｍｅｔｈｏｄｓ　ｆｏｒ　Ｗｅｂ－ｓｃａｌｅｑｕｅｒｉｅｓ，ａｎｄ　ｔｈｅ　ｃｒｏｓｓ－ｄｏｍａｉｎ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｓｃｅｎａｒｉｏｓ．Ｔｏ　ａｄｄｒｅｓｓ　ｔｈｅｓｅ　ｃｈａｌｌｅｎｇｅｓ，ｔｈｅｆｏｌｌｏｗｉｎｇ　ｔｈｒｅｅ　ｓｕｂ－ｔａｓｋｓ　ｓｈｏｕｌｄ　ｂｅ　ｓｔｕｄｉｅｄ　ｏｎ　ｂｕｉｌｄｉｎｇ　ａｎ　ｅｎｔｉｔｙ　ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ｓｙｓｔｅｍ　ｉｎ　Ｗｅｂ体推荐 理由的生成方法不同．目前关系型实体推荐理由的生成方法主要有基于模板的方法［２９－３０］和基于句子检索的方法［３１－３２］，而亮点型实体推荐理由的生成方法主要是基于序列到序列学习的方法［３３］．对实体推荐理由进行压缩，既可以采用现有的句子压缩方法，也可以构建基于统计机器翻译的方法［３４］．本文第２节介绍实体链接任务的定义、主要挑战、公开评测及数据集、任务划分以及各个子任务的研究现状；第３节首先介绍相关实体发现，然后介绍当前主流的实体推荐系统并分析其优点与不足；第４节介绍推荐理由生成任务的挑战及研究现状；第５节对实体推荐系统未来的研究方向进行展望；第６节为本文小结．２　实体链接查询中的实体指称通常具有歧义性，它可能指代知识库中的多个实体．例如实体指称“芝加哥”既可能指“芝加哥（城市）”也可能指“芝加哥（电影）”．对于实体 推 荐 任 务 而 言，只 有 确 定 了 查 询 中 的 实体指称在知识库中指代的实体才能够对其进行实体推荐．因 此 需 要 利 用 实 体 链 接 技 术 将 查 询 中 的实体指称消除歧义并链接到知识库中无歧义的实体上．实体链接任务通常定义为给定一个知识库以及一段文本，识别出文本中的实体指称并将实体指称消除歧义链接到知识库中的对应实体上，如果该实体指称在知识库中没有对应的实体，则将其标记为ＮＩＬ［１１］．常 用 的 外 部 知 识 库 有 Ｗｉｋｉｐｅｄｉａ（维 基 百科 ）①［２２，３５］、ＤＢｐｅｄｉａ［１０，３６］、ＹＡＧＯ［３７－３８］、Ｆｒｅｅｂａｓｅ［９］等．实体链接任务的主要挑战在于处理名字的歧义性，歧义主要有以下两种［３９］：（１）一个实体指称通常可以指代知识库中的多个实体，例如“苹果”既可以指“苹果（水果）”也可以指“苹果（公司）”、“苹果（电影）”等；（２）知识库中的实体通常具有多个名称如别名、简称等，例如美国歌手“泰勒·斯威夫特”常用的别名有“霉霉”、“ＴＴ”等．根据文本类型可以将实体链接任务分为面向长文本（例如新闻、博客）的实体链接和面向短文本（微博、搜索查询）的实体链接．面向搜索查询的实体链接任务与面向长文本的实体链接任务相比更具挑战性，主要原因在于：（１）搜索查询通常较短，噪声大，且拼写错误和简写较多，缺乏充足的上下文；（２）面向搜索查询的实体链接要求更高的效率以及更低的空间占用．因此，直接将在长文本上表现较好的实体链接算法应用于搜索查询通常不能取得理想的效果．面向长 文 本 的 实 体 链 接 评 测 有 ＥＲＤ（ＥｎｔｉｔｙＲｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　Ｄｉｓａｍｂｉｇｕａｔｉｏｎ　Ｃｈａｌｌｅｎｇｅ）２０１４［１５］和ＴＡＣ　ＫＢＰ（Ｔｅｘｔ　Ａｎａｌｙｓｉｓ　Ｃｏｎｆｅｒｅｎｃｅ　ＫｎｏｗｌｅｄｇｅＢａｓｅ　Ｐｏｐｕｌａｔｉｏｎ）２００９－２０１８．ＥＲＤ　２０１４发布了长文本的实体链接任务，要求识别出网页中所有能够链接到知识库的实体指称．ＴＡＣ　ＫＢＰ　２００９和２０１０的实体链接评测提供了一个由维基百科构建的知识库、待消歧的实体指称以及其所在的文档，若一个实体指称在知识库中存在对应实体则返回该实体，否则返回 ＮＩＬ．ＴＡＣ　ＫＢＰ　２０１１－２０１３的实体链接评测包括了单语言实体链接和跨语言实体链接，另外要求 将 链 接 到 ＮＩＬ 的 实 体 指 称 进 行 聚 类．ＴＡＣＫＢＰ　２０１４－２０１７将实体链接任务定义为从文本中抽取实体 指 称 并 将 实 体 指 称 链 接 到 知 识 库，对 链接到 ＮＩＬ的实体指称进行聚类．ＴＡＣ　ＫＢＰ　２０１８将实体链接任务的实体类型由 ５ 个扩充到 ７３０９ 个．Ｃｕｃｅｒｚａｎ［４０］构建了一个用于实体链接的测试集合，其中包含１００个不同主题的新闻故事，实体指称被链接到了维基百科中．Ｈｏｆｆａｒｔ等人［３８］基于 ＣｏＮＬＬ２００３数据集人工构建了 ＡＩＤＡ② 数据集用于实体链接．ＡＩＤＡ 中包含１３９３篇新闻文章，文章中的每个实体指称都被人工标注出了在知识库 ＹＡＧＯ２中对应的实体．其他常用的数据集还有 ＡＣＥ［２２］等．面向短文本中搜索查询的实体链接评测主要有 ＥＲＤ　２０１４［１５］的短文本实体链接任务和 ＮＬＰＣＣ（自然语言处理及中文计算会议）２０１５发布的中文搜索 查 询 中 的 实 体 识 别 和 链 接 任 务③，数 据 集 有ＹＳＱＬＥ④（Ｙａｈｏｏ　Ｓｅａｒｃｈ　Ｑｕｅｒｙ　Ｌｏｇ　Ｔｏ　Ｅｎｔｉｔｉｅｓ）．ＥＲＤ　２０１４的短文本任务中，给定一个搜索查询，要求利用所有可用的上下文给出所有合理的实体链接解释（ｅｎｔｉｔｙ　ｌｉｎｋｉｎｇ　ｉｎｔｅｒｐｒｅｔａｔｉｏｎ）．例如查询“ｔｏｔａｌｒｅｃａｌｌ　ｍｏｖｉｅ”存在两个合理的实体链接解释，“ｔｏｔａｌｒｅｃａｌｌ”可 能 链 接 到 知 识 库 中 的 电 影 “ｔｏｔａｌ　ｒｅｃａｌｌ（２０１２）”或“ｔｏｔａｌ　ｒｅｃａｌｌ（１９９０）”．ＮＬＰＣＣ　２０１５的实７期 黄际洲等：面向搜索引擎的实体推荐综述１７４１①②③④ｈｔｔｐｓ：／／ｗｗｗ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｈｔｔｐｓ：／／ｗｗｗ．ｍｐｉ－ｉｎｆ．ｍｐｇ．ｄｅ／ｄｅｐａｒｔｍｅｎｔｓ／ｄａｔａｂａｓｅｓ－ａｎｄ－ｉｎｆｏｒｍａｔｉｏｎ－ｓｙｓｔｅｍｓ／ｒｅｓｅａｒｃｈ／ｙａｇｏ－ｎａｇａ／ａｉｄａ／ｄｏｗｎｌｏａｄｓ／ｈｔｔｐ：／／ｔｃｃｉ．ｃｃｆ．ｏｒｇ．ｃｎ／ｃｏｎｆｅｒｅｎｃｅ／２０１５／ｐａｇｅｓ／ｐａｇｅ０５＿ｅｖａｄａｔａ．ｈｔｍｌｈｔｔｐｓ：／／ｗｅｂｓｃｏｐｅ．ｓａｎｄｂｏｘ．ｙａｈｏｏ．ｃｏｍ／ｃａｔａｌｏｇ．ｐｈｐ？ｄａｔａ－ｔｙｐｅ＝ｌ对于给定的中文搜索查询，识别出其中的实体并给出所有 可能的实体链接解释．ＹＳＱＬＥ是专门针对搜索查询实体链接的数据集，其中包含了人工标注的搜索会话中对应到维基百科实体的链接，并提供了训练集 合和 测试集合．ＹＳＱＬＥ数据 集 中 共 包 含 了 ２６３５ 个 查 询，其 中 有２５８３个都标注了到维基百科实体的链接［１９］．实体链接任务通常包含３个子任务［１１］，分别是实体指称抽取（ｍｅｎｔｉｏｎ　ｄｅｔｅｃｔｉｏｎ）、候选实体获取、候选实体排序．由于知识库对实体的覆盖率有限且新实体不断出现，导致并非所有实体指称都能在知识库中找到对应的实体，因此还需要 ＮＩＬ判别，即判断一个实体指称是否在知识库中存在对应的实体．实体指称抽取旨在从文本中抽取出所有可能被链接到知识库的实体指称．实体指称抽取可以采用已有的命名实体识别的 方法［７，４１－４２］，或者利用公开的命名实体识别工具如 Ｓｔａｎｆｏｒｄ　ＮＥＲ　Ｔａｇｇｅｒ［４３］．在抽取出实体指称之后，为提高效率需要从知识库中为每个实体指称生成可能的候选实体集合，之后可以通过计算集合中每个候选实体与实体指称的语义相似度等策略来确定实体链接的结果．候选实体获取侧重于召回率，而候选实体排序更侧重于准确率．相比于候选实体获取，候选实体排序更需要机器学习算法，因此当前大部分实体链接的研究工作侧重于候选实体排序的算法设计．接下来本文将详细介绍候选实体获取、候选实体排序以及 ＮＩＬ 判别．由于实体指称抽取可以采用命名实体识别的方法，因此在本文中不再单独对其做详细介绍．２．１　候选实体获取知识库中通常包含千万级的实体，如果遍历整个知识库来计算每个实体与实体指称的语义相似度会非常耗时．为了提高效率，需要为实体指称从知识库中找到最可能对应的实体集合．有多种方式可以获取候选实体，常用的有以下三类：利用实体指称的上下文信息、利用维基百科构建词典以及利用搜索引擎．（１）利用实体指称的上下文信息．实体指称的上下文包含了较丰富的信息，可以用来对实体指称进行扩展．对缩写形式的实体指称进行扩展可以有效地降低实体指称的歧义性．Ｈａｎ等人［４４］通过人工制定启发式模板的方式从上下文中为缩写形式的实体指称找到候选实体，例如为实体指称 ＢＢＣ 从上下文“Ｔｈｅ　Ｂｒｉｔｉｓｈ　Ｂｒｏａｄｃａｓｔｉｎｇ　Ｃｏｒｐｏｒａｔｉｏｎ（ＢＢＣ）ｉｓａ　Ｂｒｉｔｉｓｈ　ｐｕｂｌｉｃ　ｓｅｒｖｉｃｅ　ｂｒｏａｄｃａｓｔｅｒ．”中抽取出候选实体“Ｂｒｉｔｉｓｈ　Ｂｒｏａｄｃａｓｔｉｎｇ　Ｃｏｒｐｏｒａｔｉｏｎ”．为了更好地从上下文中发现缩写形式实体指称的扩展形式，Ｚｈａｎｇ等人［４５］提出了一种基于有监督学习的方法．Ｇｏｔｔｉｐａｔｉ等人［３９］利用命名实体识别工具从实体指称所在的上下文中识别出命名实体，制定规则并利用识别出的命名实体对实体指称进行扩展．（２）利用维基百科构建词典．维基百科中的实体页面、重定向页面、消歧页面可以用来抽取实体名称与实体之间的映射关系［４０］．实体页面是对一个实体进行描述的页面，通常包含结构化的信息盒子（ｉｎｆｏｂｏｘ）以及描述文本．从信息盒子中可以提取实体的别名，例如从图４所示的信息中可以直接提取出实体“凯蒂·佩里”的别名“水果姐”等．在实体页面的首段描述文本，实体名称通常会以黑体表示，可以抽取出来作为该实体可能的实体名称．实体页面中的超链接将一个实体指称链接到了一个实体上，因此可以用来提取实体名称与实体的对应关系．通过对整个维基百科包含的实体页面中超链接的分析，还可以统计出实体名称链接到每一个目标实体的次数．４　凯蒂·佩里的中文维基百科信息盒子重定向页面通常只包含对一个实体页面的引用，别名可以被定向至实体页面，例如图５中“霉霉”被重定向到实体“泰勒·斯威夫特”．５　维基百科的重定向页面示例消歧页给出了某个实体名称可能对应的实体列表，例 如 图 ６ 给 出 了 实 体 名 称 “苹 果”对 应 的 消 歧页①，从中我 们 可 以 看 到 苹 果 可 能 链 接 到 “苹 果 公司”等．２７４１ 计　　算　　机　　学　　报 ２０１９年① ｈｔｔｐｓ：／／ｚｈ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／苹果＿（消歧义）科消歧页示例对于其他在线百科全书资源如百度百科①等也可以采用以上方法构建实体指称与实体的对应关系词典．（３）利用搜索引擎．利用现有的搜索引擎如百度、Ｇｏｏｇｌｅ等 也 可 以 获 取 实 体 指 称 的 候 选 实 体．Ｈａｎ等人［４４］将实体指称及其上下文送入 Ｇｏｏｇｌｅ搜索引擎，从搜索结果页中提取维基百科页面描述的实体作为候选实体．召回率对于候选实体获取阶段很重要，因为正确的目标实体一旦没有被召回，则在后续的候选实体排序阶段也不能把实体指称 链接到正确的实体上．然而候选实体的数量也会影响最终实体链接的效果，过多的候选实体不仅会使候选实体排序阶段耗费更多时间，而且大量的可能完全不相关的候选实体也会给消歧带来挑战［４６］．提高消歧效率的一种方式是降低必须考虑的候选实体的数量［１１］．已有的大部分以召回率为驱动的候选实体获取策略都会增大候选实体的数量［４７］，因此如何在降低候选实体数量的同时保证较高的召回率也很值得研究．Ｔａｎ等人［４６］提出了一种候选实体获取方法，可以根据查询中的词过滤掉不相关的候选实体从而显著降低了候选实体的数量，其核心思想是从维基百科的文章中搜索与查询相似的句子，并且直接使用获取到的维基百科句子中人工标记的实体作为查询的候选实体．与传统的候选实体获取方法相比，Ｔａｎ等人提出的基于句子搜索的候选实体获取方法产生的候选实体数量更少，且最终的消歧效果更好，这也说明了 高 质 量 的 候 选 集 合 对 于 实 体 链 接 而 言 很重要．２．２　候选实体排序将实体指称链接到知识库中一个对应的实体通常可以视为对候选实体的排序问题．已有的候选实体排序方 法 大 致 可 以 分 为 两 种［２０］，分别是非联合（ｎｏｎ－ｃｏｌｌｅｃｔｉｖｅ）的方法与联合（ｃｏｌｌｅｃｔｉｖｅ）的方法．上下文中可能存在多个实体指称，非联合的方法每次只对一个实体指称进行消歧，而联合的方法还利用了上下文中实体指称相互之间的依赖关系对所有实体指称联合进行消歧．非联合的候选实体排序方法主要考虑的信息有实体指称、实体指称的上下文、候选实体的名称、描述文档、热度等信息．已有的非联合的候选实体排序方法设计了大量的丰富的特征集合，根据是否考虑实体指称所在的上下文，特征集合可以分为上下文无关的特征（如实体的热度以及实体名与实体指称的相似度等）与上下文相关的特征（如实体指称是否出现在候选实体的描述文档以及实体指称所在上下文与候选实体文档的语义相似度等）．例如 Ｄｒｅｄｚｅ等人［４８］提出了五类特征，分别是名字变量有关的特征、维基百科特征、热度特征、文档特征以及特征组合．其中名字变量有关的特征主要衡量的是实体指称与实体名的字面相似度、实体指称是否是实体的缩写或别名等，维基百科特征则是知识库属性方面的特征，热度特征为实体热度，文档特征主要是利用实体指称所在文档以及实体的描述文 本抽取的 特征．Ｚｈｅｎｇ 等 人［４９］提 出 了 三 类 特 征，分 别 是 表 面（ｓｕｒｆａｃｅ）特征、上下文 （ｃｏｎｔｅｘｔ）特征以 及 特 殊 特征．其中表面特征衡量的是实体指称与实体名之间的字面相似度，上下文特征衡量的是实体指称与候选实体的上下文的相关性，特殊特征考虑了城市名以及实体指称和候选实体的类别．同样的实体指称在不同的上下文下可能会链接到不同的实体，如何有效地利用实体指称的上下文信息对于实体链接任务非常关键［５０］．为了更好地学习到实体指称的上下文与候选实体之间的相关性，Ｈｅ等 人［２３］提 出 了 一 种 基 于 ＤＮＮ（Ｄｅｅｐ　ＮｅｕｒａｌＮｅｔｗｏｒｋ）的方法利用 ＤＡ（Ｄｅｎｏｉｓｉｎｇ　Ａｕｔｏ－Ｅｎｃｏｄｅｒ）将实体指称与候选实体对应的文档映射到向量空间并计算它们的语义相似度，其网络结构如图７所示．Ｓｕｎ等人［５１］提出了一种用于实体链接的神经网络模型，并利用 ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）学习实体 指 称 所 在 的 上 下 文 句 子 的 语 义 向 量 表 示．Ｆａｎｇ等人［５２］提出了一种联合学习框架将知识库与文本联合映射到同一向量空间中以学习实体和词的７期 黄际洲等：面向搜索引擎的实体推荐综述３７４１① ｈｔｔｐｓ：／／ｂａｉｋｅ．ｂａｉｄｕ．ｃｏｍ／于实体消歧的神经网络结构低维连续的向量表示．Ｆｒａｎｃｉｓ－Ｌａｎｄａｕ等人［５０］利用ＣＮＮ 学习实体指称的上下文与候选实体之间的语义对应关系（如图８所示）．Ｙａｍａｄａ等人［２４］利用知识库的链接结构以及知识库的锚文本与上下文词对经典词向量学习模型ｓｋｉｐ－ｇｒａｍ［５３－５４］进行扩展，联合学习实体和词的向量表示．Ｇｕｐｔａ等人［５５］提出了一种实体链接的神经网络方法，利用实体的类型、无结构的描述文本与对应实体指称的上下文信息，通过组合的训练目标来学习实体的向量表示．图 ８　Ｆｒａｎｃｉｓ－Ｌａｎｄａｕ等人［５０］提出的利用 ＣＮＮ 构建特征搜索引擎查询中的实体链接面临两个主要挑战：（１）搜索查询通常很短且包含噪声，没有足够的上下文来辅助实体指称的消歧；（２）搜索查询的实体链接通常需要在线处理，因此对速度的要求更高．因此，在长文本中非常有效的实体链接方法不一定适用于搜索引擎的实体链接．Ｈａｓｉｂｉ等人［５６］研究了查询中的实体链接，给定查询ｑ，要识别出一个实体链接解释集合Ｉ＝｛Ｅ１，…，Ｅｍ｝，每一个解释Ｅｉ是一个“实体指称 －实体”的对应关系集合．他们将该任务划分为候选实体排序和消歧两个子任务，候选实体排序的目的是从ｑ中生成一系列“实体指称 －实体”的排序列 表，消 歧 的 目 的 是 将 该 排 序 列 表 作 为 输入并生成最终的实体链接解释集合Ｉ．通过在这两个子任务 中 分 别 应 用 有 监 督 和 无 监 督 的 方 法，最终发现 在 候 选 实 体 排 序 阶 段 应 用 有 监 督 学 习 方法，在消歧 阶 段 应 用 无 监 督 学 习 方 法 取 得 的 效 果最好．Ｂｌａｎｃｏ等人［１２］提 出 了 一 种 非 常 快 速 并 且 空间效率高的概率模型来将查询链接到知识库的实体上去．为了使算法快速并且空间效率高，该方法忽略了不 同 候 选 实 体 之 间 的 依 赖 关 系，并 采 用 哈希和压缩的方法来减少内存占用．此外，为了有效地利用查 询 中 的 上 下 文 信 息，该 方 法 基 于 分 布 式语义表示 计 算 查 询 和 候 选 实 体 之 间 的 相 似 度．为了在 候 选 实 体 发 现 阶 段 减 少 无 关 实 体，Ｔａｎ 等人［４６］提出了一种非常简单且有效的搜索查询实体链接的方 法，首 先 从 维 基 百 科 中 搜 索 与 查 询 最 相关的句子并直接将其中的标记实体作为该查询 的候选实体，之 后 基 于 回 归 的 框 架 采 用 丰 富 特 征 集合对候选实体进行排序．在包含噪声较多的短文本中，依赖于ａｔｔｅｎｔｉｏｎ（注意力）的神经网络模型也不能总是找到正确的上下文线索，即便这些线索与目标实体的标题存在明显的字面重叠，而这种字面重叠的特征也难以用字符（ｃｈａｒａｃｔｅｒ）级别的 ＣＮＮ 学习到．为了解决 这一问题，Ｍｕｅｌｌｅｒ等人［５７］构建了一个特征集合来表示实体指称的上下文与候选实体标题之间的字面重叠信息，并将这个特征集合融入到一个具有ａｔｔｅｎｔｉｏｎ机制的神经网络实体链接模型中，模型的结构图如图９所示．实验结果表明该特征的加入有效提升了神经网络模型的实体消歧效果．４７４１ 计　　算　　机　　学　　报 ２０１９年称的概率更高，则将实体 指 称 链 接 到 ＮＩＬ．Ｄｒｅｄｚｅ等人［４８］将 ＮＩＬ作为一个特殊的候选实体和其他候选实体一起进行排序，并且为排序模型专门设计了一些与 ＮＩＬ相关的特征，例如是否存在候选集合中的一个实体其名称与实体指称相匹配．将 ＮＩＬ 看作一个特殊候选实体的优点是既避免了人工设置阈值又可以将与 ＮＩＬ 判别相关的信息作为特征引入到排序模型中．（３）将 ＮＩＬ判别看作二分类任务，利用分类器判断候选实体排序阶段给出的排序第一的候选实体是否合理，若合理则将该候选实体作为最终实体链接的结果，否则该实体指称将被链接至 ＮＩＬ．Ｚｈｅｎｇ等人［４９］和Ｚｈａｎｇ等人［４５］用 ＳＶＭ 分类器判断排序第一的候选实体是否为真正的目标实体，在分类器中采用的特征大部分与候选实体排序阶段所用的特征相同．除了简单地判断实体指称是否指向 ＮＩＬ，ＴＡＣＫＢＰ的实体链接评测任务自２０１１年起要求将所有指向 ＮＩＬ的查询（实体指称及其上下文）进行聚类．将指向 ＮＩＬ 的查询聚类对知识库的扩充非常有帮助，被聚到同一类别的实体指称及其上下文代表了一个新实体相关的信息．对 ＮＩＬ 型查询进行聚类可以借助已有的聚类算法．Ｔａｙｌｏｒ等人［６２］基于简单的子串匹配的方法进行 ＮＩＬ聚类．Ｇｒａｕｓ等人［６３］将查询对应的源文档表示为 ＴＦ×ＩＤＦ向量，然后采用层次聚类的方法基于这些向量表示进行聚类．由于对ＮＩＬ型查询的聚类与实体推荐任务的相关度并不是很高，因此在本文中不做更详细的介绍．２．４　面向实体推荐任务的实体链接对于当前大部分实体推荐系统而言，其输入为一个仅包含实体指称的搜索查询ｑ．仅通过ｑ本身，无法获取任何对ｑ的消歧有帮助的上下文信息，因此目前大部分实体推荐系统［５，２７］基于热度ｐ（ｅ｜ｑ）对ｑ进行实体链接，这样的结果导致ｑ只能够被链接到最热的实体上．实际上，ｑ所在的搜索会话中的历史查询及其点击信息可以看作ｑ的上下文信息［６，２６］．例如，一个用户在搜索了“香蕉牛奶”后再搜索“苹果”，那么当前的查询“苹果”很大概率应该被链接到知识库的实体“苹果（水果）”上．若用户在搜索了“华为 Ｐ２０”之后再搜索“苹果”，那么当前查询“苹果”更大概率应该被链接到“苹果（公司）”．将ｑ所在的搜索会话中的历史查询及其点击信息看作上下文，可以利用已有的实体链接方法［１２］将ｑ链接到实体．在对ｑ的候选实体排序时，既可以采用非联合的候选实体排序方法［４９］只对ｑ进行消歧，也可以利用联合的候选实体排序方法［５２］对ｑ所在搜索会话中所有的实体指称进行消歧．ｑ的上下文不同于传统实体链接任务中实体指称的上下文．传统实体链接任务中实体指称的上下文通常为无结构的短文本或长文本，而ｑ的上下文是有层次结构的，由历史查询及其点击信息构成．历史查询的点击信息对查询中的实体指称消歧具有非常重要的作用［２６］．例如，如果用户搜索了“苹果”并点击了标题为“Ａｐｐｌｅ（中国）－官方网站”的网页，则该“苹 果”很 大 概 率 指 的 是 知 识 库 中 的 “苹 果 （公司）”．如果用户搜索“苹果”并点击了标题为“苹果的家常做法”的网页，则该“苹果”很大概率指的是知识库中的“苹果（水果）”．在人工设计特征或者利用神经网络自动学习特征时应当考虑到ｑ的上下文的这一特点．２．５　实体链接方法总结综上，我们认为目前的实体链接算法具有很强的表示能力，尤其在深度神经网络的框架基础上，配以充足有指导信息便可以训练获得较高性能的实体链接系统．然而，在很多新的应用场景中没有足够的有指导数据供模型训练，如何在这种资源匮乏的情景下训练模型是一个在实用中遇到的挑战．此外，当前的实体链接算法大多假设训练和测试数据的分布相同或相似，这样的系统很难应付对抗样本，即数据分布不同于训练数据的样例，如何增强系统的鲁棒性也是一个非常值得研究的方向．再次，当前实体推荐系统所处理的搜索查询只包含一个实体指称而没有其他任何上下文信息，单纯从这个实体指称本身无法推断用户究竟想搜索的是哪一个实体．而用户在同一个搜索会话中的搜索查询之间具有一定的任务相关性，因此可以借助于本次搜索会话中的历史查询及其点击信息对当前查询进行实体链接［２６］．历史查询中的实体指称本身也是有歧义的，因此可以采用联合的方法同时对历史查询中的实体指称和当前查询的实体指称进行实体链接．３　实体推荐在搜索引擎中，实体推荐系统的目标是为给定用户ｕ推荐与其输入的查询ｑ 相关 的一系 列实体Ｅｕｑ，即Ｒ（ｕ，ｑ） Ｅｕｑ．实体推荐主要由相关实体发现与相关实体排序两部分构成．具体地，给定一个用６７４１ 计　　算　　机　　学　　报 ２０１９年图 ９　Ｍｕｅｌｌｅｒ等人［５７］提出的实体消歧神经网络结构神经网络模型既可以学习实体指称与候选实体的向量表示，也可以计算它们的语义相似度．在训练阶段，神经网络模型的训练目标通常为使目标实体与实体指称的相似度得分高于错误的候选实体与实体指称的相似度得分［２３，５１］．在预测阶段，给定实体指称以及一系列候选实体，可以根据模型计算出的相似度得分对候选实体进行排序．与非联合的候选实体排序方法相比，联合的排序方法需要消歧上下文以及全局特征．具体地，联合的候选实体排序方法不仅需要考虑单个实体指称与候选实体之间的语义相关性，还需要考虑出现在同一上下文中所有实体指称的预测实体 之间的相关性．Ｈｅ等人［５８］提出了一种基于ｓｔａｃｋｉｎｇ的联合的候选实体排序方法，该方法由两层预测模型构成，底层是一个局部的预测模型ｇ０，用于产生候选实体的初始排序结果，顶层是一个全局的预测模型ｇ１，用于预测全局的排序结果．ｇ０和ｇ１均为 ＬＴＲ 模型，其中局部预测模型ｇ０的训练使用的是局部的特征，全局预测模型ｇ１的训练使用的是原始特征加上基于ｇ０的预测结果产生的全局特征．消歧上下文为ｇ０对实体指称预测的ｔｏｐ　ｋ 的候选实体．考虑到在长文档中不主要的实体可能只与文档中一小部分其他实体有 关 系，Ｇｌｏｂｅｒｓｏｎ 等 人［５９］提 出 了 一 种 基 于 ａｔ－ｔｅｎｔｉｏｎ的联合的实体链接方法．２．３　ＮＩＬ判别知识库通常无法覆盖出现在互联网文本中的所有实体尤其是新出现的实体，因此并非所有实体指称都可以被链接到知识库的实体上．不能被链接到知识库的实体指称被返回一个特殊实体 ＮＩＬ［１１］．目前对实体指称是否链接到 ＮＩＬ 的判别方法可以分为以下几种：（１）最简单的方式是设置阈值判断候选实体排序阶段排序第一的候选实体是否为最终目标实体．Ｇｏｔｔｉｐａｔｉ等人［３９］利用 ＮＥＲ 工具识别出实体指称的实体类别，然后从候选实体集合中找出经过候选实体排序阶段排序最靠前且与实体指称属于同一类别的候选实体，若该候选实体在候选实体排序阶段的得分高于某个预设的阈值则将其作 为实体链接 结果，否则将实体指称链接到 ＮＩＬ．Ｈａｎ等人［４４］设置了一个阈值来判断实体指称是否需要链接到 ＮＩＬ，若所有候选实体与实体指称计算出的相似度均小于该阈值，则将实体指称链接到 ＮＩＬ．相似地，Ｎｉｅ等人［６０］根据开发集合设置了一个 ＮＩＬ阈值．虽然通过设定阈值的方式来判断 ＮＩＬ 很简单也不需要引入模型和特征，然而人工设定阈值比较困难，并且为所有样本应用同一个阈值也并不是特别合理．（２）把 ＮＩＬ作为一个特殊实体加入候选实体集合，若在候选实体排序阶段 ＮＩＬ排序最靠前则判定该实体指称应当被链接到 ＮＩＬ．Ｈａｎ等人［６１］将 ＮＩＬ看作一个虚拟实体加入到知识库中并将 ＮＩＬ 实体与其余实体一同对待，若计算得出的由 ＮＩＬ 实体生成实体指称的概率比知识库中其他实体生成实体指７期 黄际洲等：面向搜索引擎的实体推荐综述５７４１