第４４ 卷 第３ 期２０２１ 年３ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ． ３Ｍａｒ． ２０２１融合语义信息与问题关键信息的多阶段注意力答案选取模型张仰森”王 胜”魏文杰”彭媛媛２）郑 佳２）１ ：）（北京信息科技大学智能信息处理研究所 北京 １０ ０１０１）２）（ 中国科学院软件研究所 北京 １００１９０）摘 要 自动问答系统可以帮助人们快速从海量文本中提取出有效信息， 而答案选取作为其中的关键一步， 在很大程度上影响着自动问答系统的性能． 针对现有答案选择模型中答案关键信息捕获不准确的问题， 本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型． 该方法首先利用双向ＬＳＴＭ模型分别对问题和候选答案进行语义表示； 然后采用问题的关键信息， 包括问题类型和问题中心词， 利用注意力机制对候选答案集合进行信息增强， 筛选ＴｏｐＫ个候选答案； 然后采用问题的语义信息， 再次利用注意力机制对ＴｏｐＫ个候选答案集合进行信息增强， 筛选出最佳答案． 通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合， 有效提高了对候选答案关键信息的捕获能力， 从而提升了答案选取系统的性能． 在三个数据集上对本文所提出的模型进行验证， 相较已知同类最好模型， 最高性能提升达１． ９５ ％．关键词 答案选取； 语义信息； 关键信息； 相似度计算； 多阶段注意力机制中图法分类号ＴＰ３９１ＤＯＩ号１０． １ １８９ ７／ＳＰ．Ｊ． １０１ ６． ２０２１ ．００４９１ＡｎＡｎｓｗｅｒＳｅｌｅｃｔｉ ｏｎＭｏｄｅｌＢａｓｅｄｏｎＭｕｌｔｉ－ＳｔａｇｅＡｔｔｅｎｔｉｏｎＭｅｃｈａｎｉｓｍｗｉｔｈＣｏｍｂｉｎａｔｉ ｏｎｏｆＳｅｍａｎｔｉｃＩｎｆｏｒｍａｔｉｏｎａｎｄＫｅｙＩｎｆｏｒｍａｔｉｏｎｏｆｔｈｅＱｕｅｓｔｉｏｎＺＨＡＮＧＹａｎｇＳｅｎ１５ＷＡＮＧＳｈｅｎｇ１）ＷＥＩＷｅｎＪｉ ｅ１）ＰＥＮＧＹｕａｎＹｕａｎ２）ＺＨＥＮＧＪｉ ａ２）１：）｛ ＩｎｓＬ ｉＬ ｕＬ ｅ ｏｆＩｎＬ ｅｌ ｌｉｇｅｎＬＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ？ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉ ｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ＾Ｂｅｉｊｉｎｇ１００ １０ １）２） ｛ Ｉｎｓｉ ｉ ｉｕｉｅｏｆＳｏｆｔ ｗａｒｅ？Ｃｈｉｎｅｓｅ ＡｃａｄｅｍｙｏｆＳｃｉ ｅｎｃｅ？Ｂｅｉｊｉｎｇ１００１９０）ＡｂｓｔｒａｃｔＷｉ ｔｈｔｈｅｒａｐｉ ｄｄｅｖｅｌ ｏｐｍｅｎｔｏｆＩｎｔｅｒｎｅｔｔｅｃｈｎｏｌｏｇｙ，ｔｈｅａｍｏｕｎｔｏｆｔｅｘｔｉ ｎｆｏｒｍａｔｉ ｏｎｉ ｎｔｈｅｎｅｔｗｏｒｋｉ ｎｃｒｅａｓｅｓｅｘｐｏｎｅｎｔｉａｌ ｌ ｙ，ｈｅｎｃｅｐｅｏｐｌ ｅｕｓｕａｌ ｌ ｙｕｓｅｓｏｍｅｓｅａｒｃｈｅｎｇｉ ｎｅｓｔｏｒｅｔｒｉｅｖｅｔｈｅｒｅｑｕｉｒｅｄｉ ｎｆｏｒｍａｔｉ ｏｎｆｒｏｍｍａｓｓｄａｔａ． Ａｓｅａｒｃｈｅｎｇｉ ｎｅｃａｎｂｅｒｅｇａｒｄｅｄａｓａｓｐｅｃｉａｌｑｕｅｓｔｉ ｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍ． Ｗｈｅｎａｑｕｅｓｔｉｏｎｉｓｇｉ ｖｅｎ， ｔｈｅｇｅｎｅｒａｌｐｒｏｃｅｓｓｉｎｇｆｌｏｗｏｆｔｈｅａｕｔｏｍａｔｉｃｑｕｅｓｔｉ ｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍｉｓａｓｆｏｌ ｌｏｗｓ：ｆｉｒｓｔ ，ｔｈｅｓｙｓｔｅｍａｎａｌ ｙｚｅｓｔｈｅｑｕｅｓｔｉｏｎｔｏｏｂｔａｉｎｉ ｔｓｔｙｐｅ，ｓｅｍａｎｔｉ ｃｓａｎｄｏｔｈｅｒｒｅｌ ｅｖａｎｔｉ ｎｆｏｒｍａｔｉ ｏｎ；ｔｈｅｎ，ｓｅｌ ｅｃｔａｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｅｔｆｒｏｍｔｈｅａｎｓｗｅｒｄａｔａｂａｓｅａｃｃｏｒｄｉｎｇｔｏｔｈｅａｎａｌ ｙｓｉｓｒｅｓｕｌ ｔｓ；ｆｉ ｎａｌ ｌ ｙ，ｔｈｅｓｙｓｔｅｍｗｉｌ ｌｒｅａｒｒａｎｇｅｔｈｅｃａｎｄｉ ｄａｔｅｓｅｔｗｉｔｈｖａｒｉ ｏｕｓｓｏｒｔｉｎｇｔｅｃｈｎｉｑｕｅｓａｎｄｓｅｌ ｅｃｔｔｈｅｂｅｓｔａｎｓｗｅｒｏｒｔｈｅｔｅｘｔｗｉｔｈｔｈｅｂｅｓｔａｎｓｗｅｒｔｏｒｅｔｕｒｎｔｏｔｈｅｕｓｅｒ． Ｔｈｅｆｌ ｏｗｓｈｏｗｓｔｈａｔｔｈｅｓｅｌ ｅｃｔｉ ｏｎｅｆｆｅｃｔｏｆｔｈｅｂｅｓｔａｎｓｗｅｒｗｉｌ ｌｄｉｒｅｃｔｌ ｙａｆｆｅｃｔｔｈｅｏｖｅｒａｌ ｌｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅａｕｔｏｍａｔｉｃｑｕｅｓｔｉｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍ． Ｔｒａｄｉｔｉ ｏｎａｌａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎｍｏｄｅｌ ｓｕｓｕａｌ ｌ ｙｕｓｅｌ ｅｘｉ ｃａｌ ｏｒｓｙｎｔａｃｔｉ ｃａｎａｌ ｙｓｉ ｓａｎｄａｒｔｉｆｉ ｃｉ ａｌｃｏｎｓｔｒｕｃｔｉｎｇｆｅａｔｕｒｅｔｏｓｅｌ ｅｃｔａｎｓｗｅｒｓ，ｗｈｉ ｃｈｉｓｄｉｆｆｉｃｕｌ ｔｔｏｃａｐｔｕｒｅｔｈｅｓｅｍａｎｔｉｃａｓｓｏｃｉａｔｉｏｎｉ ｎｆｏｒｍａｔｉｏｎｂｅｔｗｅｅｎｑｕｅｓｔｉ ｏｎｓａｎｄｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓ． Ｗｉｔｈｔｈｅｄｅｖｅｌ ｏｐｍｅｎｔｏｆｄｅｅｐｌ ｅａｒｎｉ ｎｇｔｅｃｈｎｏｌ ｏｇｙ，ｒｅｓｅａｒｃｈｅｒｓａｐｐｌ ｉ ｅｄｔｈｅｄｅｅｐ收稿日期：２０ １９ １２ ２５； 在线发布日期：２０２０ ０５ ２６． 本课题得到国家自然科学基金（６１７７２０８１） 资助． 张仰森， 博士， 教授， 中国计算机学会（ ＣＣＦ） 杰出会员， 主要研究领域为自然语言处理、 人工智能． Ｅｍａｉｌ ： ｚｈａｎｇｙａｎｇｓｅｎ＠１６３． ｃｏｍ． 王 胜， 硕士研究生， 主要研究方向为自然语言处理．魏文杰， 硕士研究生， 主要研究方向为自然语言处理．彭媛媛， 硕士， 工程师， 主要研究方向为自然语言处理．郑 佳， 硕士， 工程师， 主要研究方向为自然语言处理．４９２ 计 算机 学 报 ２０２１年ｌ ｅａｒｎｉ ｎｇｆｒａｍｅｗｏｒｋｉ ｎｔｏｔｈｅａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｎｇｔａｓｋ，ｕｓｅｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ ｔｏｏｂｔａｉ ｎｔｈｅｓｅｍａｎｔｉｃａｓｓｏｃｉａｔｉ ｏｎｉ ｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｑｕｅｓｔｉｏｎａｎｄｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒ，ａｎｄｅｖａｌ ｕａｔｅｔｈｅｍａｔｃｈｉ ｎｇａｓｓｏｃｉａｔｉ ｏｎｄｅｇｒｅｅｂｅｔｗｅｅｎｔｈｅｍ，ｔｈｅｎｓｅｌ ｅｃｔｔｈｅａｎｓｗｅｒｗｉ ｔｈｔｈｅｓｔｒｏｎｇｅｓｔｍａｔｃｈｉ ｎｇｒｅｌａｔｉ ｏｎｓｈｉｐａｓｔｈｅｂｅｓｔａｎｓｗｅｒ．Ｂｅｃａｕｓｅｔｈｅｓｅｌ ｅｃｔｉｏｎｏｆａｎｓｗｅｒｓｄｅｐｅｎｄｓｅｎｔｉｒｅｌ ｙｏｎｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｃａｒｒｉｅｄｉ ｎｔｈｅｑｕｅｓｔｉ ｏｎ，ｒｅｓｅａｒｃｈｅｒｓｏｆｔｅｎｇｅｎｅｒａｔｅａｔｔｅｎｔｉ ｏｎｖｅｃｔｏｒｆｒｏｍｔｈｅｑｕｅｓｔｉ ｏｎｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎｔｏｕｐｄａｔｅｔｈｅｓｅｍａｎｔｉ ｃｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｏｆｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓ．Ａｌ ｔｈｏｕｇｈｔｈｉ ｓｋｉｎｄｏｆａｔｔｅｎｔｉ ｏｎｍｏｄｅｌ ｃａｎｓｔｒｅｎｇｔｈｅｎｔｈｅｓｅｍａｎｔｉｃｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｑｕｅｓｔｉ ｏｎａｎｄｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒ，ｉ ｔｉｇｎｏｒｅｓｔｈｅｒｅｌ ａｔｉｏｎｓｈｉｐｏｆｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｂｅｔｗｅｅｎｔｈｅｍ，ｔｈｅｒｅｆｏｒｅ，ｔｈｅｅｆｆｅｃｔｉ ｖｅｎｅｓｓｏｆｓｕｃｈｍｏｄｅｌ ｓｉ ｓａｆｆｅｃｔｅｄ． Ｆｏｒｄｉｆｆｅｒｅｎｔｔｙｐｅｓｏｆｑｕｅｓｔｉｏｎｓ，ｔｈｅｃｏｎｃｅｒｎｅｄｃｏｎｔｅｎｔｉ ｎｂｅｓｔａｎｓｗｅｒｓｉｓｏｆｔｅｎｄｉ ｆｆｅｒｅｎｔ．Ｆｏｒｅｘａｍｐｌ ｅ，ｗｈｅｎａｓｋｉ ｎｇｔｉ ｍｅ ｒｅｌ ａｔｅｄｑｕｅｓｔｉ ｏｎｓ，ｔｈｅｂｅｓｔａｎｓｗｅｒｓｈｏｕｌ ｄｂｅｍｏｒｅｆｏｃｕｓｅｄｏｎｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｉｍｅｏｒｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｗｉ ｔｈｓｔｒｏｎｇｔｉｍｅｓｅｍａｎｔｉ ｃａｓｓｏｃｉａｔｉ ｏｎ；ｗｈｅｎａｓｋｉ ｎｇｗｅａｔｈｅｒ ｒｅｌ ａｔｅｄｑｕｅｓｔｉｏｎｓ， ｔｈｅｂｅｓｔａｎｓｗｅｒｓｈｏｕｌ ｄｐａｙｍｏｒｅａｔｔｅｎｔｉ ｏｎｔｏｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｒｅｌａｔｅｄｔｏｗｅａｔｈｅｒ．Ａｌ ｓｏ，ｔｈｅｅｘｉｓｔｉｎｇａｔｔｅｎｔｉ ｏｎｂａｓｅｄａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎｍｅｔｈｏｄｓｏｆｔｅｎｅｓｔａｂｌｉ ｓｈｔｈｅｍｏｄｅｌｏｆｑｕｅｓｔｉ ｏｎｓａｎｄａｎｓｗｅｒｓａｔｔｈｅｓａｍｅｓｔａｇｅ，ｗｈｉ ｃｈｉ ｓｎｏｔｅａｓｙｔｏｃａｐｔｕｒｅｔｈｅｄｉ ｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｔｈｅｖａｒｉ ｏｕｓｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓ．Ｔｏｓｏｌ ｖｅｔｈｅｐｒｏｂｌ ｅｍｔｈａｔｔｈｅａｎｓｗｅｒｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｃａｐｔｕｒｅｉｓｎｏｔａｃｃｕｒａｔｅｉｎｔｈｅｅｘｉｓｔｉ ｎｇａｎｓｗｅｒｓｅｌｅｃｔｉ ｏｎｍｏｄｅｌ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎａｎｓｗｅｒｓｅｌ ｅｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎａｍｕｌ ｔｉｓｔａｇｅａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉｓｍｗｉｔｈａｃｏｍｂｉ ｎａｔｉ ｏｎｏｆｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎａｎｄｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎ．Ｆｉｒｓｔｌ ｙ，ｔｈｉｓｍｅｔｈｏｄｕｓｅｓａｂｉｄｉ ｒｅｃｔｉ ｏｎａｌＬＳＴＭｍｏｄｅｌｔｏｒｅｐｒｅｓｅｎｔｑｕｅｓｔｉ ｏｎｓａｎｄｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｓｅｍａｎｔｉ ｃａｌ ｌｙ．Ｔｈｅｎｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎ，ｉ ｎｃｌ ｕｄｉｎｇｔｈｅｔｙｐｅｏｆｑｕｅｓｔｉｏｎａｎｄｔｈｅｈｅａｄｗｏｒｄｏｆｔｈｅｑｕｅｓｔｉ ｏｎ，ｉｓｕｓｅｄｔｏｅｎｈａｎｃｅｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｂｙａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉ ｓｍ，ａｎｄｔｈｅＴｏｐＫｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓａｒｅｓｅｌ ｅｃｔｅｄ． Ｆｉ ｎａｌ ｌｙ， ｔｈｅａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉ ｓｍｗｉ ｔｈｓｅｍａｎｔｉ ｃｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎｉｓｕｓｅｄａｇａｉ ｎｔｏｅｎｈａｎｃｅｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅＴｏｐＫｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｅｔｔｏｓｅｌ ｅｃｔｔｈｅｂｅｓｔａｎｓｗｅｒ． Ｂｙｃｏｍｂｉ ｎｉ ｎｇｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎａｎｄｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎｔｏｅｎｈａｎｃｅｔｈｅｓｅｍａｎｔｉ ｃｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｏｆｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｉ ｎｍｕｌ ｔｉ ｓｔａｇｅｓ，ｔｈｅａｂｉｌ ｉ ｔｙｔｏｃａｐｔｕｒｅｔｈｅｋｅｙｉｎｆｏｒｍａｔｉ ｏｎｏｆｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｉｓｅｆｆｅｃｔｉ ｖｅｌ ｙｉｍｐｒｏｖｅｄ，ａｎｄｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎｓｙｓｔｅｍｉ ｓｉ ｍｐｒｏｖｅｄ．Ｔｈｅｅｘｐｅｒｉ ｍｅｎｔａｌｒｅｓｕｌ ｔｓｏｎｔｈｒｅｅｄａｔａｓｅｔｓｓｈｏｗｔｈａｔｔｈｅｈｉｇｈｅｓｔｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｅｍｅｎｔｉｓｕｐｔｏ１．９５％ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｏｔｈｅｒｓｔａｔｅｏｆｔｈｅａｒｔｍｏｄｅｌｓ．Ｋｅｙｗｏｒｄｓａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎ；ｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎ；ｋｅｙｉｎｆｏｒｍａｔｉ ｏｎ；ｓｉ ｍｉｌ ａｒｉｔｙｃｏｍｐｕｔｉ ｎｇ；ｍｕｌ ｔｉ ｓｔａｇｅａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉ ｓｍｉ 引 言随着互联网技术的快速发展， 网络中的文本信息量呈指数级增长， 成为了人们获取信息的重要来源， 因此， 利用搜索引擎从海量信息中检索出所需的信息成为了人们获取信息的主要方式． 然而， 现有搜索引擎的检索策略大多是基于字符串匹配的， 缺乏从语义角度挖掘知识的能力， 导致搜索到的结果精度差， 冗余度高［１］， 还需要用户从大规模搜索结果中进一步理解和筛选才能够获取到真正需要的信息，这与用户快速准确获得信息的需求还有一定的差距． 随着文本处理与理解技术的快速发展和广泛应用， 能够更好地满足用户需要的智能问答技术也逐步成熟， 并催生了一批智能助手的问世， 例如小米公司的小爱、 苹果公司的Ｓｒｕ微软公司的小冰等． 这些智能助手与传统的搜索引擎相比， 更贴近用户的实际需求， 他们都力求从语义层面分析用户的问题，精准定位用户的意图， 从而快速、 有效、 准确地为用户提供所需的信息．当给定一个问题时， 自动问答系统一般的处理流程如下： 首先， 分析问题以获取问题的类型、 语义张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ４９ ３３ 期等相关信息； 然后， 依据分析结果在数据集中筛选出候选答案集合； 最后在候选集合中采用各种排序技术进行重排， 筛选出最佳答案或含有最佳答案的文本返回给用户． 因此， 最佳答案的选取效果将直接影响到自动问答系统的整体性能， 优化最佳答案的选取策略可以有效地提升自动问答系统为用户服务的能力． 本文将围绕该问题展开深人研究， 以进一步提升最佳答案的选取效果．传统的答案选取模型［ ２ ］大多利用词法或句法分析以及人工构造特征的方法来选取答案， 这类方法较难捕捉到问题与候选答案之间的语义关联信息．随着深度学习技术的发展， 研究者们将深度学习框架引人到答案选取任务中来， 利用神经网络模型获取问题和候选答案的语义关联信息， 并对它们之间的匹配关联程度进行评估， 进而选取匹配关系最强的答案作为最佳答案．由于答案的选取完全依赖于问题所传递的信息， 因此， 在基于深度学习的答案选取模型中， 研究者们往往会利用问题的语义信息生成注意力向量， 以此来更新候选答案的语义表示， 优化问题与候选答案之间匹配关系的评估效果． 这类引人注意力的模型虽然能够强化问题与候选答案之间语义关联的程度， 但是在一定程度上忽略了两者之间关键信息的联系， 从而影响其问题和答案的建模效果．因为对于不同类型的问题， 其最佳答案中关注的内容往往有所不同， 例如询问时间相关的问题时， 其最佳答案表示中应更注重于表示时间的关键信息或者与时间语义关联较强的信息； 询问天气相关的问题时， 其最佳答案应更注重于表示天气相关的关键信息或者与天气关联较强的信息． 另外， 现有的基于注意力的答案选取模型往往将问题和答案的建模放在同一阶段进行， 这对从多个候选答案中选取一个最佳答案的答案选取任务来说， 不容易捕捉到答案相互之间的差异．针对现有答案选取模型的以上问题， 本文在语义注意力的基础上， 提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型（ Ｍｕｌ ｔｉＳｔａｇｅＡｔｔｅｎｔｉ ｏｎＡｎｓｗｅｒＳｅｌ ｅｃｔｉｏｎＭｏｄｅｌＣｏｍｂｉ ｎｉ ｎｇＳｅｍａｎｔｉｃＩｎｆｏｒｍａｔｉ ｏｎａｎｄＫｅｙＩｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅＱｕｅｓｔｉ ｏｎ， ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ） ， 分阶段地将问题的关键信息和问题的语义信息以注意力机制的方式对候选答案进行信息增强， 以增加对候选答案中的关键信息的捕获能力， 解决在问题和答案的建模过程中， 对候选答案关键信息捕获不足的问题， 以此来提升答案的选取效果．２ 相关工作２． １ 答案选取相关工作答案选取是自动问答技术的关键技术之一， 其相关技术也可以用于文本理解、信息检索、智能服务等多个领域． 针对自动问答系统中的答案选取问题，以往的研究者们通常将其视为分类任务和相似度计算任务两种类型的问题进行解决． 基于分类的答案选取任务是依据问题与候选答案之间的关联关系，将候选答案分到正确或错误类别， 将正确类别中的答案作为最佳答案． 基于相似度计算的答案选取任务是通过计算问题与候选答案之间的相似度， 选取相似度最高的答案作为最佳答案． 为了能够有效提升答案选取的效果， 大多研究学者都致力于研究问题与候选答案之间相关关系的表示， 主要的研究工作可分为两个阶段： 第一阶段是基于语言学知识和特征工程的答案选取方法， 第二阶段是基于深度学习的答案选取方法．基于语言学知识和特征工程的答案选取方法主要是结合外部资源对问题、候选答案进行词法、句法分析进而选取答案． 例如Ｓｕｒｄｅａｎｕ等人［ ３ ］提取了问题与候选答案的词频、 词语之间的相似度等多种特征对候选答案进行排序， 从而选出最佳答案． Ｙｉ ｈ 等人［４］利用ＷｏｒｄＮｅｔ 来获取问题和候选答案的语义特征， 以改进候选答案的排序效果． Ｔｙｍｏｓｈｅｎｋｏ 等人［ ５ ］对问题和答案的句法结构、语义结构进行分析，并利用ＹＡＧＯ、ＤＢｐｅｄｉａ 和ＷｏｒｄＮｅｔ 等知识库挖掘候选答案中与问题匹配的信息， 最终实现答案段落的排序． 虽然这些答案选取方法都能捕捉到问题与候选答案之间的匹配关系， 但是它们性能的好坏与提取特征的质量、采用的外部资源有很大关系， 同时在实际的运用过程中， 也需要一定的领域知识和较高的人工成本．随着深度学习的发展， 神经网络模型逐渐被引人到答案选取任务中并成为主流方法． 例如Ｆｅｎｇ等人［ ６ ］利用ＣＮＮ模型分别对问题和候选答案进行语义表示， 然后采用余弦相似度、ＧｅｏｍｅｔｒｉｃｍｅａｎｏｆＥｕｃｌｉ ｄｅａｎａｎｄＳｉｇｍｏｉ ｄＤｏｔｐｒｏｄｕｃｔ（ ＧＥＳＤ） 和Ａｒｉ ｔｈｍｅｔｉ ｃｍｅａｎｏｆＥｕｃｌ ｉ ｄｅａｎａｎｄＳｉｇｍｏｉ ｄＤｏｔｐｒｏｄｕｃＫＡＥＳＤ） 三种方法对问题和候选答案的语义表示向量进行相似度计算， 最后选取相似度最高的答案作为最佳答案， 实验表明利用ＧＥＳＤ的相似度计算方法取得了最好的效果． Ｇｕｏ等人［ ７］利用余弦４９４ 计 算机 学 报 ２０２１年相似度的计算方法对问题与候选答案中词语之间的相似度进行评估， 然后将词语之间的相似程度和词语的词向量一同输人到ＳｋｌｐＣＮＮ模型中， 分别获取问题和候选答案的语义表示向量， 最后将二者的语义表示向量进行拼接， 利用Ｓｏｆｔｍａｘ对候选答案进行分类以选取问题的最佳答案． Ｔａｎ等人［８］采用ＢｉＬＳＴＭ对问题和候选答案进行语义编码， 然后将问题的语义作为注意力对候选答案的编码进行加权更新， 最后取相似度最高的候选答案作为最佳答案． 相比于基于语言学知识和特征工程的答案选取方法， 基于深度学习的方法减少了对领域知识和外部因素的依赖， 具有较强的通用性． 此外，这类方法能够在语义层面学习问题和候选答案之间的语义匹配关系， 使得答案选取效果有了明显的提升．在上述研究中， 虽然已有的方法将词频、词语相似度等词级别的特征引人到了候选答案的语义表示中， 但是对候选答案中的关键信息以及问题与候选答案之间的关联关系的捕捉能力有限．因此本文在语义信息的基础上， 试图融人问题关键信息， 提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型， 提升候选答案中关键信息的捕获能力， 优化候选答案的语义表示， 从而更加全面地捕捉问题与候选答案之间的关联关系， 以此来提升答案选取的准确率．２． ２ 注意力机制相关工作注意力机制［ ９ ］可以抽象为针对性地提高数据中特定位置的关注度， 注意力机制最早被应用于图像领域， 用以关注重点区域的重点信息． Ｂａｈｄａｎａｕ等人［ １ °］最早将注意力机制引人到ＮＬＰ任务中， 尝试在机器翻译过程中将目标端的输出与源端的输人进行对齐， 从而提升机器翻译的效果％１ ２］． 随后根据不同任务提出了各种注意力机制， 例如Ｃｈｅｎｇ等人［ １ ３ ］在机器阅读任务中提出了单向的自注意力机制， 用以学习当前词语与句中前面部分词语之间的相关性； Ｖａｓｗａｍ等人［１ ４］对注意力机制进行了改进， 拋弃了传统的ＲＮＮ结构并提出完全基于自注意力机制的Ｔｒａｎｓｆｏｒｍｅｒ 模型， 解决了数据计算无法并行化的问题， 极大地提高了计算效率； Ｈｅ 等人［１ ５］和Ｙｕ等人 发现在推荐任务中， 注意力机制可以有效地捕捉用户长期兴趣与短期兴趣， 提高推荐系统的准确性．在问答系统以及答案选取任务中， Ｔａｎ等人［ ８ ］基于Ｂｉ ＬＳＴＭ＋ＣＮＮ的架构， 采用注意力机制分别对问题和候选答案进行语义表示， 并采用余弦相似度进行融合， 证明了仅引人字级别的自注意力机制的模型就能起到很好的效果； Ｂａｃｈｒａｃｈ 等人［１７］提出了一种针对答案选取任务的新注意力机制， 该方法将问题语义和候选答案词频特征相结合共同加强候选答案中关键词在语义表示中的权重， 使候选答案的语义表示向量更加准确， 从而提升了答案选取任务的性能； Ｘｕ等人［ １ ８ ］提出了一种基于门组自注意力（ ＧａｔｅｄＧｒｏｕｐＳｅｌｆＡｔｔｅｎｔｉ ｏｎ，ＧＧＳＡ） 的答案选取模型， 该模型很好地解决了全局注意力和局部注意力不能被很好区分的问题？现有注意力机制在答案选取任务中的运用大多采用问题的信息对答案进行注意力增强， 从而将问题和答案的建模放在同一阶段进行， 这不利于从多个维度对候选答案的关键信息进行捕获， 从而导致对于多个候选答案之间差异性的捕获能力有限． 为提升多维度信息的捕获能力， Ｃｈｅｎ等人［１９］在阅读理解任务中提出了一种两阶段的通用框架， 首先使用经过ｔＨｄｆ 与ｂｉｇｒａｍ结合的检索方法找到与问题相关的文章， 其次通过特征工程对段落及问题进行编码， 构建阅读理解模型从文章段落中找到对应的答案， 最终在多任务集上使用远程监督的方法提高了计算性能． Ｈａｏ等人［ ２ °］在问答任务中提出了一种基于端到端的问答网络模型， 主要利用交叉注意力机制对问题和答案进行互相关注．一方面利用答案信息强化问题的语义表示； 另一方面利用问题信息对答案进行不同的关注． 同时， 通过将外部知识库信息引人到Ｅｍｂｅｄｄｉ ｎｇ 中， 缓解了未登录词的问题， 使模型更有效地表示了问题和答案， 提高了端到端模型的实验性能．因此， 本文将问题语义信息和问题关键信息分为多个阶段对候选答案进行信息增强， 以此来加强模型对候选答案关键信息的捕获能力， 提升对类似答案之间差异的判断能力．３ 方 法自动问答系统的答案选取过程可以形式化为如下形式： 给定问题Ｑ， 在相应的候选答案集合｛Ａ：，Ａ２ ，…， 中寻找与问题Ｑ最匹配的答案即最佳答案｛乂１＾１ ＾３１：£ ｛１， ２ ，－－，２；｝ ｝， 其中，２； 为候选答案的个数． 本文将答案选取任务分为两个部分： 问题与候选答案的相关度计算和最佳答案的选取． 对于问题与候选答案的相关度计算部分， 在问题语义信息关联关系的基础上引人问题关键信息， 包括问题类型寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ４９ ５ ３ 期和问题中心词两个维度． 构建了一种融合语义信息与问题关键 息的多阶段注意为答案选取樓塵ｂ对于问题最！隹答案的选取＜利用问题与候选笞寒之间的相关度，选出相关度最高的答寒作为壕隹窖案，其中相关度采用问题和候选笞案的语义编码向量齡余弦相似度进行计箕》３． １ 答案选取的基础模型答案选取的基础模型的主要架构如Ｓ１ 所示，主要由问逮与候选答案的谞义表示鳥、语义抽象层和相关度计箕， 裏组成？ＱＡ國： Ｉ 问轉导＿＿截＿萬费眞＿糢遨（１．） 语义表示： ＆？ 利用阿题和候选答案所包含词语僖息的词向■， 分别对何题和候选答案进行语义表示， 瘍； 到问題的鼙置表示ＱＣｆＳｖ， ｗ％＊…，Ｉ。） 和鏡潘罄纂的辕夂表拳， …，＿中％事％分别为问题和候选答案的词语个数， ％，，£分别为问题的第：ｅ 个爾谙的词向量和候选笞案的第ｙ个词语的词向童＞且词向量的维度为Ａ（２） 语义抽象＆釆用Ｂｉ ＬＳＴＭ＋Ｐｏｏｌｉ ｎｇ对输人的问题和候逸答案＝ 语义表示的上下文进行语义编码， 分别得到问题和候途：答案的语义表示￣和／＞．Ｃ３） 昶关度计算建＊ 利用余弦相似度计算何题和答案的请义表示￣和 之间的相似度Ｓ０Ａ作为问题和答案的相关泰度的度量．这一基础模盡只是勝问蘧和候选答案之间＂的语义信息进行相似度计算，但暴諸于问题而言，它在与候选答案进行相似度计箕时； 更政望候选答案中与问题相关的鄧分占有更高的权重ｉ与何题不柜关部分ｔＳｓｆ較低前杈：鍵＊３．２ 基于问题语义信息注意力的信息增强模型逋过语义表示层和语义抽象层／Ｖ获问题的语义表示＿：量？， 这一向量＿全育地包含了问题能上下文语义像息，利用问題的语夂表示，采． 用注拿力机制． 对候选答案的语义倩息迸行增強ｄ吏得候选答案中与问题相关度较高的部分所占权蜜更高＊ 以此来构建候选答案针对当前何题语义信息的袠示， 进而提升候选答寒与何题语义的相关性？ 塞于问题语义猜鳥注意力的會息增强模型的框架如揭２所示．图２ 基于丨＇＜廳键龙 法鵞 惠壇３ｉ：框： 架：甚于问题语义信息注倉力的信息增致主裏利用问题的语义信息￣对候选答案的ＬＳＴＭ输出进行注意力加权更新？ 强化候选笞■案中与问题有关的部分？在ＬＳＴＭ中ｓ， 对每一时刻言点的正向输出＜与反向输出 进行拼摻；＞： 得到语义編礙／、， ／＾同时包含３前时刻的上文曾息％下文債息？ 钽合ＬＳＴＭ各个財刻的输出＊ 得到问题的语义编码矩阵Ｍ〇＝［＼， 九《２，＊． ？，＆］Ｔ＝［＜＾－，４？２，４］？Ｓ中 为ＬＳＴＭ梟开的时间步数ｗ为Ｌ紅Ｍ隐藏单元个数的．２倍． 对问题的谞义編码矩阵迸行压Ｉｆ， 樽到问题的谮义信息 如式（１）所示．ｒＱ＝［ｍａｘＣｒｆ＾＾＞ｍａｘＣｒｆ＾）＜？ ■■Ｉ］ｆ１）輝理将：霄寒的每一时刻的ＬＳｔｌ 座 和苽＿输出拼接得到每一时刻的候选答案的语义编码＼，将ｒＱ与 进行余弦相似度计算将计算结果作为ｒＱ对 的＿驗权重 算公式如＇式⑵所示．利用 对ＬＳＴＭ每一时刻隐； 藏：单元的输出＼迸行加权更新，４十算公式如式（１） 所示．ｈ＜ ｉｉ （ ３）将加权后的＜作为最狻每个时刻的输出，３．３ 基于问题关键信息注意力的信息增强模型本文采用问題类型和中心词作为问题的关键信息． 利用注意力机制对候选答案进行信息增强．４３ｉ 计導机攀报： ＿１苹Ｓ．３． １碁予何题类灣的关键信息 意力问题类型对候选答案的选取有十分重要的指导作用， 对侍同一个候选答案， 不同类型的问题对候选窖案中的关注点有所不同， 例如对Ｔ表１ 所示的候选窖案，当提问＆Ｗｈｅｎｄｏａｎａｕｔｏｉｎｓｕｒａｎｃｅｐｒｅｍｉ ｕｍｇｏｕｐ？”时， 候选答案中希望更加关注于“ｎｅｘｔｒｅｎｅｗａｌｐｅｒｉｏｄ”和“ｍｏｎｔｈｌｙｑｕａｒｔｅｒｌｙｓｅｍｉａｎｎｕａｌ ｌｙａｎｎｕａｌ ｌｙ”等表示时间的词语； 当提问“ Ｗｈｉｃｈｆａｃｔｏｒｓａｆｆｅｃｔｔｈｅａｕｔｏｉ ｎｓｕｒａｎｃｅｐｒｅｍｉ ｕｍ？”时， 候选答案会更希望关注于“ａｃｔｉ ｖｉ ｔｙｏｒｃｌａｉ ｍｔｉｃｋｅｔａｎｄａｃｃｉｄｅｎｔ”等表示实物的词语．表１候选答案示例ｙｏｕｒａｕｔｏｉｎｓｕｒａｎｃｅｐｒｅｍｉｕｍｗｉｌｌｔｙｐｉｃａｌｌｙｎｏｔｃｈａｎｇｅｕｎｔｉｌｙｏｕｒｎｅｘｔｒｅｎｅｗａｌｐｅｒｉ ｏｄｄｅｐｅｎｄｉｎｇｏｎｙｏｕｒｐａｙｍｅｎｔｔｅｒｍｔｈｉｓｔｙｐｉｃａｌｌｙｃａｎｂｅｍｏｎｔｈｌｙｑｕａｒｔｅｒｌｙｓｅｍｉ ａｎｎｕａｌｌｙａｎｎｕａｌｌｙｙｏｕｒｐｒｅｍｉｕｍｂｅａｆｆｅｃｔｍａｎｙｆａｃｔｏｒｔｈｅｐｒｉｍａｒｙｆａｃｔｏｒｂｅｙｏｕｒａｃｔｉｖｉｔｙｏｒｃｌａｉｍｔｉｃｋｅｔａｎｄａｃｃｉｄｅｎｔｂｅｔｈｅｔｈｉｎｇｔｈａｔ ｍａｙｃａｕｓｅｙｏｕｒｒａｔｅｉｎｃｒｅａｓｅｙｏｕｒｒａｔｅｃａｎａｌｓｏｂｅ ａｆｆｅｃｔ ｍａｎｙｏｔｈｅｒｔｈｉｎｇａｓｉｎｓｕｒａｎｃｅｒａｔｅｂｅｔｙｐｉｃａｌ ｌｙｄｅｔｅｒｍｉｎｅｔｈｅａｍｏｕｎｔｏｆｒｉｓｋｔｈｅｉｎｓｕｒａｎｃｅｃｏｍｐａｎｙｂｅｂｅａｒ ｉｎｔｈａｔｍａｒｋｅｔ ｆｉｎｄｏｕｔ ｍｏｒｅｃｏｎｔａｃｔｙｏｕｒｌｏｃａｌａｇｅｎｔ ａｎｄ ｄｉｓｃｕｓｓｙｏｕｒｑｕｅｓｔｉｏｎａｂｏｕｔｒａｔｅｗｉｔｈ ｔｈｅｍａｓｅａｃｈｓｔａｔｅ，ｃｏｍｐａｎｙａｎｄｐｏｌｉｃｙｃａｎｖａｒｙｇｒｅａｔｌｙ．ｐ此， 我们对数据集中问题的类型和其最佳答案进行了分析， 总绪了７种阿题的类＿以及．读．类型问题的特怔和常见时最佳答案类塑，如表２ 所示表２ 问题的类型、 特征及答案常见类型问题类型 问题特征 常见答案类型人物问句 以‘‘ｗｈｏ、 ｗｈｏｍ、 ｗｈｏｓｅ”开头多为与人物相关的信息地点问句 以“ｗｈｅｒｅ”开头多为与地点相关的信息时间问句 以“ｗｈｅｎ”开头多为与时间相关的信息实物问句 以“ｗｈａｔ、 ｗｈｉｃｈ” 开头多集中于表达实物类信息的部分数量问句以“ｈｏｗｍｕｃｈ、 ｈｏｗｍａｎｙ、 ｈｏｗｌｏｎｇ、ｈｏｗ ｏｌｄ、ｈｏｗｆａｒ”开头多集中于表达量词信息的部分原因问句 以“ｗｈｙ，ｈｏｗ”开头多集中于描述原因及动作的部分其他问句 除以上六类以外多集中于陈述事实类的部分不同类＿的甸癍对候选答案中关注的部分有所不同 参藤语义锫息増強的方法， 提取问题的类型，构建类葉的表示， 作齿一种注意力向量＊引人到候选答案的语义信息表示申： 具体来说， 在模型初始化时， 为每一种问題类型分别锭定一个表示向量ＦＱｒｓ利用￥对候选答案的ＬＳＴＭ输出迸行注意力加权更新， 强化候选答案中与问龜类埜有关的部分？ 计算流程为， 将答案的每一时刻的ＬＳＴＭ诋向和反向输出拼接得到每一时刻的候？选答案的语义编码 ． 利用与， 式Ｃ２〉相同的方法将ＶｑｒｉｆＴｉ进行相似度计算，魯到％ｒ对ｈ的关ｆｔ秘重 ？ 再歡通过与式⑶梅同的方法， 利用了＾私对ＬＳ．．ＴＭ每一时刻隐藏单元的输出＼进行加权更新， 即可籍到最终每一时刻的输出． 随着模塑的迭代训练， 即可获得问题类塑对应的语义信息， 进而强化候选答案中与何题类型有关部分的权重＿基乎甸题中心甸的关猶信鼻雜羃力当候选輕案中＃在多个与何题类型相关的钵分时； 仅采用问题类型迸行信息增强很难进行３ＪＫ例如瑪间題类塑为时间疑问句財． 候选瞽案中有多个表达时间信息的部分■问题类型对于候选答案的注意力将会分散到多个与时间相关的部分上； 当问．题类型为原因疑问句或判断疑问句时， 答案往往是一段话， 只．利用问题类型无法很好地加強候选答案对问邂关键信息的捕：获能力．针对上述问题＜ 本文通过５丨 人问题 心诃的概： 念：，以此来觀太候豫簦棄文本中，何趨主蓮雜关的葡舉蕾占的扠重，两时＿小不植关的词语所占的权重．本文将问考Ｔ中條够Ｍ映句子主養：信息的屬词： 或动词作为问题的中心Ｍｔ２ １ ２ ２ｌ？ 例如何句“Ｄｏｅｓｌ ｉ ｆｅｉｎｓｕｒａｎｃｅ： ｙｅｇｕｉｒｅ努ｃｒｅｄｉ ｔｃｈｅｃｋ？％它所：表迪酣蕾息３；Ｓ－｜ ｉ［＂ｒ６ｑｕｉｒｅ＂＼＂ｌ ｉｆｅｉｎｆｉａｒａｎ：ｃｅ＇＾＾ｆｌ＇＾ｃｒｅｄｉｔｄｕｃｋ＂ＭｌＨ＾Ｗｈｅｎｄ？ａｎａｕｔｏｉ ｎａｕｒａｎｃｓｐｒｅｍｉ ｕｍｇｏｕｐ？＇， 它所表达的信息爾主要由“ｇｏｕｐ，，、ｗａｕｔｏｉｎｓｕｒａｉｌｅｆｉｐｒｅｍｉ ｕｍ，，｜＾３ｉｌ，对于问题的中心词， 利用依存句：法分析来莸取，如间匈“ＨｏｗｄｏＩａｐｐｌｙｆｏｒＭｅ’ｃｌｉｍｒｅ， ｉ ｎＴＴｅｘｇｓ？＇％通过依存句法分析，可？得到如图３ 所示的结果．图３ 河： ＃＇的椒存句楼费析其中，ｕｆｔＰＰｌｙ”为主要动词， 则提取其作为问＇题的主赛參词ｗｏ＿ｒｒｆＹ． 如果ｗ〇ｒ＜ｉＦ 的主．或：禽费海名＿或名饲： 短语， 提取主语和宾捂作为主要名爾ｔｏｒＪａＨ再顧次： 提職遺憂■词的修葬成费爾 到成分中的翁词麵加到主要名： 词ｗｏｒｄ＃中 主要：动飼和名词构成何题的中心词， 下文用ｈｅａｄ泰示， 另外，费旬法分析无法提取其主要魂珂．． 刺寘接通过珂性＞过滤停甩词后提取其中心词．因此 ，為的个数可能为多个． 如在图３ 中，ａｐｐｌｙ”的主语为 宾语为“Ｍｅｄｉ ｗｏｅ”， 因为主语“１”为人称代词，本是名飼或名寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ４９ ７ ３撰坷短语， 故不将其作为主要名词＾而卖语“Ｍｅｄｉｃａｒｅ”为名词， 故将其作为主要名词，同时＂Ｔｅｘａｓ”又作为名飼修饰“Ｍｅｄｋａｒ＃， 因此，“Ｔｅｘｓ＃也作为生雾翁词？ 所以， 國３ 轉旬中的： 中心轉＿合为｛ａｐｐｌｙ，ＭｅｄｉｅａｒｅｉＸｉｘａｓ）ｓ其＿，中心讀爾为ａｐｐｌｙ￥中』〇＊名Ｓ３Ｓ． Ｍｅｄｉｃａｒｅ．Ｔｅｘａｓ｝．在得到何题的中心词后， 将中心词对应的词向量集合的向量表示作为中心词的注意力向量＝（死…其中，Ｚ 为问句中心词的个数，采用ｖＱｗ对候选眷案正向ＬＳＴＭ的输出冗和、反向Ｌ８ＴＭ的输出Ｘ：拼接后拍输出４进行加权笼新， 具体来说，将集脅Ｖ＃中的每个词向量分别和Ａ， 进行相似度计算， 然后将其中的最大值作为问题中心鲟的注鴦力时量在 上的权重表示功， 计算方法如式⑷所示．ｖｔ—ｍａｘ｛ ｃｏｓｓｉ ｎＣ／ｉ＾？（ ４）利用Ａ， 采用类似于式（３） 的方式对心进行加权更新ｓ 得到／ 財刻Ｉ的表示Ａ：． 依次采用爵样的方式对候选答案每一时刻的表：示进行加权更新＞即得到基于问龜中心Ｍ注意力的信息増强表示．３．４ 融合语义信息与问题关键信息的多阶段注意力答案选取模型为了充分利用何题的语义價息和关键谬息对候选答案迸行信息增强， 本文构建了融合语义信慕与问题关鍵信息的＇多阶段注鴦力答案选取模型？ 具体来说，虫要利用问题的相关信息， 果． 用Ｂ！ 意力机制＞分为两个阶段对候选答案进行ｆ息増強． 例如问题“ＨｏｗｄｏＩ．ａｐｐｌｙｆｏｒＭｅｄｉｃａｒｅｉ ｎＴＴｅ絲５？”，其雜选窖案集合为 ，…， ４Ｊ？ 首先使用式Ｃｌ》计算得到问题的语义表示 其次开始抽取间题的关键信息； 该问题以“ Ｈｏｗ”开头， 寅此问題类型为原因类塑！■ 苘时提取闾句的中心佩集合．！ ａｐｐｌｙ，ｉｓｆｅｄｉ ｃａｒｅ，Ｔｅｘａｓ｝？其中， 问题类型注意力如方模型初始化时为每种类型随机歡定的向量，问题中心鲟往意力集合为ｖ釋＝｜ｓ：， ￥ｓｊ＊ｓｉ、 ｓｆ、 ｓｓ分刴为＇＊％ｐｐ：ｌｙ’’、“ ＭｅｄｉｃａＷ ＴＴｅｘａｓ１＂ ＇对应的齋义＿量？ 乘爾３．３＇＇节所述的方法．利租注：意力机制对候选答案的语义表：示进行问題关键＇，息谓強， 构重候选答案针对当前？网徽类雜鲁息的费叉秦示、。 拽３问题的语义表示ｒ０进行相关度计算＊ 依据相关度排摩讀ｊｉ 靡：街前々３１：彳 Ｈｉ２为纖前儀选答案集合． 最后》将问題的谙义信息？作为注鴦力向量； 采甩３．２ 节所述言法， 再次利用迕意力机制对筛选扭的候遍答繁集合试彳，我，…，★）■进行语义僧息增强，构建当前候选答案针对问题语义信息． 的．义＿承？ ＆＝与“２，？ ？＊＃馬》， 与＿题的语义表示ｒａ： 迸行相关度计算， 依据相关度排序后， 即得到最优的候选＿案＇｛起ｍＩ ｂｅｓｔ６：Ｃ〖ｉ ， ６？ 具体的模型：框寒商姐蘭４所示．语义信息Ｑ，０ＶＳ８〇〇？〇一＾０５５＾８００，為＞Ｍ〇〇〇〇Ｉ－ｔｏ〇〇〇＾：＞＾〇〇〇〇ｌｊ１４５〇〇一ｙＯＱ〇ｑ＃〇〇ｏ〇ｌＱ图４融合语义信息与问题关键信息的多阶段注意力答案选取模型４９８ 计導机攀报： ＿１苹在对问题的语文表薪和候选答案的语义表示进行相关度计算时， 采用如式Ｃ２）余弦相似度的方法计？算两着；ｔ间的枏关度答案选取模型期望达到的效果基＾当＇模型的输人为阿題的最佳答案时， 应该枣可能大； 当模型输人为何题猶季■樓眷蠢財ｓＳ＆１ 虛讓■可能小， 因此， 在对模型训练过程中， 每一轮同时输人问题２、最隹答案Ａ＋和＿最佳答案Ａ＇然后分别计算问题与最儀籍案和李最德答案的相关． 獄 和茂ａ－，再釆用式Ｃｆｉ） 所示的ＨｉｎｇｅＬｏ涵函数作为■损失函数对模型迸行训雜．ｌｏｓｓ—ｍａｘ｛０—（Ｓｑａ＋—Ｓｑａ￣） ｝（ ５）眞：中，当５？＋—Ｓ，；＾働ｒ 时说赠奠型餘够很好地区分最佳答案和非最佳答案， 当 ５＾－＜施ｒ时， 此时隹型不能很野地Ｋ分芷确答案与错误答案，需要调整模： 型参数进行迭代计算． ｍａｒ 具体的取值将在４，３ 节实．验参数设釐部分进行说明．对于非最佳答案Ａ 的选取，为了提升模型的学习能力， 在训练的过程中， 选取全部何题的候选答案中除晕隹簪案Ａ＋之外的最隹答案作为 的值，具体如式（《） 所示Ａ－＝ａｒｇｍａ＾＜： Ｓ＾．ＫＡ， ＾１＋．０＜／ ＜％？？＇）（：６）其中＃ 为训漆数据棠合中所有间蘧候选窖案的总数．４ 实验与分析４． １ 实验数据集为了验证本文提出模型的有效性， 本文选择在ＩｎａｕｒａｎｏｅＱＡ＾＾ｓＴＲＥＧＱＡＷｉｋｉ ＱＡ数据集上设计实验并分析，以验证本文模型的ｔ效性．４．１．１ＩｎｓｊｉｒａｎｃｅＱ入數縛舉ＩｎＳｕｒａｉｉＣｅＱＡ数擁盡． 遍；一个来自保险领域的专业数据集， 由Ｆｅｎｇ等人［ ６ １枸建， 数据集中的所有问题都是来启现实世界寘实甩户的提问＊问题的答案一般比较长． 数据集共包括四都分， 分别为训练集、验ｉｌＥ集测试＃１、测试集Ｌ共有１７４８７ 个问题和２４ 助１ 个答案？ 数据集的详细数量信息如＿３ 所示，其中． Ｑ－Ａ为问题的平均长度， ＡＡ为答案的平均长度？ ＩｎｓｕｒａｎｒｅＱＡ数据集的评价指标采用最隹答案的准确率户＠１ 进行评价．表３ＩｎｓｕｎｍｃｅＱＡ问题与答案数量分布＿觀Ｑ－ＡＡ－Ａ．娜繼１２ ＳＳ７１８５， ？７． １５９５． ６１翁爾義 撤＿１测雜２ＵＳＢ１８００１８００１４５４２６；１纖３７． １６７． １６Ｋ１，？９５． ５４９５． ５４９５． ５４除此之外， 本太还对数据集的间Ｍ类谨分布进行统计； 统计结果如图５ 所示． 从图中可以看出， 在训练巢、验证集、 测试集１ 和测试集２ 中各类问题的问題类型分布基本一致， 其中占比最高的为其他问句， 实物问句的所占比例也明显较商占比最少的为地点轉想．４．１．２ＴＲＥＣＱＡ 数据集ＴＲＥＣ－ＱＡ数据集起滬于国鼠文本裣素会议ｆＴＲＥＣＩ的问＇答任务， 任务．面向开放领域， 且多为基于事实的小文本片段． 该数据集的训练集ＴＲＡＩＮ为原始标驻缴据， 每年发布一版，Ｗａｎｇ等人 靖理所有的抓练集后， 得到了ＴＲＡＩＮ－ＡＬＬ训练集， 达到了较髙的数据质營！ 扁来学者对验证集与＿试燊也进行了瘡■， 得到了ＣＬＥＡＮＤＥＶ与ＣＬＥＡＮＴＴＥＳＴｒ， ＿＃ｔ： ＾｜＾，｜｜：Ｂ：ＴｒＲＡＩＮ－ＡＬＬ、 ｅＬＥＡＮＤＥＶｉｆＣｉＬＥＡＮ＾ＣＥＳＴ迸行犧型： 的训雜验ＳＬ数磨集的具体翁識、 如餐４ 所示 中Ｑｕｅｓｔｉ ｏｎ为丨每题个数， Ｐａｉｒｓ为飼题－嘗寒对的个数， Ｑ－Ａ为问顧潍警均长度 Ａ为答案的平均长度？表４ＴＲＥＣ－ＱＡ问题与答案数量分布Ｑｕｅｓｔｉｏｎ Ｐａｉ ｒｓ Ｑ－Ａ Ａ－ＡＴＲＡＩＮ ９４ ４７ １８ １１．３ ２４．６ＴＲＡＩＮ－ＡＬＬ １２２９ ５３４ １７ ８．３２７． ７ＣＬＥＡＮ－ＤＥＶ ６５ １１１７ ８． ０２４． ９ＣＬＥＡＮ－ＴＥＳＴ ６８ １４ ４２ ８．６ ２５．６同样，本文还对该数据集的问蓮鸯盡分布进行统计分析， 统计结果如虜６所示， 从Ｓ中可以． 发满隹ＴｆｉＡ裏ＡＬＬ、 ＣＬＥＡＮ－ＤＥＶ和＇ｅＬＥＡＮＴＴＥＳＴ申＇，寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ４９ ９ 議 期各獎问题的问题类型分布基本一致， 其中占比最高的为裏：物问甸，．占Ｉｆｃ最少的为其他问镇＝在该数捃梟中，一□个向題通常对应多个正确笞案， 繞要尽可能将疋确答案排名靠前？因此， 诙数据集的性能评价揞标采用ＭＡＰ与ＭＲｉ？ ， 其中ＭＡＰ＿示所有正＿答案的平均得分， 如式（？？所示．ＭＡＰ＝２ａｍｉＰｉｑ＾（７：）＾Ｑｕｅｓｑ＾Ｑｕｅ￥＿中，＿示與遮＿合， 风祕：翁示问蘧的藝数，Ｐ（ 表示正＿答案排序位萱的得分， ａ狹（ Ｐ（ ｇ表示该间题対应所有芷确答案排序位璧的平均得分，ＭＡＰ鲁分越高， Ｊｉｆ全部正确答案的排名越靠前、ＭＲｉ？表示何题对应的第一个正确答案的平均得分， 其计算公式如式⑧所示．Ｍ勝Ａｑ Ｇ Ｑｕｅ ｓ１ｒａｎｋｑ（８）其中， ＱＭ？ｊ？康示问题覷＃ｓＪＮｆｓ？？表累何题的总数，示第」－Ｉｓ正确餐案的排翁， ＭＲｉ？ 拇身魏禽，则第一个结果越可能为正确答案．４．１．３Ｗｉ ｋｉ ＱＡ数据集Ｗｉｋｉ－ＱＡ是一个开放域何题回答的数据集， 梁用Ｂｉｎｇ查询日志作为问题頫， 每个问题都链接到一个可能有齊案的维基百科页面，采用维塞Ｗ科页面的掎荽作为候选餐寒？ 然后采用众包的方式进行数据标ｆｔ／数据集的具体債息如表５ 所示， 其中Ｑｕ＆ｒｔｏｎ为闻题个数， ｖ細ｓ谭ｅｉ？为麗案个数， ＱＡ为＇问题的平均长度， ＡＡ为答案的平均长度． Ｗｉ ｋｉ ＱＡ数据集也是一个何题对应多个正确答案， 因此同样采用ＭＡＰ与ＭＲｉ？ 作为性能评价指标．表５ＶＷＭ－ＱＡ问题与答案数量分布Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒ Ｑ－Ａ Ａ－ＡＴｒａｉｎ８７３ １８ ８２１ ６．３６ ２５．５ １Ｄｅｖ１２６ １１１９６．７２ ２４．５９Ｔｅｓｔ２４３ ２３０９６．４２ ２５．３３同样ｔ本文还对数据集的问题的类型分布迸行统计， 统计Ｍ果如图７ 所示， 从图中可以发规在ＴＴｒａｍ、Ｄｅｙ和Ｔｅｓｔ 中的何題纖纖分霜碁李一截， 其中占比最高为实物阿句， 占比最办、为原因问句．４． ２实验对比模型本文的主要对比褸麵如下：Ｂａｇ－〇ｆ－Ｗｏｒｄｒａ？该養Ｓｌ＿｜ｆ向顧和餐选眷秦筒■的ＩＤＦ权重对爾语的掘： 魔量■＝行加权求和， 榻建：问题和候选答案的特征向量表示？？ 采用拿弦相似度计算坷题甜輕案特征商餐的相似度？ 该模塑是乘用传统方式进行答案选择的代表模型．ＡｔｔｅｎｔｉｏｎｂａｓｅｄＢｉ－ＬＳＴＭ１ ？ ？ 调靈＿截用ＢｔＬＳＴＭ对阿题和候选答案迸行语义编码， 将问题的语义作为注意力＇对候选答案的编码进行更新， 最＿使用余弦相似度：进行相似度计算？ 廣模型是较早將Ａｔｔｅｎｔｉｏｎ机制引人到答案选择的方法，ｌＡＲＮＮ－Ｇａｔ＃４ ３？慘業處将德霉为，息加人到ＧＲＵ故每个门涵数中， 构建了基于ＲＮＮ的门控法意力单元，以此来构建问题和候选答案的特征向營表示，菜用ＧＥＳＤ进行相似度计算．Ｍｕｌｔｉｈｏｐ－Ｓｅｑｕｅｎｔｉａ丨－ＬＳＴＭｔ２ ５ ］？ 儀模麵乘眉：动态记忆网络（ＤＭＮ． Ｓ） 对问题和答案迸行建模， 采用了多种注意： 力机制， 进行迭代的法意力操作， 构建向题和候选答案的特征向量表示， 采用余弦相似度进行相似度计算．ＴｒａｎｓｆｏｒｍｅｒｗｉｔｈＨａｒｄＮｆｅｇａｔｉｖｅｓＰ６］？ 该．模； 戴： 采－用ＴＴｒａｎｓｆｏｒｉｉｆｅｒ 对Ｍ题＇和餐＿进行建：律＊并利用ＨａｒｄＭ：嗦ａｉｉ ｖ．热的方武途取负例＃本峯用■余弦相似度进行相似度计算、ＢＥＲＴ－Ａｔｔｅｎｔｉｏｎ？］ ？ 渗橇塵：采 ＢＥ１Ｔ＿ＳＳ： 对问题和答案进行建模＞并构逢了基于问题语义的注意力机制？ 来用余弦相似度进行相似度计算，ＨＡＳ〔２ ７］？ 恢稹塾＿架梅与ＢＥＲＴＴ Ａｔｔｅｎｔｉ ｏｎ襄似， 但是采用了Ｈａｓｈｉ ｎｇ机制对候选答案的编码进行存储， 避免实时在线计箅．， 有效降低了针算时间％５００ 计導机攀报： ＿１苹０．８２００．８０５０．７９００． ７７５，０． ７６０＇０． ７４５上性能儀好贈 值作海＿酱的取值， 具体来说．在ＩｉｍｕｒａｎｃｅＱＡ＿磨寒、ＴＴＲＥＧ－ＱＡ数擠拿和ＷｉｋｉＱＡ数据亀上的取懷分别为６．１８ＶＱ，１名和０？Ｉｔ．坩乎本文釆用的是多阶段的模型， 第一阶段的选擇个数々 对于镆＿的性能有窘一萣的巌响， 在三个数据集的验证集上， 性能随＆值的变化趋势如Ｈｉ． 所示．计算资源．Ｍｕｌｔｉ－ＣａｓｔＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｓ＾？＿ 燦模處来，用參种Ａｔｔｅｎｔｉｏｎ和Ｐｔ？ｌ ｉｎｇ机制对间韻和候选答案进行编码和交互？ 采用分类方法判断候选答案是否为雜答案，ＱｕｅｓｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎ－ＤｅｅｐＬｅａｒｎｉｎｇ＾２ ９］． 懷權型融合问题分类、实体识别、实体强化和深度举习的方法对问龜和候选答案进＃编码和．交互，？实现最隹答案的选择．ＲＥ２［ ３ °］？ 该模型主要＇鞭穷序列间对齐的关键特■： 的幾取． 栂虛了原始Ｈ对齐眷性、先前对齐； 特性和上下文特性， 对问题和候选答寒编码和交互， 实现最隹答案的选＃．Ｃｏｍｐ－ＣＨｐ＋ＬＭ＋ＬＣｆ３ １］．读犧製通过潜在聚类的方式挖掘： 文： 本中的附加詹ＪＵ实现文字中的信息： 聚合， 从面增强对问題和答案的編码效果，实现？最佳答案的选取．４． ３实验参数设置本文采用深度攀习框架Ｐ／Ｔｏｒｃｈ 对相关模型迸行编碍实现， 并在ＵｂｕｎｔｕｌＵ＊〇４ 峯统上＿用ＧＰＵ（；ｒｅｓｌａＰ１Ｗ）进抒壤麗的训练和调试． 義書後过程中， 采用词向豐的维度大小设置为抑〇， 对宁模型中各个参数的设眘， 本文采用Ｈｙｐｅｒｏｐｔ 库进行分布式参数调节＊ 获取模型的最优参数集合， 具体的选取敏舉为？＿雇的维度为ＳＯＣＵｍｉ ｎｉ－ｂｓｔｅｈ 的大小设鸳为Ｉ６， 优化函数采用Ａｄａｍ， 学习率Ｚｆ 设囂为０．００１．针对损失函数中ｗａｒ 值的选取， 在各个数据集的验证亀上性能随其取值变化如圈８所示．我们发现＿ｒ取值：过小和过大審会对標型在对候选答案的正负例的判断能力产生影响， 进商影响最终候选奪龛的选取能力， 最终我扪选取验１Ｅ集０．７３００．７１５＇Ｍ图Ｐ 性能随：《 值蜜你眞势图我们可以发现， 在不词的数据集中＊ 随着平均正确笞案个数的增？加４的最隹取值明显增大Ｓ其中ＩｎｓｔｍｍｃｅＱＡ酸证集的正＿答案个数为１ 个，Ｗｉ ｋｉ ＱＡ验证集上平均正确答案个数为２．０３，ＴＲＥＣＱＡ验证集上平均正确答案个数为３．１５３．同样选取验证集上性能最好的＆ 值作为最终的取攝具体辛说＊？Ｉｎｓｘｔｒａｎｔｊ’ｅＱＡ■数場 ＿、 Ｗｉ ｋｉＱＡ数据集和ＴＥＥＯＱＡ数搪集上的取後分别为４ｖ７和１１．钟对中心词的抽取策略， 本文探究了否定副饲、方位介词的抽取对性儒的參晌．數湯食中：否窠＿１轉＇及方位介词的分布如表６ 所示１其中，ＰＰ代表何题中存：在方位介词的句子个数， Ｎ＇Ａ表示何题中参在—定副爾的旬： 子个数， Ｑｕｅｓｔｉｏｎ＿示间氣的藤个数． 从表中可以看出Ｓ 否：定副诃在问题中出现的次数膂遍较低， 方位介词占比则较多． 以ＴＲＥＣ－ＱＡ数据集为例做了寒验对比， 实验效果如表７ 所示其中厂ＳＡＡＳｗｉｔｈＫＩ（ｈｅ〇豪：翁单魏添加何顯中办爾注意方模趣：， ＳＡＡＳｗｉｔｈＫＩ（ｈｅａ４）＋ＰＰ＋ＮＡ表示在上述镆型基础上增加了方泣介词与否定副词的抽取．表６ 方位介词与否定副词的数量分布ＰＰ ＮＡ ＱｕｅｓｔｉｏｎＩｎｓｕｒａｎｃｅＱＡ ２２ ６０８ １７４８７ＴＲＥＣ－ＱＡ ３２６ ４ １３ ６２Ｗｉｋｉ－ＱＡ ２ ６０２ １２４２－ａ－ ＩｎｓｕｒａｎｃｅＱＡ－Ｐ＠ｌ－ － －－－ａＴＲＥＣＱＡ－ＭＡＰ＾ＷｉｋｉＱＡ－ＭＡＰ／ａ－．—＿二ｒ ……Ｃｆｍ／Ｉ＠ｃｆ张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ５０１３ 期表７ 方位介词与否定副词的实验对比结果ｍｏｄｅｌ ＡＣＣ ＭＡＰ ＭＲＲＳＡＡＳｗｉｔｈＫｌ （ ｈｅａｄ）７９． ４１ ７６． ２４ ８６． ０９ＳＡＡＳｗｉｔｈＫＩ （ ｈｅａｄ） ＋ＰＰ＋ＮＡ ７９． ４１ ７６． ３１ ８５． ６３由实验可知， 中心词选取过程中增加否定副词及方位介词对实验性能的影响甚微．因此， 本文将问句中能够反映句子主要信息的名词或动词作为问题的中心词．４． ４ 实验结果及分析按照相关数据集的实验流程和评测指标， 本文分别对ＩｎｓｕｒａｎｃｅＱＡ数据集、 ＴＲＥＣＱＡ数据集和ＷＯｎＱＡ数据集进行了实验分析， 具体实验结果如表８、 表９ 和表１０ 所示， 由于本文实验的数据集划分和实验流程完全按照各个数据的规范进行实验，因此， 表中显示的实验结果均来自于相关论文中报告的结果．表８ＩｎｓｕｒａｎｃｅＱＡ数据集实验对比结果ｍｏ ｄｅｌＤｅｖＴｅｓｔ ｌＢａｇ〇ｆ Ｗｏｒｄ［６］３ １． ９０ ３２． １０Ａｔｔ ｅｎｔｉ ｏｎｂａｓｅｄＢｉ ＬＳＴＭＭ ６８． ９０ ６９． ００Ｉ ＡＲＮＮＧａｔ ｅ［２４ ］７ ０． ０ ０ ７０． １０Ｍｕｌｔ ｉｈｏｐＳｅｑｕｅｎｔ ｉａｌ ＬＳＴＭ＾２５＾７０． ５０ＴｒａｎｓｆｏｒｍｅｒｗｉｔｈＨａｒｄＮｅｇａｔｉｖｅｓ＾２６ ＾７ ５． ７ ０ ７５． ６０ＢＥＲＴＡｔ ｔ ｅｎｔｉｏｎ＾２ ７＾７ ６． １２Ｉ Ｉ ＡＳ［２ ７］ ７ ６． ３８ＳＡＡＳｗｉ ｔｈＫＩＳＩ７ ６． ０ ０ ７５． ２８ＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ ｔｙｐｅ） ７ ８． ６０ ７８． ０６ＭＳＡＡＳｗｉｔｈＫｌ ＳＩ （ ｈｅａｄ）７ ８． ３ ０７８． ３３ＭＳＡＡＳｗｉｔ ｈＫＩ ＳＩ （ｈｅａｄ＋ｔｙｐｅ）７８． ７０ ７７． ７８表９ＴＲＥＣ－ＱＡ数据集实验对比结果ＭｏｄｅｌＡｔ ｔｅｎｔ ｉｏｎｂａｓｅｄＢｉ ＬＳＴＭ＾ ８＾ＩＡＲＮＮＧａｔ ｅ［２４］ＭＲＲＭｕｌｔ ｉｈｏｐＳｅｑｕｅｎｔ ｉａｌ ＬＳＴＭ［２５］Ｍｕｌｔ ｉ ＣａｓｔＡｔ ｔ ｅｎｔ ｉｏｎＮｅｔｗｏｒｋｓ［２８］ＱｕｅｓｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎＤｅｅｐＬｅａｒｎｉｎｇ＾２９＾ＳＡＡＳｗｉｔｈＫＩＳＩＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ｔｙｐｅ）ＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ ｈｅａｄ）ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ （ ｈｅａｄ＋ｔｙｐｅ）９１５８，表１０Ｗｉ ｋｉ－ＱＡ数据集实验对比结果ＭｏｄｅｌＩＡＲＮＮＧａｔ ｅ［２２］Ｍｕｌｔ ｉｈｏｐＳｅｑｕｅｎｔ ｉａｌ ＬＳＴＭ［２５］ＲＥ２［ ３０］Ｃｏｍｐ Ｃｌ ｉｐ ＋ＬＭ＋ＬＣ［３１］ＢＥＲＴＡｔｔ ｅｎｔｉｏｎ＾２ ７＾Ｉ Ｉ ＡＳ［２ ７］ＳＡＡＳｗｉｔｈＫＩＳＩＭＳＡＡＳｗｉｔｈＫｌ ＳＩ （ｔｙｐｅ）ＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ ｈｅａｄ）ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ （ ｈｅａｄ＋ｔｙｐｅ）７６ ９０＊４（ＴＭＲＲ其中， ＳＡＡＳｗｉｔｈＫＩ ＳＩ 模型表示将问题的语义信息注意力和问题的关键信息注意力都添加在模型的第一阶段， 构建候选答案的三个语义表示， 然后对三个语义表示结果进行融合， 构建候选答案的语义表示与问题的语义表示， 并将二者进行交互选出最佳答案；ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ 表示本文的融合问题关键信息和问题语义信息的多阶段注意力答案选取模型， 其中， ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ （ ｔｙｐｅ） 表示第一阶段只采用问题类型作为问题关键信息进行信息增强， ＭＳＡＡＳｗｉ ｔｈＫｌ ＳＩ（ ｈｅａｄ） 表示第一阶段只采用问题中心词作为问题关键信息进行信息增强，ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ（ ｈｅａｄ＋ｔｙｐｅ） 表亦第一■阶段同时采用问题类型和问题中心词作为问题关键信息进行信息增强．在表８、 表９ 和表１０ 中，”表亦显著性水平汐＜０．０５，“》”表示显著性水平ｆ＜０．０１ ， 本文显著性验证参考文献［３２］ 中的方法， 在测试集上， 采用１０００ 次有放回的抽样进行评估． 具体来说，ＩｎｓｕｒａｎｃｅＱＡ数据集是针对ＨＡＳ 模型进行显著性检验的， ＴＲＥＣＱＡ数据集是针对ＱｕｅｓｔｉｏｎＣｌａｓｓｉ ｆｉｃａｔｉ ｏｎＤｅｅｐＬｅａｒｎｉｎｇ模型进彳了了 显著性检验的， Ｗｉｋｉ ＱＡ数据集是针对ＣｏｍｐＣｌ ｉｐ＋ＬＭ＋ＬＣ模型进行了显著性检验的． 从表可以看出， 相较于表中的对比模型， 本文模型的多项指标都有显著性提尚．根据表８、表９ 和表１０ 中的结果， 从对问题和答案的编码方式来看， 可以发现Ｂａｇｏｆ Ｗｏｒｄ模型远不如采用深度学习的编码方式， 这是由于Ｂａｇ ｏｆＷｏｒｄ模型单纯地从词的角度分析， 未考虑文本的内容特征和其他关联特征． 从注意力的增加来看，添加了注意力机制的模型效果要明显优于不添加注意力机制模型的效果， 这是由于注意力机制加强了问题和答案的交互能力； 从注意力机制的添加方式来看， 采用ｓｅｌｆａｔｔｅｎｔｉ ｏｎ 或者ｍｕｌｔｉ ｈｅａｄｓｅｌｆａｔｔｅｎｔｉ ｏｎ的模型（ Ｍｕｌ ｔｉ ｈｏｐＳｅｑｕｅｎｔｉａｌ ＬＳＴＴＭ、ＴｒａｎｓｆｏｒｍｅｒｗｉｔｈＨａｒｄＮｅｇａｔｉ ｖｅｓ模型） 效果也要优于其他注意力添加方式； 另外， 基于ＢＥＲＴ的模型（ＢＥＲＴＡｔｔｅｎｔｉ ｏｎ、ＨＡＳ） ， 相较于以往的模型， 取得了最佳的效果．在ＩｎｓｕｒａｎｃｅＱＡ数据集中， 相比于以往单个维度注意力的添加， 本文ＭＳＡＡＳｗｉ ｔｈＳＩＫＩ 模型分阶段地融合了语义信息和问题关键信息两个维度的注意力， 取得了最好的效果， 证明了本文模型的有效性． 具体来说， 除了基于ＢＥＲＴ的模型， 本文的５０２ 计導机攀报： ＿１苹ＳＡＡＳｗｉｔｈＫＩＳＴ模型就表现出了明显的优势， 说明本文问题的语义傦息和间題关键倩息的信息谓强是有效果的； 在进一步将问题关键信息和问题语义偉息分阶段地进行倭． 息增强以Ｊｔ，ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ場型的性能也超过了基于ＢＥＲＴ的模型，．表现出了最优的性能， 说明了：■本文构建调分阶段的信息增强方式是有效的？在ＴＫＥＣ－ＱＡ数据集中＊ 本文提出的ＭＳＡＡＳｗｉ ｔｈＫＰ．ＳＩ （上ｅ：ａｄ＋ｔ： ｙｐｅ： ３＿＿隹ＭＲＲ猜标上取得的结果明显好于其他揍型， 在ＭＡＰ指标上虽然浼有达到最优， 但也维持在比较． 高的性能． 同时， 在添加多阶段的往意力机制以后， 本文ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ 模型的性能都是有所提升的． 也说明＇了本文多阶段提型的有数性？对乎ＭＡＰ指标稍微偏低的原＇因可能是由ｆ在ＴＲＥＣＱＡ数据棠中＇， 有少■量拘麵输疋确＃案个数比较多（ 在训＿亀１ 搶備魏和测试集上， 量多的一个何题的正确答案个数分别为和均个数海和４．本文模型；在迸行分阶段筛选时， 若正确答案的个数超过了筛选的数１， 将有部分正确答案不能筛选到， 则在计算ＭＡＰ指标时作为较低的＃分处理＊ 队而导致ｍａｐ指标中的正确答案的平均得分普遍偏低．在Ｗｉ ｋｉ ＱＡ数■＿中， 本文的Ｍ￥ＡＡＳｗｉｔｈＫＩ－ｓｒ（： ｈｅｉｉｄ＋ｔｙｐｅ）模盧的性能蛊不如基于ＢＥＲＴ的ＨＡＥＲＡｔｔｅｎｔｉ ｏｎ和 梟也观羅身于其他擦型， 也说明了本文樓型时有效牲． 对于本文模型性能不如文献［２７］的两个模型的性能， 我们通过分析发现， 由于Ｗｉ ｋｉ ＱＡ数据集的何句采用Ｂｉｎｇ的搜素Ｈ志构＿＊相较于ＩｎｓｕｒａｎｃｅＱＡ数磨參和ＴＲＥＣ－ＱＡ数据集而；言， 显得更加的随意， 其封法结构和语义结构也不够完＃，由于ＢＥＲＴ樓型采用了大规模语料进行预训练， 对于＃正式语有的编码能力要比本文模型強， ＃致本文模型对于问题的编码不如基于ＢＥＲＴ的模： 遒效果好， 从而在： 最终结果上要稍差一些．４．４． １ 间题语义和关键信息注意力性能分析为了验证本文模型中问题语＾配意力和问题关；键信息注意力的引人对模型的性能的影响， 本文在三个数据葉上分别设量了六组对照实璩， 分别是丄１节靱述的基础瘵型（ＡＳ）、 只采用问蓮关键信息对候选答案进行第一阶段注意力增强选出梟隹答案Ｗ＿（ＳＡＡＳｗｉｔｈＫＩ） ＇．只茱甩问廳义侥息对候选答案进行第一阶段注意？力增强选出最佳答案的模讓ｆＳＡＡＳ福１ＳＤ和ＭＳＡＡＳ软ｉｔｈＫｌｒＳｌ模麵？ 其中， ＳＡＡＳｗｉｔｈＫＩ模：塑包括ＳＡＡＳｗｉｔｌｉＫＫｔ）、ＳＡＡＳｗｉ ｔｈＫＩ（；ｈ） ＳｌＳＡＡＳｗｉｔｈ应问題的关键？倩息单独采用问题类型、单独使用问题中心词以及同时采用问题． 类塵． 和中心词进行关键信息增强的模ＳＬ 具体的实验结果姐圈１０、 图１１ 和爾１２所：示．７９７８７７７６７５７４７３７２７１７０－Ｔ１ｍＩ＿缝讀１ｓＩ□ＡＳｓＳＡ／０ＳＡ＾ｓＳＡｉ□ＭＳｉｔｌｄｗｗｗｗ：ＩｔｈｔｈｔｈｔｈｗｉｎｐＫＩＫＩＫＩＳＩｔｈｌ！—１＞ｋｈ）－ＳＩｖａｌｔｅｓｔｌｔｅｓｔ２图１１Ｉｊｉｓｃａｓｔｉｉ ａＱＡ问题爾叉和襄＿■■屬３意为性ｆＳＳｆ比ｊｉｔ，１１ＴＲＳ２ ＱＡ｜ｆ邏谮置賴桑職霜息■蠢为牲能对康國从画１０、 圏１１＿圏１２ 可以■出 雜于三个数据集崔基础檬型上单独滚加问題？义信息和问题关键鲁息的注拿力对候选答案进行翁息增强， 相较于基础模型都有不同程度的性能提．升， 间． 题裔义信息的Ｉｔ意力信息增强性能提升的程度蘩大何题关俸息； 针对问题关键倩息， 添加问题平心词注賞力对性能的提升优于问题类型注意力； 词时， 在第一阶庚添加阿題关键？倩息的基础上， 在第二阶段再次添加寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ５０３ ３ 期问题语Ｘ信息＞性能也有一定程度的提升． 这说明本文所构建的问題语义倩息和问题关键償息均对模盤性能的提升犛有帮助的．另外， 单独对比间龜类型、 问： 题中心词、 Ｋ題语义三种注意力对橼谨性能的影响（见模＿ＳＡＡＳｔｓ＇ｉｔｈＫＩ （ｔ ）ｊＳＡＡＳｗｉｔｈＫＩ（ ｈ）？ ＳＡＡＳｗｉｔｈＳＩ效果）， 可以发现， 单独添加问题语义柱意力对模型效果的提升？巖为明Ｓ， 可能是问题的语义信息在一定： 程度上也包贪了问题类遨信息和问题的中心Ｍｆ息以茂一些其他ｆ息 这也是在我们多盼段的樓型中将语义信息添加在第二阶段的原因之￣４．４．２ 问题语义和关键儀息注意力可视化分析为了惠清楚地说明本文问題语义價息和关键信息－对午模型性能的影响， 我们从数据集： 中选取了一些问癍和＇其候速答案， 输出了其各个爾语在各个阶段的权重表示＊并进行了可视化分析， 如在：ＩｎＳｕｒａｎｃｅＱＡ数德： 集中， 谢于问， 顯：“Ｗｈｅｎｂｅｔｈｅｆｉ ｒｓｔＬｉｆ＃Ｉｎｓｗ坪ｎｅｅｐｏｌ ｉ ＜ｊｙｉ ｆｔ抑．ｆ？＇Ｖ首先进行第一阶段信息增强？ 该问题为时间类型的问句》 抽取出的中轉乘＇费为《ｆｉｒｓｔ， ＬｉｆｅＩｎｓｕｒａｎｅｆｔｐｏｌ ｉ ｃｙ＃ｉ ｓｓｘｔｓｌ１， 其最隹答案与排名第一和任一其他的非最桂輕案的语义表示． 在经过向题关键信息注意力増强后的谙义表示可视化为图■ＩＩ、 ５Ｔ１４和圈１５．ｔｈｅ ｏ ｌｄ ｌｉ ｆｅＩ ｎｓｕ ｒａ ｎｃｅｔｈｅ ｒｅｓ ａｌ ｔ ｅｒｓｕｒ ｖｉｖ ｅｅ ｖｉ ｄｅ ｎｃｅＩ ｎ Ｌｏ ｎｄ ｏｎＭｒ． Ｇｙｂｂｏｎｂ ｅｙｅａ ｒ ｐｏｌ ｉ ｃｙｆ ｒｏｍａｌ ｄ ｅｒ ｍａｎＲｉ ｃ ｈａｒｄＭａ ｒ ｔｉ ｎ ａｎｄｐａｓ ｓｐａｙ ｂｕｔａｆｔｅｒｓｏｍｅｌｅｇａｌ ｗｒ ａｎｇ ｌｅＭａ ｒ ｔｉｎｗｉｎｂｅｆｏｒ ｅｔｈ ｅｔａｋｅ ｏｕ ｔ ｏｎ Ｗｉ ｌ ｌ ｉ ａｍＧｙｂｂｏ ｎ ｏｎ］Ｕｎ ｅ ８｜ｆｏ ｒ ｔ ｈ ｅ ｃ ｉｔｙ ｏｆＬｏｎ ｄｏｎｈ ｅ ｂｕｙａｅ ｎｄｏ ｆ ｔｈｅｙｅａｒａｔｆ ｉ ｒｓｔｔｈ ｅ ｃｏｍｐａ ｎｙ图１３ 最佳候选答案添加问题关键信息的语义表示可视化ｌ ｉｆｅｉｎｓｕ ｒａｎ ｃｅｇｏＩｎｔｏｙｏｕｐｕｒｃｈａｓ ｅａｎ ｏｖｅ ｒｙ ｑｕｉｃｋ ｌｙ ａｓｓｏ ｏｎａｎｄｍｅｄｉｃａｌ ｒｅ ｃｏｒｄｉｔｅｆｆｅｃｔｅｆ ｆｅｃｔ ａｆｔｅｒｔｈｅ ｆ ｉｒｓｔｐｒｅｍｉｕｍｈａｖｅｂｅｐａｙ ａｎｄｔ ｈｅ ｄｅｌ ｉｖｅ ｒｙｒｅｑｕｉｒｅ ｍｅ ｎｔ ｈａｖｅ ｂｅ ｓｉ ｇｎｉｆｅｘ ａｍｐｏｌｉｃｙ ｔ ｈｅｃｏｍｐａ ｎｙｍａｙｄｒａｆ ｔ ｔｈｅｆｉｒｓｔ ｐｒｅｍｉｕｍａ ｎｄｔｈｅｐｏｌ ｉｃｙｍａｙｇｏＩｎ ｔ ｏｅｆｆｅｃｔａ ｓａｄａｙｏｒ２ａｆｔｅｒａｐ ｐｌ ｙＩ ｆｙｏｕａｐｐ ｌ ｙｆｏｒａｐｏｌ ｉｃｙ ｔ ｈａｔ ｒｅｑｕｉｒｅ ｅ ｘａｍｃａｎｔ ａｋｅａ ｓｌｏｎｇａ ｓ６ｍｏ ｎｔｈ ｔｈｅｐｒ ｏｃｅｓｓｂｅｃｏｍｐ ｌｅｔ ｅａ ｎｄｔ ｈｅ ｐｏｌｉｃｙ ｇｏｉｎｔ ｏ图１４ 排名第一的非最佳候选答案添加问题关键信息的语义表示可视化ｄｉ ｓａ ｂｉ ｌ ｉ ｔｙｃ ｌａ ｉ ｍｂ ｅｉ ｎｖ ｅｓｔｉｇａｔｅ ｔ ｈ ｏｒｏｕｇｈｌｙ ｆｏｒｌ ｅｇｉｔｉ ｍａｃｙ ｏｒｆｒ ａｕ ｄｐｒ ｉ ｏｒｓ ｉ ｃｋｎｅｓｓｏｒｉ ｎｊｕｒｙ ｎｏｔｄｉ ｓｃ ｌ ｏｓｅ ｃａ ｎｊｅｏｐａｒ ｄ ｉ ｚｅｙｏｕ ｒｃｌ ａｉ ｍｅｖｅ ｎｃｏｎ ｓｔｉｔｕ ｔ ｅｏ ｕｔ ｒｉｇｈ ｔｆｒａｕｄｈｏ ｗｅｖ ｅｒｉｆｙｏｕ ｒｃｌ ａｉ ｍｂｅ ｌ ｅｇｉｔｉ ｍａｔｅ ｍｏｓｔ ｏｆｔ ｈｅｄ ｉ ｓａｂｉ ｌ ｉｔｙｃｏｍｐａ ｎｙ ｉ ｎ ｔ ｈｅｍａ ｒ ｋｅｔ ｐａｙｃ ｌａｉ ｍａｆｔｅｒｔｈｅｐａｐｅｒ ｗｏｒ ｋａｎ ｄｄｉ ｓ ｃｏｖｅ ｒｙｐｅ ｒ ｉ ｏ ｄｂｅｏｖｅｒ＿ＩＳ 襲他＃翁｜｜＊爾答爾添難闻＿＿１１， ： 的语＿參可餐化其中？ 最隹答案、排名第一的非最隹答案和任一其他非璩隹答案与阿题的柑似虔得分分别为１４ＥＳＳ、０？／３：＿３ 和一１２ＳＭ．． 我们甸以食现． 廉倫翁：讀直接对问题所对应的产生时间及＃景进行了阐述； 而排名第一的非最隹答案ａ然提到了时间倩息，但在语义方面，讲述的是保险生效时间＊ 与何题语义不符．同时我们还可以发现＊ 对于最佳候选答案， 在： 真语叉纖ＳＫ中１“ Ｊｕｎｅ１８ ， １５８ ３”、“１ｙｅａｒ”、＊＊ｅｎｄ”、“ｂｅｆｏｆ ＾等与財同相关的词语和，？ ｌ ｉｆｅ’Ｖ＊ ｉ ｎｓｕｒａｎｃ＃、“ｐｏｌｉｃｙ“等与问题中心词语柑关的词１吾的权重爵弭显高ｆ５其他■语的权重？菌对于泰最隹答案？ 其枚： 篥分布相对比较分散，说明了添加问題的关键信息》对以让候． 选答案中与问题关键信息相关的词语权童加大， 蜜容易捕获候选答案中的关键情息． ， 从而建立候选餐案Ｊｆ间题的联系， 证明了本文问题关键信息注倉：力的：：有鱗接着． 在第一阶段关键信息增强的基础上进行第二阶段的信息增强ｒ将？添加了问题语义信息的结果进 可视化， 其鑛＾果如屬 画１７ 和画１６ 所：亦．ｆｏｐｗｈｉ ｃｈ ｔ ｈｅｒｅ如ｓｕｒｖｉｖｅｅｖｉｄｅｎ ｃｅｂｅｔａｋ ｅｏｕｔ ｏｎＷｉｌｌ ｉ ａｍＧｙｂｂｏｎｏｎ ｊｕｎｅ１ ８１ ５８３ｉ ｎ Ｌｏｎｄｏｎ Ｍｒ． Ｇｙｂｂｏｎｂ ｅａ ｓａｌ ｔ ｅｒｏｆｆｉｓ ｈａｒ ｒｄｍｅａｔ ｆｏｒｔ ｈｅｄｔｙ ｏｆＬｏｎｄｏｎｈｅｂｕｙａ１ｙｅａｒ ｐｏｌ ｉ ｃｙｆｒｏｍａｌ ｄｅｒｍａｎＲｉ ｃｈａｒ ｄＭａｒｔ ｉ ｎａｎｄｐａｓｓａｗａｙｂｅｆ ｏｒｅｔ ｈ ｅｅｎｄｏｆｔ ｈｅｙｅａｒａｌ ｆｉ ｒｓｔ ｔ ｈｅｃｏｍｐａｎｙｒｅｆｕｓｅｐａｙ ｂｕｔａｆ ｔｅｒ ｓｏｍｅｌ ｅｇａｌ ｗｒａｎｇｌｅＭａｒｔｉ ｎｗｉ ｎ图１６ 最佳候选答案添加问题语义信息的语义表示可视化５０４ 计 算机 学 报 ２０２１年图１７ 排名第一的非最佳候选答案添加问题语义信息的语义表示可视化ｄｉｓａｂｉ ｌ ｉｔ ｙｃｌａｉ ｍｂｅＩｎｖｅｓｔ ｉ ｇａｔｅｔｈｏｒｏｕｇｈｌ ｙ（ｏｒｌ ｅｇｉ ｔ ｉｍａｃｙｏｒ ｆｒａｕ ｄｐｒｉｏｒｓｉｃｋｎｅｓｓ ｏｒＩｎｊｕｒｙ ｎｏｔｃｏｎ ｓｔ ｉ ｔ ｕｔ ｅｏｕｔ ｒｉｇｈｔ ｆ ｒａｕｄｈｏｗｅｖｅｒｉ ｆｙｏｕ ｒｃｌ ａｉｍｂｅｌ ｅｇｉｔ ｉ ｍａｔ ｅｍｏｓｔ ｏｆ ｔ ｈｅｄｉ ｓａｂｉｌ ｉ ｔｙａｆ ｔｅｒｔ ｈｅｐａｐｅｒ ｗｏｒｋａｎ ｄｄｉ ｓｃｏｖｅｒｙｐｅｒ ｉ ｏｄｂｅｏｖｅｒｄｉｓｃｌ ｏｓｅｃａｎｃｏｍｐａｎｙｔｎｊｅｏｐａｒｄｉｚｅｙｏｕｒＩ ｈｅｃ ｌ ａｉｍｅｖｅｎ＿１８； 霧雜孝翁 爾答爾添難问眞—夂１１＿语＿齡可视化其中，Ｍ隹笞案、排名隼一的非最佳笞案和任一其他非最佳答案与何题的相似度得分分别为０． ？１３、０．２Ｍ４ 和一０．００奵． 对于最■候逸：答棄，在其涪义表示中． 与随题〗吾义相关． 的诃嵌或者句子的輕：重要明爲高于其他词语的权重， 如首句“ｔｈｅｏｌｄｌ ｉｆｅｉ ｎｓｕｒａｎｔ＊ｐｏｌｉｃｙｆｏｒ…丨 对；宁：雜餐筆一■的非最律罄寒， 其主要权童也集： 中在与问题语义相关的开头，ｉｎｓｕｒａｎｃｅｇｏｉ ｎｔｏｅｆｆｔｅｔａｆｔｔｒｔｈｅｆｉｒｓｆｉ ？ ？ ？＂； Ｍ对于图１８ 中的非最佳答案？ 其权重的分布相对比较分散， 虽然也有一些词裔校重较高， 但是也都不＇是＿常明Ｍ， 且与问題的语夂关联性不是太高？进一步证明了苹文问题窜夂信息注意力的有效性．４． ４．３ 多阶段租意力引人性能分析为了验证模型将问题语义注篇力和关键信息注意力分多个阶段引人对模型性能的影响冰文在三个数据集４；设置Ｔ六组对藤实验》 分别是ｓ．１ 叙述的基础模 ＡＳ）ｓＳＡＡＳｗｉｔｈＫＩＳＩ、第一、 二阶段分射采用问题语义信息和问题关键信息进行注意力增强选出． 最穩馨■的＇模８ＫＭＳＡＡＳＶｒｔｈＳＩ ＫＩ：）．ｔｌＭＳＡＡＳｗｉｔｈＩ＜Ｉ－ＳＩ：：模塑＊其中， ＭＳＡＡＳｗｉｔｈＳＩ－ＫＩ模靈：同－样包括ＭＳＡＡＳｗｉｔｈＳＩ－ＫＩ （ ｔ） 、 ＭＳＡＡＳ软ｉｔｈＳＫＫＩ（ｈ）和ＭＳＡＡＳｗｉｔｈＳＩ－ＫＩＣｆ＆ｈ）， 分别对處舞蘿的关候醫息采用何巍类型ｓ 时癍中心Ｍ、同时采用问Ｍ类盡和中心爾？ 实雜猶系如爵１９＇、商節和幫２１ 所示厲．２０ＴＲＥｅ－Ｑ：Ａ多翁段注霉 性能对國Ｂ２１Ｗｉ ｋｉ ＱＡ载脾段洼翥：力引入性能对此图从雇１§、經２〇 和經ｎ可以詹．出 在三个数据集上相比于＃闻一阶段加人多种注意力（ＳＡＡＳｗｉｔｈＳＩＫＩ｝ 以及交换问题毎义注意力和问题关键信息注意力的添加顺序ＸＭＳＡＡＳｗｉ ｔｈＳＩ ＫＩ） ， 本文的ＭＳＡＡＳｗｉｔｈＫＩ－ＳＩ 標型性能均迭． 到了纛优效果，说明了本文■出的分阶段注意力的方法的有效／ｆｔ＊苹文的多阶段法意力机制踉人在做笞案选择任务时的思维方式是相似的， 当人在做笞案选取任务时，一般籴说会首先阅读■间題， 然后以问题中的一些关键信息． 对候选答案迸行初步地筛选邊着， 以问题中猶详细倩息与迦步筛： 选： 出来： 的答累进行进一步地对比， 从而选出最隹答案． 人类以关键．息进行初步筛途的过輕＿可以看砟是ＭＳＡＡＳ＇ｗｉｔｈＫＩ－ＳＩ：镇型张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ５０５３ 期第一阶段以问题关键信息进行信息增强筛选答案的过程； 人类以问题中的详细信息进行进一步对比的过程就可以看作是ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ 模型第二阶段以问题语义信息进行信息增强筛选答案的过程， 因此本文的模型与人进行该任务的步骤是大致吻合．５ 总 结本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型， 分阶段地将问题的语义信息和关键信息通过注意力机制的方式对候选答案的语义表示进行信息增强， 加强了对候选答案中与问题相关的信息的建模能力， 增强了模型对候选答案关键信息的捕获能力， 从而有效提升了答案选取任务的性能； 同时， 在模型的训练过程中， 对于负样本的选取， 实时选取出最佳答案以外的最优答案作为负样本， 以对模型进行优化， 增强了模型的学习能力．通过在ＩｎｓｕｒａｎｃｅＱＡ、ＴＴＲＥＣＱＡ和Ｗｉ ｋｉ ＱＡ数据集上的相关实验， 本文的模型都表现出优越的性能，并在不使用大规模辅助语料的基础上， 在多个指标中超过了已知最好的同类模型．不过， 在以上的研究过程中， 我们主要集中在英文数据集上， 在未来的工作中我们将尝试对中文语料进行处理， 验证该模型是否具有普适性； 同时， 答案选取任务在具体的使用过程中与搜索引擎类似，一般需要进行实时在线计算， 对模型的时间性能要求较高， 在后续的工作中， 我们也将进一步优化模型的执行效率； 另外， 本文所提模型在最优答案较少的数据集（如ＩｎｓｕｒａｎｃｅＱＡ） 上的效果要明显好于有多个答案的数据集， 同时也表现在ＴＲＥＣＱＡ和ＷＵｎＱＡ数据集上的ＭＡＰ性能略低， 这也是我们后期对答案选择模型进一步优化的研究重点． 另外， 随着ＥＬＭ〇、Ｂｅｒｔ、ＧＰＴ等预训练模型的兴起和迁移学习技术的发展， 大规模预训练＋微调的方式正在成为一种新的思路［ ＾４］， 因此在后续的研究中，如何利用大规模数据来提升答案选取任务的效果将是我们的重点研究方向．参 考 文 献［１］ＺｈａｏＹｉ Ｐｉｎｇ． Ｃｏｍｐａｒａｔ ｉｖｅＳｔ ｕｄｙｏｎＣｏｍｍｏｎａｎｄＳｅｍａｎｔｉ ｃＳｅａｒｃｈＥｎｇｉｎｅｓ［Ｍ． Ｓ． ｄｉｓｓｅｒｔ ａｔｉｏｎ］． ＪｉｌｉｎＵｎｉｖｅｒｓｉｔｙ？Ｃｈａｎｇｃｈｕｎ，２００ ９（ ｉ ｎＣｈｉ ｎｅｓｅ）（ 赵夷平． 传统搜索引擎与语义搜索引擎比较研究［硕士学位［２］ＨｅｉｌｍａｎＭ，ＳｍｉｔｈＮＡ． Ｔｒｅｅｅｄｉｔ ｍｏｄｅｌ ｓｆ ｏｒｒｅｃｏｇｎｉｚｉｎｇｔｅｘｔ ｕａｌｅｎｔａｉｌｍｅｎｔｓ ？ｐａｒａｐｈｒａｓｅｓ？ ａｎｄａｎｓｗｅｒｓｔｏｑｕｅｓｔ ｉｏｎｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＨｕｍａｎＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ： Ｔｈｅ２０ １０ＡｎｎｕａｌＣｏｎｆ ｅｒｅｎｃｅｏｆｔ ｈｅＮｏｒｔ ｈＡｍｅｒｉｃａｎＣｈａｐｔ ｅｒｏｆｔｈｅＡｓｓｏｃｉ ａｔ ｉｏｎｆｏｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔｉ ｃｓ． ＬｏｓＡｎｇｅｌｅｓ？ＵＳＡ， ２０１０； １０１１ １０１９［３］ＳｕｒｄｅａｎｕＭ， Ｃｉａｒａｍｉｔ ａＭ， ＺａｒａｇｏｚａＩ Ｉ ． ＬｅａｒｎｉｎｇｔｏｒａｎｋａｎｓｗｅｒｓｔｏｎｏｎｆａｃｔｏｉｄｑｕｅｓｔｉｏｎｓｆｒｏｍＷｅｂｃｏｌｌｅｃｔ ｉｏｎｓ．Ｃｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ，２ ０１２，３７（２） ： ３５ １ ３８３［４］ＹｉｈＷＴ， ＣｈａｎｇＭＷ， ＭｅｅｋＣ， ｅｔａｌ． Ｑｕｅｓｔ ｉｏｎａｎｓｗｅｒｉｎｇｕｓｉｎｇｅｎｈａｎｃｅｄｌｅｘｉｃａｌｓｅｍａｎｔ ｉｃｍｏｄｅｌ ｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ５１ｓｔＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆ ｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉ ｎｇｕｉｓｔ ｉｃｓ． Ｓｏｆ ｉａ ，Ｂｕｌｇａｒｉａ ，２０ １３ ： １７４４ １７５３［５］ＴｙｍｏｓｈｅｎｋｏＫ， Ｍｏｓｃｈｉｔ ｔ ｉＡ． Ａｓｓｅｓｓｉｎｇｔｈｅｉｍｐａｃｔ ｏｆｓｙｎｔ ａｃｔ ｉｃａｎｄ ｓｅｍａｎｔｉ ｃ ｓｔｒｕｃｔ ｕｒｅｓ ｆｏｒ ａｎｓｗｅｒ ｐａｓｓａｇｅｓｒｅｒａｎｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ２ ４ｔ ｈＡＣＭＩ ｎｔ ｅｒｎａｔｉｏｎａｌｏｎＣｏｎｆ ｅｒｅｎｃｅｏｎＩｎｆ ｏｒｍａｔ ｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＭａｎａｇｅｍｅｎｔ ． Ｍｅｌｂｏｕｒｎｅ，Ａｕｓｔ ｒａｌｉａ，２０１５： １４５ １ １４６０［６］ＦｅｎｇＭ？ＸｉａｎｇＢ？ ＧｌａｓｓＭＲ？ｅｔａｌ． Ａｐｐｌｙｉｎｇｄｅｅｐｌｅａｒｎｉｎｇｔｏａｎｓｗｅｒｓｅｌｅｃｔ ｉｏｎ： Ａｓｔ ｕｄｙａｎｄａｎｏｐｅｎｔ ａｓｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ２０ １５ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＡｕｔｏｍａｔｉｃＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎａｎｄＵｎｄｅｒｓｔ ａｎｄｉ ｎｇ． Ｓｃｏｔ ｔｓｄａｌｅ， ＵＳＡ，２０１６： ８１３ ８２０［７］ＧｕｏＪ？ＹｕｅＢ， ＸｕＧ？ ｅｔａｌ． Ａｎｅｎｈａｎｃｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔ ｗｏｒｋｍｏｄｅｌｆ ｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅ２６ｔｈＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｏｒｌｄＷｉｄｅＷｅｂＣｏｍｐａｎｉｏｎ． Ｐｅｒｔｈ，Ａｕｓｔ ｒａｌｉ ａ， ２０１７； ７８９７９０［８］ＴａｎＭ， ＳａｎｔｏｓＣＤ， ＸｉａｎｇＢ，ｅｔ ａｌ． Ｉ ｍｐｒｏｖｅｄｒｅｐｒｅｓｅｎｔ ａｔｉｏｎｌｅａｒｎｉｎｇｆｏｒｑｕｅｓｔ ｉｏｎａｎｓｗｅｒｍａｔ ｃｈｉ ｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５４ｔｈＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆ ｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ，２０１６： ４６４ ４７３［９］ＤｅｎｉｌＭ？ＢａｚｚａｎｉＬ？ＬａｒｏｃｈｅｌｌｅＩ Ｉ，ｅｔａｌ． Ｌｅａｒｎｉｎｇｗｈｅｒｅｔｏａｔ ｔｅｎｄｗｉｔ ｈｄｅｅｐａｒｃｈｉｔｅｃｔｕｒｅｓｆ ｏｒｉｍａｇｅｔｒａｃｋｉｎｇ． ＮｅｕｒａｌＣｏｍｐｕｔ ａｔ ｉｏｎ， ２０１１ ， ２４ （ ８）： ２１５１ ２ １８４［１０］ＢａｈｄａｎａｕＤ？ＣｈｏＫ？ ＢｅｎｇｉｏＹ． Ｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｂｙｊｏ ｉｎｔ ｌｙｌｅａｒｎｉｎｇｔ ｏａｌｉｇｎａｎｄｔｒａｎｓｌａｔｅ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１４０９． ０４７３ ，２０１４［１１］Ｂｒｉ ｔｚＤ？Ｇｏｌ ｄｉ ｅＡ， ＬｕｏｎｇＭＴ？ｅｔ ａｌ． Ｍａｓｓｉｖｅｅｘｐｌｏｒａｔ ｉｏｎ ｏｆｎｅｕｒａｌｍａｃｈｉｎｅｔ ｒａｎｓｌａｔ ｉｏ ｎａｒｃｈｉｔ ｅｃｔ ｕｒｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔ ｈｅ２０ １７Ｃｏｎｆ ｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔ ｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ，２０１７： １４ ４２ １４５１［１２］ＴａｎｇＧ， ＭｕｌｌｅｒＭ，ＲｉｏｓＡ， ｅｔａｌ． Ｗｈｙｓｅｌｆ ａｔｔ ｅｎｔ ｉｏｎ？ ： Ａｔａｒｇｅｔｅｄｅｖａｌｕａｔ ｉｏｎｏｆ ｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎａｒｃｈｉｔｅｃｔ ｕｒｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ ？ Ｂｅｌｇｉｕｍ， ２０１８：４２ ６３ ４２７２［１３］ＣｈｅｎｇＪ ？ＤｏｎｇＬ， Ｌａｐａｔ ａＭ． ＬｏｎｇＳｈｏｒｔ ＴｅｒｍＭｅｍｏｒｙＮｅｔ ｗｏｒｋｓｆ ｏｒＭａｃｈｉｎｅＲｅａｄｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１６ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉ ｃａｌＭｅｔ ｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ａｕｓｔ ｉｎ， ＵＳＡ， ２０１６： ５５１ ５６１［１４］ＶａｓｗａｎｉＡ， ＳｈａｚｅｅｒＮ？ ＰａｒｍａｒＮ？ｅｔ ａｌ． Ａｔ ｔ ｅｎｔｉｏｎｉｓａｌｌｙｏｕｎｅｅｄ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬｏｓＡｎｇｅｌｅｓ， ＵＳＡ， ２０１７； ５ ９９８ ６００８ 论文］． 吉林大学， 长春， ２００９）５０６ 计 算机 学 报 ２０２１年［１５］ｌ ｉｅＸ， ＨｅＺ，ＳｏｎｇＪ，ｅｔａｌ． ＮＡＩＳ： Ｎｅｕｒａｌａｔｔｅｎｔｉｖｅｉｔｅｍｓｉｍｉｌａｒｉｔｙｍｏｄｅｌｆｏｒｒｅｃｏｍｍｅｎｄａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＫｎｏｗｌｅｄｇｅａｎｄＤａｔａＥｎｇｉｎｅｅｒｉｎｇ，２０１８ ，３０（１２）： ２３５４－２３ ６６［１６］ＹｕＳ，ＷａｎｇＹ，ＹａｎｇＭ，ｅｔａｌ． ＮＡＩＲＳ： Ａｎｅｕｒａｌａｔｔｅｎｔｉｖｅｉｎｔｅｒｐｒｅｔａｂｌ ｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１２ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｅｂＳｅａｒｃｈａｎｄＤａｔａＭｉｎｉｎｇ． Ｍｅｌｂｏｕｒｎｅ ，Ａｕｓｔｒａｌｉａ，２０１９：７９０－７９３［１７］ＢａｃｈｒａｃｈＹ，Ｚｕｋｏｖｇｒｅｇｏｒｉ ｃＡ，ＣｏｏｐｅＳ，ｅｔａｌ ．Ａｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｆｏｒｎｅｕｒａｌａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｕｓｉｎｇａｃｏｍｂｉｎｅｄｇｌｏｂａｌａｎｄｌｏｃａｌｖｉｅｗ／ ／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０ １７ＩＥＥＥ２ ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＴｏｏｌｓｗｉｔｈＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．Ｂｏｓｔｏｎ，ＵＳＡ，２０１７ ：４２５－４３２［１８］ＸｕＤ，ＪｉＪ， ＨｕａｎｇＩ Ｉ，ｅｔａｌ．Ｇａｔｅｄｇｒｏｕｐｓｅｌｆ－ａｔｔｅｎｔｉｏｎｆｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１９０５． １０７２０，２０１９［１９］ＣｈｅｎＤ，ＦｉｓｃｈＡ，ＷｅｓｔｏｎＪ ，ｅｔａｌ ． ＲｅａｄｉｎｇＷｉ ｋｉｐｅｄｉａｔｏａｎｓｗｅｒｏｐｅｎ－ｄｏｍａｉ ｎｑｕｅｓｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５５ ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉ ｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ ，２０１７ ： １８７０－１８７９［２０］Ｉ ｌａｏＹ， ＺｈａｎｇＹ，Ｌｉ ｕＫ，ｅｔａｌ． Ａｎｅｎｄ－ｔｏ－ｅｎｄｍｏｄｅｌｆｏｒｑｕｅｓｔｉｏｎａｎｓｗｅｒｉ ｎｇｏｖｅｒｋｎｏｗｌｅｄｇｅｂａｓｅｗｉｔｈｃｒｏｓｓ－ａｔｔｅｎｔｉｏｎｃｏｍｂｉｎｉｎｇｇｌｏｂａｌｋｎｏｗｌｅｄｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５５ ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ ，２０１７： ２２１－２ ３１［２１］ＨｕａｎｇＺ，ＴｈｉｎｔＭ，ＱｉｎＺ．Ｑｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇｈｅａｄｗｏｒｄｓａｎｄｔｈｅｉ ｒｈｙｐｅｒｎｙｍｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０ ０８ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｈｏｎｏｌ ｕｌｕ，ＵＳＡ，２００８ ：９２７－９３６［２２］ＬｉＸ， ＲｏｔｈＤ． Ｌｅａｒｎｉｎｇｑｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｅｒｓ：Ｔｈｅｒｏｌｅｏｆｓｅｍａｎｔｉ ｃｉｎｆｏｒｍａｔｉｏｎ．ＮａｔｕｒａｌＬａｎｇｕａｇｅＥｎｇｉ ｎｅｅｒｉｎｇ，２００６，１２（３）：２２９－２４９［２３］ＷａｎｇＭ，ＳｍｉｔｈＮＡ， ＭｉｔａｍｕｒａＴ． Ｗｈａｔｉ ｓｔｈｅＪｅｏｐａｒｄｙｍｏｄｅｌ？Ａｑｕａｓｉ－ｓｙｎｃｈｒｏｎｏｕｓｇｒａｍｍａｒｆｏｒＱＡ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００７Ｊｏｉ ｎｔＣｏｎｆｅｒｅｎｃｅｏｎ ＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉ ｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇａｎｄＣｏｍｐｕｔａｔｉｏｎａｌＮａｔｕｒａｌＬａｎｇｕａｇｅＬｅａｒｎｉｎｇ． Ｐｒａｇｕｅ，ＣｚｅｃｈＲｅｐｕｂｌｉｃ，２００７ ：２２－３２［２４］ＷａｎｇＢ， ＬｉｕＫ，ＺｈａｏＪ． Ｉｎｎｅｒａｔｔｅｎｔｉｏｎｂａｓｅｄｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒａｎｓｗｅｒｓｅｌ ｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５４ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉ ｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ，２０１６ ：１２８８－１２９７［２５］ＴｒａｎＮＫ，ＮｉｅｄｅｒｅｅｅＣ． Ｍｕｌｔｉｈｏｐａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｓｆｏｒｑｕｅｓｔｉｏｎａｎｓｗｅｒｍａｔｃｈｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ４１ｓｔＩｎｔｅｒｎａ？ｔｉ ｏｎａｌＡＣＭＳＩＧＩＲＣｏｎｆｅｒｅｎｃｅｏｎＲｅｓｅａｒｃｈ ａｎｄＤｅｖｅｌｏｐｍｅｎｔｉｎＩｎｆｏｒｍａｔｉ ｏｎＲｅｔｒｉｅｖａｌ． ＡｎｎＡｒｂｏｒ．Ｍｉ ｃｈｉｇａｎ，ＵＳＡ，２０１８ ： ３２５－３３４［２ ６］ＫｕｍａｒＳ，ＭｅｈｔａＫ，ＲａｓｉｗａｓｉａＮ． Ｉｍｐｒｏｖｉｎｇａｎｓｗｅｒｓｅｌｅｃｔｉｏｎａｎｄａｎｓｗｅｒｔｒｉｇｇｅｒｉｎｇｕｓｉｎｇｈａｒｄｎｅｇａｔｉｖｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０ １９ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉ ｎｇａｎｄｔｈｅ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉ ｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． ＨｏｎｇＫｏｎｇ， Ｃｈｉｎａ ，２０１９：５９１３－５９１９［２７］ＸｕＤ，ＬｉＷＪ． Ｈａｓｈｉｎｇｂａｓｅｄａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １９０５．１０７１８，２０１９［２８］ＴａｙＹ，ＴｕａｎＬＡ，Ｉ ｌｕｉＳＣ． Ｍｕｌ ｔｉ－ｃａｓｔａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｓｆｏｒｒｅｔｒｉｅｖａｌ－ｂａｓｅｄｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇａｎｄｒｅｓｐｏｎｓｅｐｒｅｄｉ ｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２４ｔｈＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ Ｋｎｏｗｌ ｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ＆－ ＤａｔａＭｉ ｎｉ ｎｇ．Ｌｏｎｄｏｎ，ＵＫ，２０１８ ：２２ ９９－２３０８［２９］ＭａｄａｂｕｓｈｉＩ ＩＴ，ＬｅｅＭ， ＢａｒｎｄｅｎＪ． Ｉｎｔｅｇｒａｔｉｎｇｑｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｄｅｅｐｌｅａｒｎｉ ｎｇｆｏｒｉｍｐｒｏｖｅｄａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２７ ｔｈＩｎｔｅｒｎａｔｉ ｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ． ＳａｎｔａＦｅ，ＵＳＡ，２０１８： ３２８３－３２９４［３０］ＹａｎｇＲ， ＺｈａｎｇＪ， ＧａｏＸ，ｅｔａｌ．Ｓｉｍｐｌｅａｎｄｅｆｆｅｃｔｉｖｅｔｅｘｔｍａｔｃｈｉｎｇｗｉｔｈｒｉｃｈｅｒａｌｉｇｎｍｅｎｔｆｅａｔｕｒｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅ５７ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｆｌｏｒｅｎｃｅ ，Ｉｔａｌｙ， ２０１９： ４６９９－４７０９［３１］Ｙｏｏｎ，Ｓ， ＤｅｒｎｏｎｃｏｕｒｔＦ，ＫｉｍＤＳ，ｅｔａｌ． Ａｃｏｍｐａｒｅ－ａｇｇｒｅｇａｔｅｍｏｄｅｌｗｉｔｈ ｌａｔｅｎｔｃｌｕｓｔｅｒｉｎｇｆｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２８ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＭａｎａｇｅｍｅｎｔ． Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ ，２０１９： ２０９３－２０ ９６［３２］ＫｏｅｈｎＰ． Ｓｔａｔｉｓｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅｔｅｓｔｓｆｏｒ ｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｅｖａｌ ｕａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００４ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｂａｒｃｅｌｏｎａ ，Ｓｐａｉｎ，２００４ ： ３８８－３９５［３３］ＧａｒｇＳ，ＶｕＴ，ＭｏｓｃｈｉｔｔｉＡ． ＴＡＮＤＡ：Ｔｒａｎｓｆｅｒａｎｄａｄａｐｔｐｒｅ－ｔｒａｉｎｅｄｔｒａｎｓｆｏｒｍｅｒｍｏｄｅｌ ｓｆｏｒａｎｓｗｅｒｓｅｎｔｅｎｃｅｓｅｌｅｃｔｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １９１１． ０４１１８，２０１９［３４］ＬａｉＴ， ＴｒａｎＱＩ Ｉ， ＢｕｉＴ，ｅｔａｌ ． Ａｇａｔｅｄｓｅｌｆ－ａｔｔｅｎｔｉｏｎｍｅｍｏｒｙｎｅｔｗｏｒｋｆｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１９ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉ ｎｇａｎｄｔｈｅ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉ ｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｉ ｌｏｎｇＫｏｎｇ，Ｃｈｉｎａ，２０１９：５９５５－５９６１ＺＨＡＮＧＹａｎｇ－Ｓｅｎ，Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｍａｊｏｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｎａｔｕｒａｌ ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄａｒｔｉｆｉｃｉａｌｉ ｎｔｅｌ ｌｉｇｅｎｃｅ．ＷＡＮＧＳｈｅｎｇ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ，ｉｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＨｉｓｍａｊｏｒｒｅｓｅａｒｃｈＷＥＩＷｅｎ－Ｊｉｅ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ． Ｈｉｓｍａｊｏｒｒｅｓｅａｒｃｈｉ ｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＰＥＮＧＹｕａｎ－Ｙｕａｎ，Ｍ．Ｓ． ， ｅｎｇｉｎｅｅｒ．Ｈｅｒｍａｊｏｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＺＨＥＮＧＪｉａ，Ｍ．Ｓ．，ｅｎｇｉｎｅｅｒ．Ｈｉｓｍａｊｏｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ５０７３ 期ＢａｃｋｇｒｏｕｎｄＴｈｅｐｒｏｂｌ ｅｍｓｓｔｕｄｉｅｄｉｎｔｈｉｓａｒｔｉｃｌ ｅａｒｅｖｅｒｙｒｅｌｅｖａｎｔｔｏｔｈｅａｕｔｏｍａｔｉｃｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇｓｙｓｔｅｍ， ｏｎｅｏｆｔｈｅｃｕｒｒｅｎｔｒｅｓｅａｒｃｈｈｏｔｓｐｏｔｓ． Ｉｎｒｅｃｅｎｔｙｅａｒｓ ， ｗｉｔｈｔｈｅｃｏｎｔｉｎｕｏｕｓｄｅｖｅｌｏｐｍｅｎｔｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｔｅｃｈｎｏｌｏｇｙ， ｖａｒｉｏｕｓａｕｔｏｍａｔｉｃｑｕｅｓｔｉ ｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍｓｈａｖｅｃｏｍｅｏｕｔｏｎｅａｆｔｅｒａｎｏｔｈｅｒ． Ｉｎｔｈｅｓｅｓｙｓｔｅｍｓ，ａｎｓｗｅｒｓｅｌｅｃｔｉ ｏｎｉｓａｋｅｙｓｔｅｐ， ｗｈｉｃｈｄｉｒｅｃｔｌｙａｆｆｅｃｔｓｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｓｅｓｙｓｔｅｍｓ．Ａｉｍｉ ｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｉ ｎａｃｃｕｒａｔｅｃａｐｔｕｒｅｏｆｋｅｙｉｎｆｏｒｍａｔｉｏｎｉｎｔｈｅａｎｓｗｅｒ， ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｍｕｌｔｉ ｓｔａｇｅａｔｔｅｎｔｉｏｎａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｍｏｄｅｌｔｈａｔｃｏｍｂｉｎｅｓｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎａｎｄｋｅｙｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｑｕｅｓｔｉｏｎ．Ｂｙｃｏｍｂｉｎｉｎｇｔｈｅｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉｏｎａｎｄｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｑｕｅｓｔｉｏｎｗｉｔｈｔｈｅｓｅｍａｎｔｉｃｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｔｈｅｃａｎｄｉｄａｔｅａｎｓｗｅｒｓｉｎｓｔａｇｅｓ，ｔｈｅｓｙｓｔｅｍｐｅｒｆｏｒｍａｎｃｅｉ ｓｉｍｐｒｏｖｅｄｅｆｆｅｃｔｉｖｅｌ ｙ． Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｃａｎｄｉｄａｔｅａｎｓｗｅｒｓａｒｅｄｉｆｆｉｃｕｌｔｔｏｓｏｒｔ， ｔｈｉｓｐａｐｅｒｒｅｆｅｒｓｔｏｔｈｅｐｒｏｃｅｓｓｏｆｈｕｍａｎｔｈｉｎｋｉｎｇ，ｐｒｏｐｏｓｅｓａｓｔｒａｔｅｇｙｏｆａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｂｙｌａｙｅｒｓ ，ｗｈｉｃｈｉ ｍｐｒｏｖｅｓｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｅｖａｌ ｕａｔｉ ｏｎｉ ｎｄｅｘｅｓｏｆａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｓｕｃｈａｓａｃｃｕｒａｃｙａｎｄｍｅａｎｒｅｃｉｐｒｏｃａｌｒａｎｋ．Ｔｈｅａｕｔｈｏｒｓａｎｄｌ ａｂｏｒａｔｏｒｙｏｆｔｈｉｓａｒｔｉｃｌ ｅｈａｖｅａｌｏｔｏｆｒｅｓｅａｒｃｈｉｎｔｈｅｆｉｅｌ ｄｏｆｎａｔｕｒａｌｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｆｏｒｅｘａｍｐｌｅ，ｔｈｅｙｈａｖｅｐｒｏｐｏｓｅｄａｓｅｍａｎｔｉｃｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎｍｏｄｅｌｉｎｔｅｘｔｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎ， ａｎｄａｒｅａｄｉ ｎｇｃｏｍｐｒｅｈｅｎｓｉｏｎｍｏｄｅｌｉｎｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉｎｇ．ＯｕｒｗｏｒｋｉｓｓｕｐｐｏｒｔｅｄｂｙｔｈｅＮａｔｉｏｎａｌ ＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉ ｎａ（ＧｒａｎｔＮｏ． ６１ ７７ ２０８１ ）．