| 融合语义信息与问题关键信息的多阶段注意力答案选取模型_张仰森 |
| 来源：一起赢论文网 日期：2021-12-11 浏览数：955 【 字体： 大 中 小 大 中 小 大 中 小 】 |
|
第４４ 卷 第３ 期２０２１ 年３ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ． ３Ｍａｒ． ２０２１融合语义信息与问题关键信息的多阶段注意力答案选取模型张仰森”王 胜”魏文杰”彭媛媛２）郑 佳２）１ ：）（北京信息科技大学智能信息处理研究所 北京 １０ ０１０１）２）（ 中国科学院软件研究所 北京 １００１９０）摘 要 自动问答系统可以帮助人们快速从海量文本中提取出有效信息， 而答案选取作为其中的关键一步， 在很大程度上影响着自动问答系统的性能． 针对现有答案选择模型中答案关键信息捕获不准确的问题， 本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型． 该方法首先利用双向ＬＳＴＭ模型分别对问题和候选答案进行语义表示； 然后采用问题的关键信息， 包括问题类型和问题中心词， 利用注意力机制对候选答案集合进行信息增强， 筛选ＴｏｐＫ个候选答案； 然后采用问题的语义信息， 再次利用注意力机制对ＴｏｐＫ个候选答案集合进行信息增强， 筛选出最佳答案． 通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合， 有效提高了对候选答案关键信息的捕获能力， 从而提升了答案选取系统的性能． 在三个数据集上对本文所提出的模型进行验证， 相较已知同类最好模型， 最高性能提升达１． ９５ ％．关键词 答案选取； 语义信息； 关键信息； 相似度计算； 多阶段注意力机制中图法分类号ＴＰ３９１ＤＯＩ号１０． １ １８９ ７／ＳＰ．Ｊ． １０１ ６． ２０２１ ．００４９１ＡｎＡｎｓｗｅｒＳｅｌｅｃｔｉ ｏｎＭｏｄｅｌＢａｓｅｄｏｎＭｕｌｔｉ－ＳｔａｇｅＡｔｔｅｎｔｉｏｎＭｅｃｈａｎｉｓｍｗｉｔｈＣｏｍｂｉｎａｔｉ ｏｎｏｆＳｅｍａｎｔｉｃＩｎｆｏｒｍａｔｉｏｎａｎｄＫｅｙＩｎｆｏｒｍａｔｉｏｎｏｆｔｈｅＱｕｅｓｔｉｏｎＺＨＡＮＧＹａｎｇＳｅｎ１５ＷＡＮＧＳｈｅｎｇ１）ＷＥＩＷｅｎＪｉ ｅ１）ＰＥＮＧＹｕａｎＹｕａｎ２）ＺＨＥＮＧＪｉ ａ２）１：）｛ ＩｎｓＬ ｉＬ ｕＬ ｅ ｏｆＩｎＬ ｅｌ ｌｉｇｅｎＬＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ？ＢｅｉｊｉｎｇＩｎｆｏｒｍａｔｉｏｎＳｃｉ ｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＵｎｉｖｅｒｓｉｔｙ＾Ｂｅｉｊｉｎｇ１００ １０ １）２） ｛ Ｉｎｓｉ ｉ ｉｕｉｅｏｆＳｏｆｔ ｗａｒｅ？Ｃｈｉｎｅｓｅ ＡｃａｄｅｍｙｏｆＳｃｉ ｅｎｃｅ？Ｂｅｉｊｉｎｇ１００１９０）ＡｂｓｔｒａｃｔＷｉ ｔｈｔｈｅｒａｐｉ ｄｄｅｖｅｌ ｏｐｍｅｎｔｏｆＩｎｔｅｒｎｅｔｔｅｃｈｎｏｌｏｇｙ，ｔｈｅａｍｏｕｎｔｏｆｔｅｘｔｉ ｎｆｏｒｍａｔｉ ｏｎｉ ｎｔｈｅｎｅｔｗｏｒｋｉ ｎｃｒｅａｓｅｓｅｘｐｏｎｅｎｔｉａｌ ｌ ｙ，ｈｅｎｃｅｐｅｏｐｌ ｅｕｓｕａｌ ｌ ｙｕｓｅｓｏｍｅｓｅａｒｃｈｅｎｇｉ ｎｅｓｔｏｒｅｔｒｉｅｖｅｔｈｅｒｅｑｕｉｒｅｄｉ ｎｆｏｒｍａｔｉ ｏｎｆｒｏｍｍａｓｓｄａｔａ． Ａｓｅａｒｃｈｅｎｇｉ ｎｅｃａｎｂｅｒｅｇａｒｄｅｄａｓａｓｐｅｃｉａｌｑｕｅｓｔｉ ｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍ． Ｗｈｅｎａｑｕｅｓｔｉｏｎｉｓｇｉ ｖｅｎ， ｔｈｅｇｅｎｅｒａｌｐｒｏｃｅｓｓｉｎｇｆｌｏｗｏｆｔｈｅａｕｔｏｍａｔｉｃｑｕｅｓｔｉ ｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍｉｓａｓｆｏｌ ｌｏｗｓ：ｆｉｒｓｔ ，ｔｈｅｓｙｓｔｅｍａｎａｌ ｙｚｅｓｔｈｅｑｕｅｓｔｉｏｎｔｏｏｂｔａｉｎｉ ｔｓｔｙｐｅ，ｓｅｍａｎｔｉ ｃｓａｎｄｏｔｈｅｒｒｅｌ ｅｖａｎｔｉ ｎｆｏｒｍａｔｉ ｏｎ；ｔｈｅｎ，ｓｅｌ ｅｃｔａｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｅｔｆｒｏｍｔｈｅａｎｓｗｅｒｄａｔａｂａｓｅａｃｃｏｒｄｉｎｇｔｏｔｈｅａｎａｌ ｙｓｉｓｒｅｓｕｌ ｔｓ；ｆｉ ｎａｌ ｌ ｙ，ｔｈｅｓｙｓｔｅｍｗｉｌ ｌｒｅａｒｒａｎｇｅｔｈｅｃａｎｄｉ ｄａｔｅｓｅｔｗｉｔｈｖａｒｉ ｏｕｓｓｏｒｔｉｎｇｔｅｃｈｎｉｑｕｅｓａｎｄｓｅｌ ｅｃｔｔｈｅｂｅｓｔａｎｓｗｅｒｏｒｔｈｅｔｅｘｔｗｉｔｈｔｈｅｂｅｓｔａｎｓｗｅｒｔｏｒｅｔｕｒｎｔｏｔｈｅｕｓｅｒ． Ｔｈｅｆｌ ｏｗｓｈｏｗｓｔｈａｔｔｈｅｓｅｌ ｅｃｔｉ ｏｎｅｆｆｅｃｔｏｆｔｈｅｂｅｓｔａｎｓｗｅｒｗｉｌ ｌｄｉｒｅｃｔｌ ｙａｆｆｅｃｔｔｈｅｏｖｅｒａｌ ｌｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅａｕｔｏｍａｔｉｃｑｕｅｓｔｉｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍ． Ｔｒａｄｉｔｉ ｏｎａｌａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎｍｏｄｅｌ ｓｕｓｕａｌ ｌ ｙｕｓｅｌ ｅｘｉ ｃａｌ ｏｒｓｙｎｔａｃｔｉ ｃａｎａｌ ｙｓｉ ｓａｎｄａｒｔｉｆｉ ｃｉ ａｌｃｏｎｓｔｒｕｃｔｉｎｇｆｅａｔｕｒｅｔｏｓｅｌ ｅｃｔａｎｓｗｅｒｓ，ｗｈｉ ｃｈｉｓｄｉｆｆｉｃｕｌ ｔｔｏｃａｐｔｕｒｅｔｈｅｓｅｍａｎｔｉｃａｓｓｏｃｉａｔｉｏｎｉ ｎｆｏｒｍａｔｉｏｎｂｅｔｗｅｅｎｑｕｅｓｔｉ ｏｎｓａｎｄｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓ． Ｗｉｔｈｔｈｅｄｅｖｅｌ ｏｐｍｅｎｔｏｆｄｅｅｐｌ ｅａｒｎｉ ｎｇｔｅｃｈｎｏｌ ｏｇｙ，ｒｅｓｅａｒｃｈｅｒｓａｐｐｌ ｉ ｅｄｔｈｅｄｅｅｐ收稿日期：２０ １９ １２ ２５； 在线发布日期：２０２０ ０５ ２６． 本课题得到国家自然科学基金（６１７７２０８１） 资助． 张仰森， 博士， 教授， 中国计算机学会（ ＣＣＦ） 杰出会员， 主要研究领域为自然语言处理、 人工智能． Ｅｍａｉｌ ： ｚｈａｎｇｙａｎｇｓｅｎ＠１６３． ｃｏｍ． 王 胜， 硕士研究生， 主要研究方向为自然语言处理．魏文杰， 硕士研究生， 主要研究方向为自然语言处理．彭媛媛， 硕士， 工程师， 主要研究方向为自然语言处理．郑 佳， 硕士， 工程师， 主要研究方向为自然语言处理．４９２ 计 算机 学 报 ２０２１年ｌ ｅａｒｎｉ ｎｇｆｒａｍｅｗｏｒｋｉ ｎｔｏｔｈｅａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｎｇｔａｓｋ，ｕｓｅｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌ ｔｏｏｂｔａｉ ｎｔｈｅｓｅｍａｎｔｉｃａｓｓｏｃｉａｔｉ ｏｎｉ ｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｑｕｅｓｔｉｏｎａｎｄｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒ，ａｎｄｅｖａｌ ｕａｔｅｔｈｅｍａｔｃｈｉ ｎｇａｓｓｏｃｉａｔｉ ｏｎｄｅｇｒｅｅｂｅｔｗｅｅｎｔｈｅｍ，ｔｈｅｎｓｅｌ ｅｃｔｔｈｅａｎｓｗｅｒｗｉ ｔｈｔｈｅｓｔｒｏｎｇｅｓｔｍａｔｃｈｉ ｎｇｒｅｌａｔｉ ｏｎｓｈｉｐａｓｔｈｅｂｅｓｔａｎｓｗｅｒ．Ｂｅｃａｕｓｅｔｈｅｓｅｌ ｅｃｔｉｏｎｏｆａｎｓｗｅｒｓｄｅｐｅｎｄｓｅｎｔｉｒｅｌ ｙｏｎｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｃａｒｒｉｅｄｉ ｎｔｈｅｑｕｅｓｔｉ ｏｎ，ｒｅｓｅａｒｃｈｅｒｓｏｆｔｅｎｇｅｎｅｒａｔｅａｔｔｅｎｔｉ ｏｎｖｅｃｔｏｒｆｒｏｍｔｈｅｑｕｅｓｔｉ ｏｎｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎｔｏｕｐｄａｔｅｔｈｅｓｅｍａｎｔｉ ｃｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｏｆｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓ．Ａｌ ｔｈｏｕｇｈｔｈｉ ｓｋｉｎｄｏｆａｔｔｅｎｔｉ ｏｎｍｏｄｅｌ ｃａｎｓｔｒｅｎｇｔｈｅｎｔｈｅｓｅｍａｎｔｉｃｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｑｕｅｓｔｉ ｏｎａｎｄｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒ，ｉ ｔｉｇｎｏｒｅｓｔｈｅｒｅｌ ａｔｉｏｎｓｈｉｐｏｆｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｂｅｔｗｅｅｎｔｈｅｍ，ｔｈｅｒｅｆｏｒｅ，ｔｈｅｅｆｆｅｃｔｉ ｖｅｎｅｓｓｏｆｓｕｃｈｍｏｄｅｌ ｓｉ ｓａｆｆｅｃｔｅｄ． Ｆｏｒｄｉｆｆｅｒｅｎｔｔｙｐｅｓｏｆｑｕｅｓｔｉｏｎｓ，ｔｈｅｃｏｎｃｅｒｎｅｄｃｏｎｔｅｎｔｉ ｎｂｅｓｔａｎｓｗｅｒｓｉｓｏｆｔｅｎｄｉ ｆｆｅｒｅｎｔ．Ｆｏｒｅｘａｍｐｌ ｅ，ｗｈｅｎａｓｋｉ ｎｇｔｉ ｍｅ ｒｅｌ ａｔｅｄｑｕｅｓｔｉ ｏｎｓ，ｔｈｅｂｅｓｔａｎｓｗｅｒｓｈｏｕｌ ｄｂｅｍｏｒｅｆｏｃｕｓｅｄｏｎｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｉｍｅｏｒｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｗｉ ｔｈｓｔｒｏｎｇｔｉｍｅｓｅｍａｎｔｉ ｃａｓｓｏｃｉａｔｉ ｏｎ；ｗｈｅｎａｓｋｉ ｎｇｗｅａｔｈｅｒ ｒｅｌ ａｔｅｄｑｕｅｓｔｉｏｎｓ， ｔｈｅｂｅｓｔａｎｓｗｅｒｓｈｏｕｌ ｄｐａｙｍｏｒｅａｔｔｅｎｔｉ ｏｎｔｏｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｒｅｌａｔｅｄｔｏｗｅａｔｈｅｒ．Ａｌ ｓｏ，ｔｈｅｅｘｉｓｔｉｎｇａｔｔｅｎｔｉ ｏｎｂａｓｅｄａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎｍｅｔｈｏｄｓｏｆｔｅｎｅｓｔａｂｌｉ ｓｈｔｈｅｍｏｄｅｌｏｆｑｕｅｓｔｉ ｏｎｓａｎｄａｎｓｗｅｒｓａｔｔｈｅｓａｍｅｓｔａｇｅ，ｗｈｉ ｃｈｉ ｓｎｏｔｅａｓｙｔｏｃａｐｔｕｒｅｔｈｅｄｉ ｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｔｈｅｖａｒｉ ｏｕｓｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓ．Ｔｏｓｏｌ ｖｅｔｈｅｐｒｏｂｌ ｅｍｔｈａｔｔｈｅａｎｓｗｅｒｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｃａｐｔｕｒｅｉｓｎｏｔａｃｃｕｒａｔｅｉｎｔｈｅｅｘｉｓｔｉ ｎｇａｎｓｗｅｒｓｅｌｅｃｔｉ ｏｎｍｏｄｅｌ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎａｎｓｗｅｒｓｅｌ ｅｃｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎａｍｕｌ ｔｉｓｔａｇｅａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉｓｍｗｉｔｈａｃｏｍｂｉ ｎａｔｉ ｏｎｏｆｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎａｎｄｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎ．Ｆｉｒｓｔｌ ｙ，ｔｈｉｓｍｅｔｈｏｄｕｓｅｓａｂｉｄｉ ｒｅｃｔｉ ｏｎａｌＬＳＴＭｍｏｄｅｌｔｏｒｅｐｒｅｓｅｎｔｑｕｅｓｔｉ ｏｎｓａｎｄｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｓｅｍａｎｔｉ ｃａｌ ｌｙ．Ｔｈｅｎｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎ，ｉ ｎｃｌ ｕｄｉｎｇｔｈｅｔｙｐｅｏｆｑｕｅｓｔｉｏｎａｎｄｔｈｅｈｅａｄｗｏｒｄｏｆｔｈｅｑｕｅｓｔｉ ｏｎ，ｉｓｕｓｅｄｔｏｅｎｈａｎｃｅｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｂｙａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉ ｓｍ，ａｎｄｔｈｅＴｏｐＫｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓａｒｅｓｅｌ ｅｃｔｅｄ． Ｆｉ ｎａｌ ｌｙ， ｔｈｅａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉ ｓｍｗｉ ｔｈｓｅｍａｎｔｉ ｃｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎｉｓｕｓｅｄａｇａｉ ｎｔｏｅｎｈａｎｃｅｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅＴｏｐＫｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｅｔｔｏｓｅｌ ｅｃｔｔｈｅｂｅｓｔａｎｓｗｅｒ． Ｂｙｃｏｍｂｉ ｎｉ ｎｇｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉ ｏｎａｎｄｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｑｕｅｓｔｉ ｏｎｔｏｅｎｈａｎｃｅｔｈｅｓｅｍａｎｔｉ ｃｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｏｆｔｈｅｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｉ ｎｍｕｌ ｔｉ ｓｔａｇｅｓ，ｔｈｅａｂｉｌ ｉ ｔｙｔｏｃａｐｔｕｒｅｔｈｅｋｅｙｉｎｆｏｒｍａｔｉ ｏｎｏｆｃａｎｄｉ ｄａｔｅａｎｓｗｅｒｓｉｓｅｆｆｅｃｔｉ ｖｅｌ ｙｉｍｐｒｏｖｅｄ，ａｎｄｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎｓｙｓｔｅｍｉ ｓｉ ｍｐｒｏｖｅｄ．Ｔｈｅｅｘｐｅｒｉ ｍｅｎｔａｌｒｅｓｕｌ ｔｓｏｎｔｈｒｅｅｄａｔａｓｅｔｓｓｈｏｗｔｈａｔｔｈｅｈｉｇｈｅｓｔｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｅｍｅｎｔｉｓｕｐｔｏ１．９５％ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｏｔｈｅｒｓｔａｔｅｏｆｔｈｅａｒｔｍｏｄｅｌｓ．Ｋｅｙｗｏｒｄｓａｎｓｗｅｒｓｅｌ ｅｃｔｉ ｏｎ；ｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉ ｏｎ；ｋｅｙｉｎｆｏｒｍａｔｉ ｏｎ；ｓｉ ｍｉｌ ａｒｉｔｙｃｏｍｐｕｔｉ ｎｇ；ｍｕｌ ｔｉ ｓｔａｇｅａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉ ｓｍｉ 引 言随着互联网技术的快速发展， 网络中的文本信息量呈指数级增长， 成为了人们获取信息的重要来源， 因此， 利用搜索引擎从海量信息中检索出所需的信息成为了人们获取信息的主要方式． 然而， 现有搜索引擎的检索策略大多是基于字符串匹配的， 缺乏从语义角度挖掘知识的能力， 导致搜索到的结果精度差， 冗余度高［１］， 还需要用户从大规模搜索结果中进一步理解和筛选才能够获取到真正需要的信息，这与用户快速准确获得信息的需求还有一定的差距． 随着文本处理与理解技术的快速发展和广泛应用， 能够更好地满足用户需要的智能问答技术也逐步成熟， 并催生了一批智能助手的问世， 例如小米公司的小爱、 苹果公司的Ｓｒｕ微软公司的小冰等． 这些智能助手与传统的搜索引擎相比， 更贴近用户的实际需求， 他们都力求从语义层面分析用户的问题，精准定位用户的意图， 从而快速、 有效、 准确地为用户提供所需的信息．当给定一个问题时， 自动问答系统一般的处理流程如下： 首先， 分析问题以获取问题的类型、 语义张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ４９ ３３ 期等相关信息； 然后， 依据分析结果在数据集中筛选出候选答案集合； 最后在候选集合中采用各种排序技术进行重排， 筛选出最佳答案或含有最佳答案的文本返回给用户． 因此， 最佳答案的选取效果将直接影响到自动问答系统的整体性能， 优化最佳答案的选取策略可以有效地提升自动问答系统为用户服务的能力． 本文将围绕该问题展开深人研究， 以进一步提升最佳答案的选取效果．传统的答案选取模型［ ２ ］大多利用词法或句法分析以及人工构造特征的方法来选取答案， 这类方法较难捕捉到问题与候选答案之间的语义关联信息．随着深度学习技术的发展， 研究者们将深度学习框架引人到答案选取任务中来， 利用神经网络模型获取问题和候选答案的语义关联信息， 并对它们之间的匹配关联程度进行评估， 进而选取匹配关系最强的答案作为最佳答案．由于答案的选取完全依赖于问题所传递的信息， 因此， 在基于深度学习的答案选取模型中， 研究者们往往会利用问题的语义信息生成注意力向量， 以此来更新候选答案的语义表示， 优化问题与候选答案之间匹配关系的评估效果． 这类引人注意力的模型虽然能够强化问题与候选答案之间语义关联的程度， 但是在一定程度上忽略了两者之间关键信息的联系， 从而影响其问题和答案的建模效果．因为对于不同类型的问题， 其最佳答案中关注的内容往往有所不同， 例如询问时间相关的问题时， 其最佳答案表示中应更注重于表示时间的关键信息或者与时间语义关联较强的信息； 询问天气相关的问题时， 其最佳答案应更注重于表示天气相关的关键信息或者与天气关联较强的信息． 另外， 现有的基于注意力的答案选取模型往往将问题和答案的建模放在同一阶段进行， 这对从多个候选答案中选取一个最佳答案的答案选取任务来说， 不容易捕捉到答案相互之间的差异．针对现有答案选取模型的以上问题， 本文在语义注意力的基础上， 提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型（ Ｍｕｌ ｔｉＳｔａｇｅＡｔｔｅｎｔｉ ｏｎＡｎｓｗｅｒＳｅｌ ｅｃｔｉｏｎＭｏｄｅｌＣｏｍｂｉ ｎｉ ｎｇＳｅｍａｎｔｉｃＩｎｆｏｒｍａｔｉ ｏｎａｎｄＫｅｙＩｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅＱｕｅｓｔｉ ｏｎ， ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ） ， 分阶段地将问题的关键信息和问题的语义信息以注意力机制的方式对候选答案进行信息增强， 以增加对候选答案中的关键信息的捕获能力， 解决在问题和答案的建模过程中， 对候选答案关键信息捕获不足的问题， 以此来提升答案的选取效果．２ 相关工作２． １ 答案选取相关工作答案选取是自动问答技术的关键技术之一， 其相关技术也可以用于文本理解、信息检索、智能服务等多个领域． 针对自动问答系统中的答案选取问题，以往的研究者们通常将其视为分类任务和相似度计算任务两种类型的问题进行解决． 基于分类的答案选取任务是依据问题与候选答案之间的关联关系，将候选答案分到正确或错误类别， 将正确类别中的答案作为最佳答案． 基于相似度计算的答案选取任务是通过计算问题与候选答案之间的相似度， 选取相似度最高的答案作为最佳答案． 为了能够有效提升答案选取的效果， 大多研究学者都致力于研究问题与候选答案之间相关关系的表示， 主要的研究工作可分为两个阶段： 第一阶段是基于语言学知识和特征工程的答案选取方法， 第二阶段是基于深度学习的答案选取方法．基于语言学知识和特征工程的答案选取方法主要是结合外部资源对问题、候选答案进行词法、句法分析进而选取答案． 例如Ｓｕｒｄｅａｎｕ等人［ ３ ］提取了问题与候选答案的词频、 词语之间的相似度等多种特征对候选答案进行排序， 从而选出最佳答案． Ｙｉ ｈ 等人［４］利用ＷｏｒｄＮｅｔ 来获取问题和候选答案的语义特征， 以改进候选答案的排序效果． Ｔｙｍｏｓｈｅｎｋｏ 等人［ ５ ］对问题和答案的句法结构、语义结构进行分析，并利用ＹＡＧＯ、ＤＢｐｅｄｉａ 和ＷｏｒｄＮｅｔ 等知识库挖掘候选答案中与问题匹配的信息， 最终实现答案段落的排序． 虽然这些答案选取方法都能捕捉到问题与候选答案之间的匹配关系， 但是它们性能的好坏与提取特征的质量、采用的外部资源有很大关系， 同时在实际的运用过程中， 也需要一定的领域知识和较高的人工成本．随着深度学习的发展， 神经网络模型逐渐被引人到答案选取任务中并成为主流方法． 例如Ｆｅｎｇ等人［ ６ ］利用ＣＮＮ模型分别对问题和候选答案进行语义表示， 然后采用余弦相似度、ＧｅｏｍｅｔｒｉｃｍｅａｎｏｆＥｕｃｌｉ ｄｅａｎａｎｄＳｉｇｍｏｉ ｄＤｏｔｐｒｏｄｕｃｔ（ ＧＥＳＤ） 和Ａｒｉ ｔｈｍｅｔｉ ｃｍｅａｎｏｆＥｕｃｌ ｉ ｄｅａｎａｎｄＳｉｇｍｏｉ ｄＤｏｔｐｒｏｄｕｃＫＡＥＳＤ） 三种方法对问题和候选答案的语义表示向量进行相似度计算， 最后选取相似度最高的答案作为最佳答案， 实验表明利用ＧＥＳＤ的相似度计算方法取得了最好的效果． Ｇｕｏ等人［ ７］利用余弦４９４ 计 算机 学 报 ２０２１年相似度的计算方法对问题与候选答案中词语之间的相似度进行评估， 然后将词语之间的相似程度和词语的词向量一同输人到ＳｋｌｐＣＮＮ模型中， 分别获取问题和候选答案的语义表示向量， 最后将二者的语义表示向量进行拼接， 利用Ｓｏｆｔｍａｘ对候选答案进行分类以选取问题的最佳答案． Ｔａｎ等人［８］采用ＢｉＬＳＴＭ对问题和候选答案进行语义编码， 然后将问题的语义作为注意力对候选答案的编码进行加权更新， 最后取相似度最高的候选答案作为最佳答案． 相比于基于语言学知识和特征工程的答案选取方法， 基于深度学习的方法减少了对领域知识和外部因素的依赖， 具有较强的通用性． 此外，这类方法能够在语义层面学习问题和候选答案之间的语义匹配关系， 使得答案选取效果有了明显的提升．在上述研究中， 虽然已有的方法将词频、词语相似度等词级别的特征引人到了候选答案的语义表示中， 但是对候选答案中的关键信息以及问题与候选答案之间的关联关系的捕捉能力有限．因此本文在语义信息的基础上， 试图融人问题关键信息， 提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型， 提升候选答案中关键信息的捕获能力， 优化候选答案的语义表示， 从而更加全面地捕捉问题与候选答案之间的关联关系， 以此来提升答案选取的准确率．２． ２ 注意力机制相关工作注意力机制［ ９ ］可以抽象为针对性地提高数据中特定位置的关注度， 注意力机制最早被应用于图像领域， 用以关注重点区域的重点信息． Ｂａｈｄａｎａｕ等人［ １ °］最早将注意力机制引人到ＮＬＰ任务中， 尝试在机器翻译过程中将目标端的输出与源端的输人进行对齐， 从而提升机器翻译的效果％１ ２］． 随后根据不同任务提出了各种注意力机制， 例如Ｃｈｅｎｇ等人［ １ ３ ］在机器阅读任务中提出了单向的自注意力机制， 用以学习当前词语与句中前面部分词语之间的相关性； Ｖａｓｗａｍ等人［１ ４］对注意力机制进行了改进， 拋弃了传统的ＲＮＮ结构并提出完全基于自注意力机制的Ｔｒａｎｓｆｏｒｍｅｒ 模型， 解决了数据计算无法并行化的问题， 极大地提高了计算效率； Ｈｅ 等人［１ ５］和Ｙｕ等人 发现在推荐任务中， 注意力机制可以有效地捕捉用户长期兴趣与短期兴趣， 提高推荐系统的准确性．在问答系统以及答案选取任务中， Ｔａｎ等人［ ８ ］基于Ｂｉ ＬＳＴＭ＋ＣＮＮ的架构， 采用注意力机制分别对问题和候选答案进行语义表示， 并采用余弦相似度进行融合， 证明了仅引人字级别的自注意力机制的模型就能起到很好的效果； Ｂａｃｈｒａｃｈ 等人［１７］提出了一种针对答案选取任务的新注意力机制， 该方法将问题语义和候选答案词频特征相结合共同加强候选答案中关键词在语义表示中的权重， 使候选答案的语义表示向量更加准确， 从而提升了答案选取任务的性能； Ｘｕ等人［ １ ８ ］提出了一种基于门组自注意力（ ＧａｔｅｄＧｒｏｕｐＳｅｌｆＡｔｔｅｎｔｉ ｏｎ，ＧＧＳＡ） 的答案选取模型， 该模型很好地解决了全局注意力和局部注意力不能被很好区分的问题？现有注意力机制在答案选取任务中的运用大多采用问题的信息对答案进行注意力增强， 从而将问题和答案的建模放在同一阶段进行， 这不利于从多个维度对候选答案的关键信息进行捕获， 从而导致对于多个候选答案之间差异性的捕获能力有限． 为提升多维度信息的捕获能力， Ｃｈｅｎ等人［１９］在阅读理解任务中提出了一种两阶段的通用框架， 首先使用经过ｔＨｄｆ 与ｂｉｇｒａｍ结合的检索方法找到与问题相关的文章， 其次通过特征工程对段落及问题进行编码， 构建阅读理解模型从文章段落中找到对应的答案， 最终在多任务集上使用远程监督的方法提高了计算性能． Ｈａｏ等人［ ２ °］在问答任务中提出了一种基于端到端的问答网络模型， 主要利用交叉注意力机制对问题和答案进行互相关注．一方面利用答案信息强化问题的语义表示； 另一方面利用问题信息对答案进行不同的关注． 同时， 通过将外部知识库信息引人到Ｅｍｂｅｄｄｉ ｎｇ 中， 缓解了未登录词的问题， 使模型更有效地表示了问题和答案， 提高了端到端模型的实验性能．因此， 本文将问题语义信息和问题关键信息分为多个阶段对候选答案进行信息增强， 以此来加强模型对候选答案关键信息的捕获能力， 提升对类似答案之间差异的判断能力．３ 方 法自动问答系统的答案选取过程可以形式化为如下形式： 给定问题Ｑ， 在相应的候选答案集合｛Ａ：，Ａ２ ，…， 中寻找与问题Ｑ最匹配的答案即最佳答案｛乂１＾１ ＾３１：£ ｛１， ２ ，－－，２；｝ ｝， 其中，２； 为候选答案的个数． 本文将答案选取任务分为两个部分： 问题与候选答案的相关度计算和最佳答案的选取． 对于问题与候选答案的相关度计算部分， 在问题语义信息关联关系的基础上引人问题关键信息， 包括问题类型寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ４９ ５ ３ 期和问题中心词两个维度． 构建了一种融合语义信息与问题关键 息的多阶段注意为答案选取樓塵ｂ对于问题最！隹答案的选取＜利用问题与候选笞寒之间的相关度，选出相关度最高的答寒作为壕隹窖案，其中相关度采用问题和候选笞案的语义编码向量齡余弦相似度进行计箕》３． １ 答案选取的基础模型答案选取的基础模型的主要架构如Ｓ１ 所示，主要由问逮与候选答案的谞义表示鳥、语义抽象层和相关度计箕， 裏组成？ＱＡ國： Ｉ 问轉导＿＿截＿萬费眞＿糢遨（１．） 语义表示： ＆？ 利用阿题和候选答案所包含词语僖息的词向■， 分别对何题和候选答案进行语义表示， 瘍； 到问題的鼙置表示ＱＣｆＳｖ， ｗ％＊…，Ｉ。） 和鏡潘罄纂的辕夂表拳， …，＿中％事％分别为问题和候选答案的词语个数， ％，，£分别为问题的第：ｅ 个爾谙的词向量和候选笞案的第ｙ个词语的词向童＞且词向量的维度为Ａ（２） 语义抽象＆釆用Ｂｉ ＬＳＴＭ＋Ｐｏｏｌｉ ｎｇ对输人的问题和候逸答案＝ 语义表示的上下文进行语义编码， 分别得到问题和候途：答案的语义表示￣和／＞．Ｃ３） 昶关度计算建＊ 利用余弦相似度计算何题和答案的请义表示￣和 之间的相似度Ｓ０Ａ作为问题和答案的相关泰度的度量．这一基础模盡只是勝问蘧和候选答案之间＂的语义信息进行相似度计算，但暴諸于问题而言，它在与候选答案进行相似度计箕时； 更政望候选答案中与问题相关的鄧分占有更高的权重ｉ与何题不柜关部分ｔＳｓｆ較低前杈：鍵＊３．２ 基于问题语义信息注意力的信息增强模型逋过语义表示层和语义抽象层／Ｖ获问题的语义表示＿：量？， 这一向量＿全育地包含了问题能上下文语义像息，利用问題的语夂表示，采． 用注拿力机制． 对候选答案的语义倩息迸行增強ｄ吏得候选答案中与问题相关度较高的部分所占权蜜更高＊ 以此来构建候选答案针对当前何题语义信息的袠示， 进而提升候选答寒与何题语义的相关性？ 塞于问题语义猜鳥注意力的會息增强模型的框架如揭２所示．图２ 基于丨＇＜廳键龙 法鵞 惠壇３ｉ：框： 架：甚于问题语义信息注倉力的信息增致主裏利用问题的语义信息￣对候选答案的ＬＳＴＭ输出进行注意力加权更新？ 强化候选笞■案中与问题有关的部分？在ＬＳＴＭ中ｓ， 对每一时刻言点的正向输出＜与反向输出 进行拼摻；＞： 得到语义編礙／、， ／＾同时包含３前时刻的上文曾息％下文債息？ 钽合ＬＳＴＭ各个財刻的输出＊ 得到问题的语义编码矩阵Ｍ〇＝［＼， 九《２，＊． ？，＆］Ｔ＝［＜＾－，４？２，４］？Ｓ中 为ＬＳＴＭ梟开的时间步数ｗ为Ｌ紅Ｍ隐藏单元个数的．２倍． 对问题的谞义編码矩阵迸行压Ｉｆ， 樽到问题的谮义信息 如式（１）所示．ｒＱ＝［ｍａｘＣｒｆ＾＾＞ｍａｘＣｒｆ＾）＜？ ■■Ｉ］ｆ１）輝理将：霄寒的每一时刻的ＬＳｔｌ 座 和苽＿输出拼接得到每一时刻的候选答案的语义编码＼，将ｒＱ与 进行余弦相似度计算将计算结果作为ｒＱ对 的＿驗权重 算公式如＇式⑵所示．利用 对ＬＳＴＭ每一时刻隐； 藏：单元的输出＼迸行加权更新，４十算公式如式（１） 所示．ｈ＜ ｉｉ （ ３）将加权后的＜作为最狻每个时刻的输出，３．３ 基于问题关键信息注意力的信息增强模型本文采用问題类型和中心词作为问题的关键信息． 利用注意力机制对候选答案进行信息增强．４３ｉ 计導机攀报： ＿１苹Ｓ．３． １碁予何题类灣的关键信息 意力问题类型对候选答案的选取有十分重要的指导作用， 对侍同一个候选答案， 不同类型的问题对候选窖案中的关注点有所不同， 例如对Ｔ表１ 所示的候选窖案，当提问＆Ｗｈｅｎｄｏａｎａｕｔｏｉｎｓｕｒａｎｃｅｐｒｅｍｉ ｕｍｇｏｕｐ？”时， 候选答案中希望更加关注于“ｎｅｘｔｒｅｎｅｗａｌｐｅｒｉｏｄ”和“ｍｏｎｔｈｌｙｑｕａｒｔｅｒｌｙｓｅｍｉａｎｎｕａｌ ｌｙａｎｎｕａｌ ｌｙ”等表示时间的词语； 当提问“ Ｗｈｉｃｈｆａｃｔｏｒｓａｆｆｅｃｔｔｈｅａｕｔｏｉ ｎｓｕｒａｎｃｅｐｒｅｍｉ ｕｍ？”时， 候选答案会更希望关注于“ａｃｔｉ ｖｉ ｔｙｏｒｃｌａｉ ｍｔｉｃｋｅｔａｎｄａｃｃｉｄｅｎｔ”等表示实物的词语．表１候选答案示例ｙｏｕｒａｕｔｏｉｎｓｕｒａｎｃｅｐｒｅｍｉｕｍｗｉｌｌｔｙｐｉｃａｌｌｙｎｏｔｃｈａｎｇｅｕｎｔｉｌｙｏｕｒｎｅｘｔｒｅｎｅｗａｌｐｅｒｉ ｏｄｄｅｐｅｎｄｉｎｇｏｎｙｏｕｒｐａｙｍｅｎｔｔｅｒｍｔｈｉｓｔｙｐｉｃａｌｌｙｃａｎｂｅｍｏｎｔｈｌｙｑｕａｒｔｅｒｌｙｓｅｍｉ ａｎｎｕａｌｌｙａｎｎｕａｌｌｙｙｏｕｒｐｒｅｍｉｕｍｂｅａｆｆｅｃｔｍａｎｙｆａｃｔｏｒｔｈｅｐｒｉｍａｒｙｆａｃｔｏｒｂｅｙｏｕｒａｃｔｉｖｉｔｙｏｒｃｌａｉｍｔｉｃｋｅｔａｎｄａｃｃｉｄｅｎｔｂｅｔｈｅｔｈｉｎｇｔｈａｔ ｍａｙｃａｕｓｅｙｏｕｒｒａｔｅｉｎｃｒｅａｓｅｙｏｕｒｒａｔｅｃａｎａｌｓｏｂｅ ａｆｆｅｃｔ ｍａｎｙｏｔｈｅｒｔｈｉｎｇａｓｉｎｓｕｒａｎｃｅｒａｔｅｂｅｔｙｐｉｃａｌ ｌｙｄｅｔｅｒｍｉｎｅｔｈｅａｍｏｕｎｔｏｆｒｉｓｋｔｈｅｉｎｓｕｒａｎｃｅｃｏｍｐａｎｙｂｅｂｅａｒ ｉｎｔｈａｔｍａｒｋｅｔ ｆｉｎｄｏｕｔ ｍｏｒｅｃｏｎｔａｃｔｙｏｕｒｌｏｃａｌａｇｅｎｔ ａｎｄ ｄｉｓｃｕｓｓｙｏｕｒｑｕｅｓｔｉｏｎａｂｏｕｔｒａｔｅｗｉｔｈ ｔｈｅｍａｓｅａｃｈｓｔａｔｅ，ｃｏｍｐａｎｙａｎｄｐｏｌｉｃｙｃａｎｖａｒｙｇｒｅａｔｌｙ．ｐ此， 我们对数据集中问题的类型和其最佳答案进行了分析， 总绪了７种阿题的类＿以及．读．类型问题的特怔和常见时最佳答案类塑，如表２ 所示表２ 问题的类型、 特征及答案常见类型问题类型 问题特征 常见答案类型人物问句 以‘‘ｗｈｏ、 ｗｈｏｍ、 ｗｈｏｓｅ”开头多为与人物相关的信息地点问句 以“ｗｈｅｒｅ”开头多为与地点相关的信息时间问句 以“ｗｈｅｎ”开头多为与时间相关的信息实物问句 以“ｗｈａｔ、 ｗｈｉｃｈ” 开头多集中于表达实物类信息的部分数量问句以“ｈｏｗｍｕｃｈ、 ｈｏｗｍａｎｙ、 ｈｏｗｌｏｎｇ、ｈｏｗ ｏｌｄ、ｈｏｗｆａｒ”开头多集中于表达量词信息的部分原因问句 以“ｗｈｙ，ｈｏｗ”开头多集中于描述原因及动作的部分其他问句 除以上六类以外多集中于陈述事实类的部分不同类＿的甸癍对候选答案中关注的部分有所不同 参藤语义锫息増強的方法， 提取问题的类型，构建类葉的表示， 作齿一种注意力向量＊引人到候选答案的语义信息表示申： 具体来说， 在模型初始化时， 为每一种问題类型分别锭定一个表示向量ＦＱｒｓ利用￥对候选答案的ＬＳＴＭ输出迸行注意力加权更新， 强化候选答案中与问龜类埜有关的部分？ 计算流程为， 将答案的每一时刻的ＬＳＴＭ诋向和反向输出拼接得到每一时刻的候？选答案的语义编码 ． 利用与， 式Ｃ２〉相同的方法将ＶｑｒｉｆＴｉ进行相似度计算，魯到％ｒ对ｈ的关ｆｔ秘重 ？ 再歡通过与式⑶梅同的方法， 利用了＾私对ＬＳ．．ＴＭ每一时刻隐藏单元的输出＼进行加权更新， 即可籍到最终每一时刻的输出． 随着模塑的迭代训练， 即可获得问题类塑对应的语义信息， 进而强化候选答案中与何题类型有关部分的权重＿基乎甸题中心甸的关猶信鼻雜羃力当候选輕案中＃在多个与何题类型相关的钵分时； 仅采用问题类型迸行信息增强很难进行３ＪＫ例如瑪间題类塑为时间疑问句財． 候选瞽案中有多个表达时间信息的部分■问题类型对于候选答案的注意力将会分散到多个与时间相关的部分上； 当问．题类型为原因疑问句或判断疑问句时， 答案往往是一段话， 只．利用问题类型无法很好地加強候选答案对问邂关键信息的捕：获能力．针对上述问题＜ 本文通过５丨 人问题 心诃的概： 念：，以此来觀太候豫簦棄文本中，何趨主蓮雜关的葡舉蕾占的扠重，两时＿小不植关的词语所占的权重．本文将问考Ｔ中條够Ｍ映句子主養：信息的屬词： 或动词作为问题的中心Ｍｔ２ １ ２ ２ｌ？ 例如何句“Ｄｏｅｓｌ ｉ ｆｅｉｎｓｕｒａｎｃｅ： ｙｅｇｕｉｒｅ努ｃｒｅｄｉ ｔｃｈｅｃｋ？％它所：表迪酣蕾息３；Ｓ－｜ ｉ［＂ｒ６ｑｕｉｒｅ＂＼＂ｌ ｉｆｅｉｎｆｉａｒａｎ：ｃｅ＇＾＾ｆｌ＇＾ｃｒｅｄｉｔｄｕｃｋ＂ＭｌＨ＾Ｗｈｅｎｄ？ａｎａｕｔｏｉ ｎａｕｒａｎｃｓｐｒｅｍｉ ｕｍｇｏｕｐ？＇， 它所表达的信息爾主要由“ｇｏｕｐ，，、ｗａｕｔｏｉｎｓｕｒａｉｌｅｆｉｐｒｅｍｉ ｕｍ，，｜＾３ｉｌ，对于问题的中心词， 利用依存句：法分析来莸取，如间匈“ＨｏｗｄｏＩａｐｐｌｙｆｏｒＭｅ’ｃｌｉｍｒｅ， ｉ ｎＴＴｅｘｇｓ？＇％通过依存句法分析，可？得到如图３ 所示的结果．图３ 河： ＃＇的椒存句楼费析其中，ｕｆｔＰＰｌｙ”为主要动词， 则提取其作为问＇题的主赛參词ｗｏ＿ｒｒｆＹ． 如果ｗ〇ｒ＜ｉＦ 的主．或：禽费海名＿或名饲： 短语， 提取主语和宾捂作为主要名爾ｔｏｒＪａＨ再顧次： 提職遺憂■词的修葬成费爾 到成分中的翁词麵加到主要名： 词ｗｏｒｄ＃中 主要：动飼和名词构成何题的中心词， 下文用ｈｅａｄ泰示， 另外，费旬法分析无法提取其主要魂珂．． 刺寘接通过珂性＞过滤停甩词后提取其中心词．因此 ，為的个数可能为多个． 如在图３ 中，ａｐｐｌｙ”的主语为 宾语为“Ｍｅｄｉ ｗｏｅ”， 因为主语“１”为人称代词，本是名飼或名寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ４９ ７ ３撰坷短语， 故不将其作为主要名词＾而卖语“Ｍｅｄｉｃａｒｅ”为名词， 故将其作为主要名词，同时＂Ｔｅｘａｓ”又作为名飼修饰“Ｍｅｄｋａｒ＃， 因此，“Ｔｅｘｓ＃也作为生雾翁词？ 所以， 國３ 轉旬中的： 中心轉＿合为｛ａｐｐｌｙ，ＭｅｄｉｅａｒｅｉＸｉｘａｓ）ｓ其＿，中心讀爾为ａｐｐｌｙ￥中』〇＊名Ｓ３Ｓ． Ｍｅｄｉｃａｒｅ．Ｔｅｘａｓ｝．在得到何题的中心词后， 将中心词对应的词向量集合的向量表示作为中心词的注意力向量＝（死…其中，Ｚ 为问句中心词的个数，采用ｖＱｗ对候选眷案正向ＬＳＴＭ的输出冗和、反向Ｌ８ＴＭ的输出Ｘ：拼接后拍输出４进行加权笼新， 具体来说，将集脅Ｖ＃中的每个词向量分别和Ａ， 进行相似度计算， 然后将其中的最大值作为问题中心鲟的注鴦力时量在 上的权重表示功， 计算方法如式⑷所示．ｖｔ—ｍａｘ｛ ｃｏｓｓｉ ｎＣ／ｉ＾？（ ４）利用Ａ， 采用类似于式（３） 的方式对心进行加权更新ｓ 得到／ 財刻Ｉ的表示Ａ：． 依次采用爵样的方式对候选答案每一时刻的表：示进行加权更新＞即得到基于问龜中心Ｍ注意力的信息増强表示．３．４ 融合语义信息与问题关键信息的多阶段注意力答案选取模型为了充分利用何题的语义價息和关键谬息对候选答案迸行信息增强， 本文构建了融合语义信慕与问题关鍵信息的＇多阶段注鴦力答案选取模型？ 具体来说，虫要利用问题的相关信息， 果． 用Ｂ！ 意力机制＞分为两个阶段对候选答案进行ｆ息増強． 例如问题“ＨｏｗｄｏＩ．ａｐｐｌｙｆｏｒＭｅｄｉｃａｒｅｉ ｎＴＴｅ絲５？”，其雜选窖案集合为 ，…， ４Ｊ？ 首先使用式Ｃｌ》计算得到问题的语义表示 其次开始抽取间题的关键信息； 该问题以“ Ｈｏｗ”开头， 寅此问題类型为原因类塑！■ 苘时提取闾句的中心佩集合．！ ａｐｐｌｙ，ｉｓｆｅｄｉ ｃａｒｅ，Ｔｅｘａｓ｝？其中， 问题类型注意力如方模型初始化时为每种类型随机歡定的向量，问题中心鲟往意力集合为ｖ釋＝｜ｓ：， ￥ｓｊ＊ｓｉ、 ｓｆ、 ｓｓ分刴为＇＊％ｐｐ：ｌｙ’’、“ ＭｅｄｉｃａＷ ＴＴｅｘａｓ１＂ ＇对应的齋义＿量？ 乘爾３．３＇＇节所述的方法．利租注：意力机制对候选答案的语义表：示进行问題关键＇，息谓強， 构重候选答案针对当前？网徽类雜鲁息的费叉秦示、。 拽３问题的语义表示ｒ０进行相关度计算＊ 依据相关度排摩讀ｊｉ 靡：街前々３１：彳 Ｈｉ２为纖前儀选答案集合． 最后》将问題的谙义信息？作为注鴦力向量； 采甩３．２ 节所述言法， 再次利用迕意力机制对筛选扭的候遍答繁集合试彳，我，…，★）■进行语义僧息增强，构建当前候选答案针对问题语义信息． 的．义＿承？ ＆＝与“２，？ ？＊＃馬》， 与＿题的语义表示ｒａ： 迸行相关度计算， 依据相关度排序后， 即得到最优的候选＿案＇｛起ｍＩ ｂｅｓｔ６：Ｃ〖ｉ ， ６？ 具体的模型：框寒商姐蘭４所示．语义信息Ｑ，０ＶＳ８〇〇？〇一＾０５５＾８００，為＞Ｍ〇〇〇〇Ｉ－ｔｏ〇〇〇＾：＞＾〇〇〇〇ｌｊ１４５〇〇一ｙＯＱ〇ｑ＃〇〇ｏ〇ｌＱ图４融合语义信息与问题关键信息的多阶段注意力答案选取模型４９８ 计導机攀报： ＿１苹在对问题的语文表薪和候选答案的语义表示进行相关度计算时， 采用如式Ｃ２）余弦相似度的方法计？算两着；ｔ间的枏关度答案选取模型期望达到的效果基＾当＇模型的输人为阿題的最佳答案时， 应该枣可能大； 当模型输人为何题猶季■樓眷蠢財ｓＳ＆１ 虛讓■可能小， 因此， 在对模型训练过程中， 每一轮同时输人问题２、最隹答案Ａ＋和＿最佳答案Ａ＇然后分别计算问题与最儀籍案和李最德答案的相关． 獄 和茂ａ－，再釆用式Ｃｆｉ） 所示的ＨｉｎｇｅＬｏ涵函数作为■损失函数对模型迸行训雜．ｌｏｓｓ—ｍａｘ｛０—（Ｓｑａ＋—Ｓｑａ￣） ｝（ ５）眞：中，当５？＋—Ｓ，；＾働ｒ 时说赠奠型餘够很好地区分最佳答案和非最佳答案， 当 ５＾－＜施ｒ时， 此时隹型不能很野地Ｋ分芷确答案与错误答案，需要调整模： 型参数进行迭代计算． ｍａｒ 具体的取值将在４，３ 节实．验参数设釐部分进行说明．对于非最佳答案Ａ 的选取，为了提升模型的学习能力， 在训练的过程中， 选取全部何题的候选答案中除晕隹簪案Ａ＋之外的最隹答案作为 的值，具体如式（《） 所示Ａ－＝ａｒｇｍａ＾＜： Ｓ＾．ＫＡ， ＾１＋．０＜／ ＜％？？＇）（：６）其中＃ 为训漆数据棠合中所有间蘧候选窖案的总数．４ 实验与分析４． １ 实验数据集为了验证本文提出模型的有效性， 本文选择在ＩｎａｕｒａｎｏｅＱＡ＾＾ｓＴＲＥＧＱＡＷｉｋｉ ＱＡ数据集上设计实验并分析，以验证本文模型的ｔ效性．４．１．１ＩｎｓｊｉｒａｎｃｅＱ入數縛舉ＩｎＳｕｒａｉｉＣｅＱＡ数擁盡． 遍；一个来自保险领域的专业数据集， 由Ｆｅｎｇ等人［ ６ １枸建， 数据集中的所有问题都是来启现实世界寘实甩户的提问＊问题的答案一般比较长． 数据集共包括四都分， 分别为训练集、验ｉｌＥ集测试＃１、测试集Ｌ共有１７４８７ 个问题和２４ 助１ 个答案？ 数据集的详细数量信息如＿３ 所示，其中． Ｑ－Ａ为问题的平均长度， ＡＡ为答案的平均长度？ ＩｎｓｕｒａｎｒｅＱＡ数据集的评价指标采用最隹答案的准确率户＠１ 进行评价．表３ＩｎｓｕｎｍｃｅＱＡ问题与答案数量分布＿觀Ｑ－ＡＡ－Ａ．娜繼１２ ＳＳ７１８５， ？７． １５９５． ６１翁爾義 撤＿１测雜２ＵＳＢ１８００１８００１４５４２６；１纖３７． １６７． １６Ｋ１，？９５． ５４９５． ５４９５． ５４除此之外， 本太还对数据集的间Ｍ类谨分布进行统计； 统计结果如图５ 所示． 从图中可以看出， 在训练巢、验证集、 测试集１ 和测试集２ 中各类问题的问題类型分布基本一致， 其中占比最高的为其他问句， 实物问句的所占比例也明显较商占比最少的为地点轉想．４．１．２ＴＲＥＣＱＡ 数据集ＴＲＥＣ－ＱＡ数据集起滬于国鼠文本裣素会议ｆＴＲＥＣＩ的问＇答任务， 任务．面向开放领域， 且多为基于事实的小文本片段． 该数据集的训练集ＴＲＡＩＮ为原始标驻缴据， 每年发布一版，Ｗａｎｇ等人 靖理所有的抓练集后， 得到了ＴＲＡＩＮ－ＡＬＬ训练集， 达到了较髙的数据质營！ 扁来学者对验证集与＿试燊也进行了瘡■， 得到了ＣＬＥＡＮＤＥＶ与ＣＬＥＡＮＴＴＥＳＴｒ， ＿＃ｔ： ＾｜＾，｜｜：Ｂ：ＴｒＲＡＩＮ－ＡＬＬ、 ｅＬＥＡＮＤＥＶｉｆＣｉＬＥＡＮ＾ＣＥＳＴ迸行犧型： 的训雜验ＳＬ数磨集的具体翁識、 如餐４ 所示 中Ｑｕｅｓｔｉ ｏｎ为丨每题个数， Ｐａｉｒｓ为飼题－嘗寒对的个数， Ｑ－Ａ为问顧潍警均长度 Ａ为答案的平均长度？表４ＴＲＥＣ－ＱＡ问题与答案数量分布Ｑｕｅｓｔｉｏｎ Ｐａｉ ｒｓ Ｑ－Ａ Ａ－ＡＴＲＡＩＮ ９４ ４７ １８ １１．３ ２４．６ＴＲＡＩＮ－ＡＬＬ １２２９ ５３４ １７ ８．３２７． ７ＣＬＥＡＮ－ＤＥＶ ６５ １１１７ ８． ０２４． ９ＣＬＥＡＮ－ＴＥＳＴ ６８ １４ ４２ ８．６ ２５．６同样，本文还对该数据集的问蓮鸯盡分布进行统计分析， 统计结果如虜６所示， 从Ｓ中可以． 发满隹ＴｆｉＡ裏ＡＬＬ、 ＣＬＥＡＮ－ＤＥＶ和＇ｅＬＥＡＮＴＴＥＳＴ申＇，寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ４９ ９ 議 期各獎问题的问题类型分布基本一致， 其中占比最高的为裏：物问甸，．占Ｉｆｃ最少的为其他问镇＝在该数捃梟中，一□个向題通常对应多个正确笞案， 繞要尽可能将疋确答案排名靠前？因此， 诙数据集的性能评价揞标采用ＭＡＰ与ＭＲｉ？ ， 其中ＭＡＰ＿示所有正＿答案的平均得分， 如式（？？所示．ＭＡＰ＝２ａｍｉＰｉｑ＾（７：）＾Ｑｕｅｓｑ＾Ｑｕｅ￥＿中，＿示與遮＿合， 风祕：翁示问蘧的藝数，Ｐ（ 表示正＿答案排序位萱的得分， ａ狹（ Ｐ（ ｇ表示该间题対应所有芷确答案排序位璧的平均得分，ＭＡＰ鲁分越高， Ｊｉｆ全部正确答案的排名越靠前、ＭＲｉ？表示何题对应的第一个正确答案的平均得分， 其计算公式如式⑧所示．Ｍ勝Ａｑ Ｇ Ｑｕｅ ｓ１ｒａｎｋｑ（８）其中， ＱＭ？ｊ？康示问题覷＃ｓＪＮｆｓ？？表累何题的总数，示第」－Ｉｓ正确餐案的排翁， ＭＲｉ？ 拇身魏禽，则第一个结果越可能为正确答案．４．１．３Ｗｉ ｋｉ ＱＡ数据集Ｗｉｋｉ－ＱＡ是一个开放域何题回答的数据集， 梁用Ｂｉｎｇ查询日志作为问题頫， 每个问题都链接到一个可能有齊案的维基百科页面，采用维塞Ｗ科页面的掎荽作为候选餐寒？ 然后采用众包的方式进行数据标ｆｔ／数据集的具体債息如表５ 所示， 其中Ｑｕ＆ｒｔｏｎ为闻题个数， ｖ細ｓ谭ｅｉ？为麗案个数， ＱＡ为＇问题的平均长度， ＡＡ为答案的平均长度． Ｗｉ ｋｉ ＱＡ数据集也是一个何题对应多个正确答案， 因此同样采用ＭＡＰ与ＭＲｉ？ 作为性能评价指标．表５ＶＷＭ－ＱＡ问题与答案数量分布Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒ Ｑ－Ａ Ａ－ＡＴｒａｉｎ８７３ １８ ８２１ ６．３６ ２５．５ １Ｄｅｖ１２６ １１１９６．７２ ２４．５９Ｔｅｓｔ２４３ ２３０９６．４２ ２５．３３同样ｔ本文还对数据集的问题的类型分布迸行统计， 统计Ｍ果如图７ 所示， 从图中可以发规在ＴＴｒａｍ、Ｄｅｙ和Ｔｅｓｔ 中的何題纖纖分霜碁李一截， 其中占比最高为实物阿句， 占比最办、为原因问句．４． ２实验对比模型本文的主要对比褸麵如下：Ｂａｇ－〇ｆ－Ｗｏｒｄｒａ？该養Ｓｌ＿｜ｆ向顧和餐选眷秦筒■的ＩＤＦ权重对爾语的掘： 魔量■＝行加权求和， 榻建：问题和候选答案的特征向量表示？？ 采用拿弦相似度计算坷题甜輕案特征商餐的相似度？ 该模塑是乘用传统方式进行答案选择的代表模型．ＡｔｔｅｎｔｉｏｎｂａｓｅｄＢｉ－ＬＳＴＭ１ ？ ？ 调靈＿截用ＢｔＬＳＴＭ对阿题和候选答案迸行语义编码， 将问题的语义作为注意力＇对候选答案的编码进行更新， 最＿使用余弦相似度：进行相似度计算？ 廣模型是较早將Ａｔｔｅｎｔｉｏｎ机制引人到答案选择的方法，ｌＡＲＮＮ－Ｇａｔ＃４ ３？慘業處将德霉为，息加人到ＧＲＵ故每个门涵数中， 构建了基于ＲＮＮ的门控法意力单元，以此来构建问题和候选答案的特征向營表示，菜用ＧＥＳＤ进行相似度计算．Ｍｕｌｔｉｈｏｐ－Ｓｅｑｕｅｎｔｉａ丨－ＬＳＴＭｔ２ ５ ］？ 儀模麵乘眉：动态记忆网络（ＤＭＮ． Ｓ） 对问题和答案迸行建模， 采用了多种注意： 力机制， 进行迭代的法意力操作， 构建向题和候选答案的特征向量表示， 采用余弦相似度进行相似度计算．ＴｒａｎｓｆｏｒｍｅｒｗｉｔｈＨａｒｄＮｆｅｇａｔｉｖｅｓＰ６］？ 该．模； 戴： 采－用ＴＴｒａｎｓｆｏｒｉｉｆｅｒ 对Ｍ题＇和餐＿进行建：律＊并利用ＨａｒｄＭ：嗦ａｉｉ ｖ．热的方武途取负例＃本峯用■余弦相似度进行相似度计算、ＢＥＲＴ－Ａｔｔｅｎｔｉｏｎ？］ ？ 渗橇塵：采 ＢＥ１Ｔ＿ＳＳ： 对问题和答案进行建模＞并构逢了基于问题语义的注意力机制？ 来用余弦相似度进行相似度计算，ＨＡＳ〔２ ７］？ 恢稹塾＿架梅与ＢＥＲＴＴ Ａｔｔｅｎｔｉ ｏｎ襄似， 但是采用了Ｈａｓｈｉ ｎｇ机制对候选答案的编码进行存储， 避免实时在线计箅．， 有效降低了针算时间％５００ 计導机攀报： ＿１苹０．８２００．８０５０．７９００． ７７５，０． ７６０＇０． ７４５上性能儀好贈 值作海＿酱的取值， 具体来说．在ＩｉｍｕｒａｎｃｅＱＡ＿磨寒、ＴＴＲＥＧ－ＱＡ数擠拿和ＷｉｋｉＱＡ数据亀上的取懷分别为６．１８ＶＱ，１名和０？Ｉｔ．坩乎本文釆用的是多阶段的模型， 第一阶段的选擇个数々 对于镆＿的性能有窘一萣的巌响， 在三个数据集的验证集上， 性能随＆值的变化趋势如Ｈｉ． 所示．计算资源．Ｍｕｌｔｉ－ＣａｓｔＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｓ＾？＿ 燦模處来，用參种Ａｔｔｅｎｔｉｏｎ和Ｐｔ？ｌ ｉｎｇ机制对间韻和候选答案进行编码和交互？ 采用分类方法判断候选答案是否为雜答案，ＱｕｅｓｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎ－ＤｅｅｐＬｅａｒｎｉｎｇ＾２ ９］． 懷權型融合问题分类、实体识别、实体强化和深度举习的方法对问龜和候选答案进＃编码和．交互，？实现最隹答案的选择．ＲＥ２［ ３ °］？ 该模型主要＇鞭穷序列间对齐的关键特■： 的幾取． 栂虛了原始Ｈ对齐眷性、先前对齐； 特性和上下文特性， 对问题和候选答寒编码和交互， 实现最隹答案的选＃．Ｃｏｍｐ－ＣＨｐ＋ＬＭ＋ＬＣｆ３ １］．读犧製通过潜在聚类的方式挖掘： 文： 本中的附加詹ＪＵ实现文字中的信息： 聚合， 从面增强对问題和答案的編码效果，实现？最佳答案的选取．４． ３实验参数设置本文采用深度攀习框架Ｐ／Ｔｏｒｃｈ 对相关模型迸行编碍实现， 并在ＵｂｕｎｔｕｌＵ＊〇４ 峯统上＿用ＧＰＵ（；ｒｅｓｌａＰ１Ｗ）进抒壤麗的训练和调试． 義書後过程中， 采用词向豐的维度大小设置为抑〇， 对宁模型中各个参数的设眘， 本文采用Ｈｙｐｅｒｏｐｔ 库进行分布式参数调节＊ 获取模型的最优参数集合， 具体的选取敏舉为？＿雇的维度为ＳＯＣＵｍｉ ｎｉ－ｂｓｔｅｈ 的大小设鸳为Ｉ６， 优化函数采用Ａｄａｍ， 学习率Ｚｆ 设囂为０．００１．针对损失函数中ｗａｒ 值的选取， 在各个数据集的验证亀上性能随其取值变化如圈８所示．我们发现＿ｒ取值：过小和过大審会对標型在对候选答案的正负例的判断能力产生影响， 进商影响最终候选奪龛的选取能力， 最终我扪选取验１Ｅ集０．７３００．７１５＇Ｍ图Ｐ 性能随：《 值蜜你眞势图我们可以发现， 在不词的数据集中＊ 随着平均正确笞案个数的增？加４的最隹取值明显增大Ｓ其中ＩｎｓｔｍｍｃｅＱＡ酸证集的正＿答案个数为１ 个，Ｗｉ ｋｉ ＱＡ验证集上平均正确答案个数为２．０３，ＴＲＥＣＱＡ验证集上平均正确答案个数为３．１５３．同样选取验证集上性能最好的＆ 值作为最终的取攝具体辛说＊？Ｉｎｓｘｔｒａｎｔｊ’ｅＱＡ■数場 ＿、 Ｗｉ ｋｉＱＡ数据集和ＴＥＥＯＱＡ数搪集上的取後分别为４ｖ７和１１．钟对中心词的抽取策略， 本文探究了否定副饲、方位介词的抽取对性儒的參晌．數湯食中：否窠＿１轉＇及方位介词的分布如表６ 所示１其中，ＰＰ代表何题中存：在方位介词的句子个数， Ｎ＇Ａ表示何题中参在—定副爾的旬： 子个数， Ｑｕｅｓｔｉｏｎ＿示间氣的藤个数． 从表中可以看出Ｓ 否：定副诃在问题中出现的次数膂遍较低， 方位介词占比则较多． 以ＴＲＥＣ－ＱＡ数据集为例做了寒验对比， 实验效果如表７ 所示其中厂ＳＡＡＳｗｉｔｈＫＩ（ｈｅ〇豪：翁单魏添加何顯中办爾注意方模趣：， ＳＡＡＳｗｉｔｈＫＩ（ｈｅａ４）＋ＰＰ＋ＮＡ表示在上述镆型基础上增加了方泣介词与否定副词的抽取．表６ 方位介词与否定副词的数量分布ＰＰ ＮＡ ＱｕｅｓｔｉｏｎＩｎｓｕｒａｎｃｅＱＡ ２２ ６０８ １７４８７ＴＲＥＣ－ＱＡ ３２６ ４ １３ ６２Ｗｉｋｉ－ＱＡ ２ ６０２ １２４２－ａ－ ＩｎｓｕｒａｎｃｅＱＡ－Ｐ＠ｌ－ － －－－ａＴＲＥＣＱＡ－ＭＡＰ＾ＷｉｋｉＱＡ－ＭＡＰ／ａ－．—＿二ｒ ……Ｃｆｍ／Ｉ＠ｃｆ张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ５０１３ 期表７ 方位介词与否定副词的实验对比结果ｍｏｄｅｌ ＡＣＣ ＭＡＰ ＭＲＲＳＡＡＳｗｉｔｈＫｌ （ ｈｅａｄ）７９． ４１ ７６． ２４ ８６． ０９ＳＡＡＳｗｉｔｈＫＩ （ ｈｅａｄ） ＋ＰＰ＋ＮＡ ７９． ４１ ７６． ３１ ８５． ６３由实验可知， 中心词选取过程中增加否定副词及方位介词对实验性能的影响甚微．因此， 本文将问句中能够反映句子主要信息的名词或动词作为问题的中心词．４． ４ 实验结果及分析按照相关数据集的实验流程和评测指标， 本文分别对ＩｎｓｕｒａｎｃｅＱＡ数据集、 ＴＲＥＣＱＡ数据集和ＷＯｎＱＡ数据集进行了实验分析， 具体实验结果如表８、 表９ 和表１０ 所示， 由于本文实验的数据集划分和实验流程完全按照各个数据的规范进行实验，因此， 表中显示的实验结果均来自于相关论文中报告的结果．表８ＩｎｓｕｒａｎｃｅＱＡ数据集实验对比结果ｍｏ ｄｅｌＤｅｖＴｅｓｔ ｌＢａｇ〇ｆ Ｗｏｒｄ［６］３ １． ９０ ３２． １０Ａｔｔ ｅｎｔｉ ｏｎｂａｓｅｄＢｉ ＬＳＴＭＭ ６８． ９０ ６９． ００Ｉ ＡＲＮＮＧａｔ ｅ［２４ ］７ ０． ０ ０ ７０． １０Ｍｕｌｔ ｉｈｏｐＳｅｑｕｅｎｔ ｉａｌ ＬＳＴＭ＾２５＾７０． ５０ＴｒａｎｓｆｏｒｍｅｒｗｉｔｈＨａｒｄＮｅｇａｔｉｖｅｓ＾２６ ＾７ ５． ７ ０ ７５． ６０ＢＥＲＴＡｔ ｔ ｅｎｔｉｏｎ＾２ ７＾７ ６． １２Ｉ Ｉ ＡＳ［２ ７］ ７ ６． ３８ＳＡＡＳｗｉ ｔｈＫＩＳＩ７ ６． ０ ０ ７５． ２８ＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ ｔｙｐｅ） ７ ８． ６０ ７８． ０６ＭＳＡＡＳｗｉｔｈＫｌ ＳＩ （ ｈｅａｄ）７ ８． ３ ０７８． ３３ＭＳＡＡＳｗｉｔ ｈＫＩ ＳＩ （ｈｅａｄ＋ｔｙｐｅ）７８． ７０ ７７． ７８表９ＴＲＥＣ－ＱＡ数据集实验对比结果ＭｏｄｅｌＡｔ ｔｅｎｔ ｉｏｎｂａｓｅｄＢｉ ＬＳＴＭ＾ ８＾ＩＡＲＮＮＧａｔ ｅ［２４］ＭＲＲＭｕｌｔ ｉｈｏｐＳｅｑｕｅｎｔ ｉａｌ ＬＳＴＭ［２５］Ｍｕｌｔ ｉ ＣａｓｔＡｔ ｔ ｅｎｔ ｉｏｎＮｅｔｗｏｒｋｓ［２８］ＱｕｅｓｔｉｏｎＣｌａｓｓｉｆｉｃａｔｉｏｎＤｅｅｐＬｅａｒｎｉｎｇ＾２９＾ＳＡＡＳｗｉｔｈＫＩＳＩＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ｔｙｐｅ）ＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ ｈｅａｄ）ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ （ ｈｅａｄ＋ｔｙｐｅ）９１５８，表１０Ｗｉ ｋｉ－ＱＡ数据集实验对比结果ＭｏｄｅｌＩＡＲＮＮＧａｔ ｅ［２２］Ｍｕｌｔ ｉｈｏｐＳｅｑｕｅｎｔ ｉａｌ ＬＳＴＭ［２５］ＲＥ２［ ３０］Ｃｏｍｐ Ｃｌ ｉｐ ＋ＬＭ＋ＬＣ［３１］ＢＥＲＴＡｔｔ ｅｎｔｉｏｎ＾２ ７＾Ｉ Ｉ ＡＳ［２ ７］ＳＡＡＳｗｉｔｈＫＩＳＩＭＳＡＡＳｗｉｔｈＫｌ ＳＩ （ｔｙｐｅ）ＭＳＡＡＳｗｉｔ ｈＫｌ ＳＩ （ ｈｅａｄ）ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ （ ｈｅａｄ＋ｔｙｐｅ）７６ ９０＊４（ＴＭＲＲ其中， ＳＡＡＳｗｉｔｈＫＩ ＳＩ 模型表示将问题的语义信息注意力和问题的关键信息注意力都添加在模型的第一阶段， 构建候选答案的三个语义表示， 然后对三个语义表示结果进行融合， 构建候选答案的语义表示与问题的语义表示， 并将二者进行交互选出最佳答案；ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ 表示本文的融合问题关键信息和问题语义信息的多阶段注意力答案选取模型， 其中， ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ （ ｔｙｐｅ） 表示第一阶段只采用问题类型作为问题关键信息进行信息增强， ＭＳＡＡＳｗｉ ｔｈＫｌ ＳＩ（ ｈｅａｄ） 表示第一阶段只采用问题中心词作为问题关键信息进行信息增强，ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ（ ｈｅａｄ＋ｔｙｐｅ） 表亦第一■阶段同时采用问题类型和问题中心词作为问题关键信息进行信息增强．在表８、 表９ 和表１０ 中，”表亦显著性水平汐＜０．０５，“》”表示显著性水平ｆ＜０．０１ ， 本文显著性验证参考文献［３２］ 中的方法， 在测试集上， 采用１０００ 次有放回的抽样进行评估． 具体来说，ＩｎｓｕｒａｎｃｅＱＡ数据集是针对ＨＡＳ 模型进行显著性检验的， ＴＲＥＣＱＡ数据集是针对ＱｕｅｓｔｉｏｎＣｌａｓｓｉ ｆｉｃａｔｉ ｏｎＤｅｅｐＬｅａｒｎｉｎｇ模型进彳了了 显著性检验的， Ｗｉｋｉ ＱＡ数据集是针对ＣｏｍｐＣｌ ｉｐ＋ＬＭ＋ＬＣ模型进行了显著性检验的． 从表可以看出， 相较于表中的对比模型， 本文模型的多项指标都有显著性提尚．根据表８、表９ 和表１０ 中的结果， 从对问题和答案的编码方式来看， 可以发现Ｂａｇｏｆ Ｗｏｒｄ模型远不如采用深度学习的编码方式， 这是由于Ｂａｇ ｏｆＷｏｒｄ模型单纯地从词的角度分析， 未考虑文本的内容特征和其他关联特征． 从注意力的增加来看，添加了注意力机制的模型效果要明显优于不添加注意力机制模型的效果， 这是由于注意力机制加强了问题和答案的交互能力； 从注意力机制的添加方式来看， 采用ｓｅｌｆａｔｔｅｎｔｉ ｏｎ 或者ｍｕｌｔｉ ｈｅａｄｓｅｌｆａｔｔｅｎｔｉ ｏｎ的模型（ Ｍｕｌ ｔｉ ｈｏｐＳｅｑｕｅｎｔｉａｌ ＬＳＴＴＭ、ＴｒａｎｓｆｏｒｍｅｒｗｉｔｈＨａｒｄＮｅｇａｔｉ ｖｅｓ模型） 效果也要优于其他注意力添加方式； 另外， 基于ＢＥＲＴ的模型（ＢＥＲＴＡｔｔｅｎｔｉ ｏｎ、ＨＡＳ） ， 相较于以往的模型， 取得了最佳的效果．在ＩｎｓｕｒａｎｃｅＱＡ数据集中， 相比于以往单个维度注意力的添加， 本文ＭＳＡＡＳｗｉ ｔｈＳＩＫＩ 模型分阶段地融合了语义信息和问题关键信息两个维度的注意力， 取得了最好的效果， 证明了本文模型的有效性． 具体来说， 除了基于ＢＥＲＴ的模型， 本文的５０２ 计導机攀报： ＿１苹ＳＡＡＳｗｉｔｈＫＩＳＴ模型就表现出了明显的优势， 说明本文问题的语义傦息和间題关键倩息的信息谓强是有效果的； 在进一步将问题关键信息和问题语义偉息分阶段地进行倭． 息增强以Ｊｔ，ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ場型的性能也超过了基于ＢＥＲＴ的模型，．表现出了最优的性能， 说明了：■本文构建调分阶段的信息增强方式是有效的？在ＴＫＥＣ－ＱＡ数据集中＊ 本文提出的ＭＳＡＡＳｗｉ ｔｈＫＰ．ＳＩ （上ｅ：ａｄ＋ｔ： ｙｐｅ： ３＿＿隹ＭＲＲ猜标上取得的结果明显好于其他揍型， 在ＭＡＰ指标上虽然浼有达到最优， 但也维持在比较． 高的性能． 同时， 在添加多阶段的往意力机制以后， 本文ＭＳＡＡＳｗｉｔｈＫＩ ＳＩ 模型的性能都是有所提升的． 也说明＇了本文多阶段提型的有数性？对乎ＭＡＰ指标稍微偏低的原＇因可能是由ｆ在ＴＲＥＣＱＡ数据棠中＇， 有少■量拘麵输疋确＃案个数比较多（ 在训＿亀１ 搶備魏和测试集上， 量多的一个何题的正确答案个数分别为和均个数海和４．本文模型；在迸行分阶段筛选时， 若正确答案的个数超过了筛选的数１， 将有部分正确答案不能筛选到， 则在计算ＭＡＰ指标时作为较低的＃分处理＊ 队而导致ｍａｐ指标中的正确答案的平均得分普遍偏低．在Ｗｉ ｋｉ ＱＡ数■＿中， 本文的Ｍ￥ＡＡＳｗｉｔｈＫＩ－ｓｒ（： ｈｅｉｉｄ＋ｔｙｐｅ）模盧的性能蛊不如基于ＢＥＲＴ的ＨＡＥＲＡｔｔｅｎｔｉ ｏｎ和 梟也观羅身于其他擦型， 也说明了本文樓型时有效牲． 对于本文模型性能不如文献［２７］的两个模型的性能， 我们通过分析发现， 由于Ｗｉ ｋｉ ＱＡ数据集的何句采用Ｂｉｎｇ的搜素Ｈ志构＿＊相较于ＩｎｓｕｒａｎｃｅＱＡ数磨參和ＴＲＥＣ－ＱＡ数据集而；言， 显得更加的随意， 其封法结构和语义结构也不够完＃，由于ＢＥＲＴ樓型采用了大规模语料进行预训练， 对于＃正式语有的编码能力要比本文模型強， ＃致本文模型对于问题的编码不如基于ＢＥＲＴ的模： 遒效果好， 从而在： 最终结果上要稍差一些．４．４． １ 间题语义和关键信息注意力性能分析为了验证本文模型中问题语＾配意力和问题关；键信息注意力的引人对模型的性能的影响， 本文在三个数据葉上分别设量了六组对照实璩， 分别是丄１节靱述的基础瘵型（ＡＳ）、 只采用问蓮关键信息对候选答案进行第一阶段注意力增强选出梟隹答案Ｗ＿（ＳＡＡＳｗｉｔｈＫＩ） ＇．只茱甩问廳义侥息对候选答案进行第一阶段注意？力增强选出最佳答案的模讓ｆＳＡＡＳ福１ＳＤ和ＭＳＡＡＳ软ｉｔｈＫｌｒＳｌ模麵？ 其中， ＳＡＡＳｗｉｔｈＫＩ模：塑包括ＳＡＡＳｗｉｔｌｉＫＫｔ）、ＳＡＡＳｗｉ ｔｈＫＩ（；ｈ） ＳｌＳＡＡＳｗｉｔｈ应问題的关键？倩息单独采用问题类型、单独使用问题中心词以及同时采用问题． 类塵． 和中心词进行关键信息增强的模ＳＬ 具体的实验结果姐圈１０、 图１１ 和爾１２所：示．７９７８７７７６７５７４７３７２７１７０－Ｔ１ｍＩ＿缝讀１ｓＩ□ＡＳｓＳＡ／０ＳＡ＾ｓＳＡｉ□ＭＳｉｔｌｄｗｗｗｗ：ＩｔｈｔｈｔｈｔｈｗｉｎｐＫＩＫＩＫＩＳＩｔｈｌ！—１＞ｋｈ）－ＳＩｖａｌｔｅｓｔｌｔｅｓｔ２图１１Ｉｊｉｓｃａｓｔｉｉ ａＱＡ问题爾叉和襄＿■■屬３意为性ｆＳＳｆ比ｊｉｔ，１１ＴＲＳ２ ＱＡ｜ｆ邏谮置賴桑職霜息■蠢为牲能对康國从画１０、 圏１１＿圏１２ 可以■出 雜于三个数据集崔基础檬型上单独滚加问題？义信息和问题关键鲁息的注拿力对候选答案进行翁息增强， 相较于基础模型都有不同程度的性能提．升， 间． 题裔义信息的Ｉｔ意力信息增强性能提升的程度蘩大何题关俸息； 针对问题关键倩息， 添加问题平心词注賞力对性能的提升优于问题类型注意力； 词时， 在第一阶庚添加阿題关键？倩息的基础上， 在第二阶段再次添加寒仰麟ｔ 難合潛爾裏与真 ６！錄段灣鑛麵取儀塑 ５０３ ３ 期问题语Ｘ信息＞性能也有一定程度的提升． 这说明本文所构建的问題语义倩息和问题关键償息均对模盤性能的提升犛有帮助的．另外， 单独对比间龜类型、 问： 题中心词、 Ｋ題语义三种注意力对橼谨性能的影响（见模＿ＳＡＡＳｔｓ＇ｉｔｈＫＩ （ｔ ）ｊＳＡＡＳｗｉｔｈＫＩ（ ｈ）？ ＳＡＡＳｗｉｔｈＳＩ效果）， 可以发现， 单独添加问题语义柱意力对模型效果的提升？巖为明Ｓ， 可能是问题的语义信息在一定： 程度上也包贪了问题类遨信息和问题的中心Ｍｆ息以茂一些其他ｆ息 这也是在我们多盼段的樓型中将语义信息添加在第二阶段的原因之￣４．４．２ 问题语义和关键儀息注意力可视化分析为了惠清楚地说明本文问題语义價息和关键信息－对午模型性能的影响， 我们从数据集： 中选取了一些问癍和＇其候速答案， 输出了其各个爾语在各个阶段的权重表示＊并进行了可视化分析， 如在：ＩｎＳｕｒａｎｃｅＱＡ数德： 集中， 谢于问， 顯：“Ｗｈｅｎｂｅｔｈｅｆｉ ｒｓｔＬｉｆ＃Ｉｎｓｗ坪ｎｅｅｐｏｌ ｉ ＜ｊｙｉ ｆｔ抑．ｆ？＇Ｖ首先进行第一阶段信息增强？ 该问题为时间类型的问句》 抽取出的中轉乘＇费为《ｆｉｒｓｔ， ＬｉｆｅＩｎｓｕｒａｎｅｆｔｐｏｌ ｉ ｃｙ＃ｉ ｓｓｘｔｓｌ１， 其最隹答案与排名第一和任一其他的非最桂輕案的语义表示． 在经过向题关键信息注意力増强后的谙义表示可视化为图■ＩＩ、 ５Ｔ１４和圈１５．ｔｈｅ ｏ ｌｄ ｌｉ ｆｅＩ ｎｓｕ ｒａ ｎｃｅｔｈｅ ｒｅｓ ａｌ ｔ ｅｒｓｕｒ ｖｉｖ ｅｅ ｖｉ ｄｅ ｎｃｅＩ ｎ Ｌｏ ｎｄ ｏｎＭｒ． Ｇｙｂｂｏｎｂ ｅｙｅａ ｒ ｐｏｌ ｉ ｃｙｆ ｒｏｍａｌ ｄ ｅｒ ｍａｎＲｉ ｃ ｈａｒｄＭａ ｒ ｔｉ ｎ ａｎｄｐａｓ ｓｐａｙ ｂｕｔａｆｔｅｒｓｏｍｅｌｅｇａｌ ｗｒ ａｎｇ ｌｅＭａ ｒ ｔｉｎｗｉｎｂｅｆｏｒ ｅｔｈ ｅｔａｋｅ ｏｕ ｔ ｏｎ Ｗｉ ｌ ｌ ｉ ａｍＧｙｂｂｏ ｎ ｏｎ］Ｕｎ ｅ ８｜ｆｏ ｒ ｔ ｈ ｅ ｃ ｉｔｙ ｏｆＬｏｎ ｄｏｎｈ ｅ ｂｕｙａｅ ｎｄｏ ｆ ｔｈｅｙｅａｒａｔｆ ｉ ｒｓｔｔｈ ｅ ｃｏｍｐａ ｎｙ图１３ 最佳候选答案添加问题关键信息的语义表示可视化ｌ ｉｆｅｉｎｓｕ ｒａｎ ｃｅｇｏＩｎｔｏｙｏｕｐｕｒｃｈａｓ ｅａｎ ｏｖｅ ｒｙ ｑｕｉｃｋ ｌｙ ａｓｓｏ ｏｎａｎｄｍｅｄｉｃａｌ ｒｅ ｃｏｒｄｉｔｅｆｆｅｃｔｅｆ ｆｅｃｔ ａｆｔｅｒｔｈｅ ｆ ｉｒｓｔｐｒｅｍｉｕｍｈａｖｅｂｅｐａｙ ａｎｄｔ ｈｅ ｄｅｌ ｉｖｅ ｒｙｒｅｑｕｉｒｅ ｍｅ ｎｔ ｈａｖｅ ｂｅ ｓｉ ｇｎｉｆｅｘ ａｍｐｏｌｉｃｙ ｔ ｈｅｃｏｍｐａ ｎｙｍａｙｄｒａｆ ｔ ｔｈｅｆｉｒｓｔ ｐｒｅｍｉｕｍａ ｎｄｔｈｅｐｏｌ ｉｃｙｍａｙｇｏＩｎ ｔ ｏｅｆｆｅｃｔａ ｓａｄａｙｏｒ２ａｆｔｅｒａｐ ｐｌ ｙＩ ｆｙｏｕａｐｐ ｌ ｙｆｏｒａｐｏｌ ｉｃｙ ｔ ｈａｔ ｒｅｑｕｉｒｅ ｅ ｘａｍｃａｎｔ ａｋｅａ ｓｌｏｎｇａ ｓ６ｍｏ ｎｔｈ ｔｈｅｐｒ ｏｃｅｓｓｂｅｃｏｍｐ ｌｅｔ ｅａ ｎｄｔ ｈｅ ｐｏｌｉｃｙ ｇｏｉｎｔ ｏ图１４ 排名第一的非最佳候选答案添加问题关键信息的语义表示可视化ｄｉ ｓａ ｂｉ ｌ ｉ ｔｙｃ ｌａ ｉ ｍｂ ｅｉ ｎｖ ｅｓｔｉｇａｔｅ ｔ ｈ ｏｒｏｕｇｈｌｙ ｆｏｒｌ ｅｇｉｔｉ ｍａｃｙ ｏｒｆｒ ａｕ ｄｐｒ ｉ ｏｒｓ ｉ ｃｋｎｅｓｓｏｒｉ ｎｊｕｒｙ ｎｏｔｄｉ ｓｃ ｌ ｏｓｅ ｃａ ｎｊｅｏｐａｒ ｄ ｉ ｚｅｙｏｕ ｒｃｌ ａｉ ｍｅｖｅ ｎｃｏｎ ｓｔｉｔｕ ｔ ｅｏ ｕｔ ｒｉｇｈ ｔｆｒａｕｄｈｏ ｗｅｖ ｅｒｉｆｙｏｕ ｒｃｌ ａｉ ｍｂｅ ｌ ｅｇｉｔｉ ｍａｔｅ ｍｏｓｔ ｏｆｔ ｈｅｄ ｉ ｓａｂｉ ｌ ｉｔｙｃｏｍｐａ ｎｙ ｉ ｎ ｔ ｈｅｍａ ｒ ｋｅｔ ｐａｙｃ ｌａｉ ｍａｆｔｅｒｔｈｅｐａｐｅｒ ｗｏｒ ｋａｎ ｄｄｉ ｓ ｃｏｖｅ ｒｙｐｅ ｒ ｉ ｏ ｄｂｅｏｖｅｒ＿ＩＳ 襲他＃翁｜｜＊爾答爾添難闻＿＿１１， ： 的语＿參可餐化其中？ 最隹答案、排名第一的非最隹答案和任一其他非璩隹答案与阿题的柑似虔得分分别为１４ＥＳＳ、０？／３：＿３ 和一１２ＳＭ．． 我们甸以食现． 廉倫翁：讀直接对问题所对应的产生时间及＃景进行了阐述； 而排名第一的非最隹答案ａ然提到了时间倩息，但在语义方面，讲述的是保险生效时间＊ 与何题语义不符．同时我们还可以发现＊ 对于最佳候选答案， 在： 真语叉纖ＳＫ中１“ Ｊｕｎｅ１８ ， １５８ ３”、“１ｙｅａｒ”、＊＊ｅｎｄ”、“ｂｅｆｏｆ ＾等与財同相关的词语和，？ ｌ ｉｆｅ’Ｖ＊ ｉ ｎｓｕｒａｎｃ＃、“ｐｏｌｉｃｙ“等与问题中心词语柑关的词１吾的权重爵弭显高ｆ５其他■语的权重？菌对于泰最隹答案？ 其枚： 篥分布相对比较分散，说明了添加问題的关键信息》对以让候． 选答案中与问题关键信息相关的词语权童加大， 蜜容易捕获候选答案中的关键情息． ， 从而建立候选餐案Ｊｆ间题的联系， 证明了本文问题关键信息注倉：力的：：有鱗接着． 在第一阶段关键信息增强的基础上进行第二阶段的信息增强ｒ将？添加了问题语义信息的结果进 可视化， 其鑛＾果如屬 画１７ 和画１６ 所：亦．ｆｏｐｗｈｉ ｃｈ ｔ ｈｅｒｅ如ｓｕｒｖｉｖｅｅｖｉｄｅｎ ｃｅｂｅｔａｋ ｅｏｕｔ ｏｎＷｉｌｌ ｉ ａｍＧｙｂｂｏｎｏｎ ｊｕｎｅ１ ８１ ５８３ｉ ｎ Ｌｏｎｄｏｎ Ｍｒ． Ｇｙｂｂｏｎｂ ｅａ ｓａｌ ｔ ｅｒｏｆｆｉｓ ｈａｒ ｒｄｍｅａｔ ｆｏｒｔ ｈｅｄｔｙ ｏｆＬｏｎｄｏｎｈｅｂｕｙａ１ｙｅａｒ ｐｏｌ ｉ ｃｙｆｒｏｍａｌ ｄｅｒｍａｎＲｉ ｃｈａｒ ｄＭａｒｔ ｉ ｎａｎｄｐａｓｓａｗａｙｂｅｆ ｏｒｅｔ ｈ ｅｅｎｄｏｆｔ ｈｅｙｅａｒａｌ ｆｉ ｒｓｔ ｔ ｈｅｃｏｍｐａｎｙｒｅｆｕｓｅｐａｙ ｂｕｔａｆ ｔｅｒ ｓｏｍｅｌ ｅｇａｌ ｗｒａｎｇｌｅＭａｒｔｉ ｎｗｉ ｎ图１６ 最佳候选答案添加问题语义信息的语义表示可视化５０４ 计 算机 学 报 ２０２１年图１７ 排名第一的非最佳候选答案添加问题语义信息的语义表示可视化ｄｉｓａｂｉ ｌ ｉｔ ｙｃｌａｉ ｍｂｅＩｎｖｅｓｔ ｉ ｇａｔｅｔｈｏｒｏｕｇｈｌ ｙ（ｏｒｌ ｅｇｉ ｔ ｉｍａｃｙｏｒ ｆｒａｕ ｄｐｒｉｏｒｓｉｃｋｎｅｓｓ ｏｒＩｎｊｕｒｙ ｎｏｔｃｏｎ ｓｔ ｉ ｔ ｕｔ ｅｏｕｔ ｒｉｇｈｔ ｆ ｒａｕｄｈｏｗｅｖｅｒｉ ｆｙｏｕ ｒｃｌ ａｉｍｂｅｌ ｅｇｉｔ ｉ ｍａｔ ｅｍｏｓｔ ｏｆ ｔ ｈｅｄｉ ｓａｂｉｌ ｉ ｔｙａｆ ｔｅｒｔ ｈｅｐａｐｅｒ ｗｏｒｋａｎ ｄｄｉ ｓｃｏｖｅｒｙｐｅｒ ｉ ｏｄｂｅｏｖｅｒｄｉｓｃｌ ｏｓｅｃａｎｃｏｍｐａｎｙｔｎｊｅｏｐａｒｄｉｚｅｙｏｕｒＩ ｈｅｃ ｌ ａｉｍｅｖｅｎ＿１８； 霧雜孝翁 爾答爾添難问眞—夂１１＿语＿齡可视化其中，Ｍ隹笞案、排名隼一的非最佳笞案和任一其他非最佳答案与何题的相似度得分分别为０． ？１３、０．２Ｍ４ 和一０．００奵． 对于最■候逸：答棄，在其涪义表示中． 与随题〗吾义相关． 的诃嵌或者句子的輕：重要明爲高于其他词语的权重， 如首句“ｔｈｅｏｌｄｌ ｉｆｅｉ ｎｓｕｒａｎｔ＊ｐｏｌｉｃｙｆｏｒ…丨 对；宁：雜餐筆一■的非最律罄寒， 其主要权童也集： 中在与问题语义相关的开头，ｉｎｓｕｒａｎｃｅｇｏｉ ｎｔｏｅｆｆｔｅｔａｆｔｔｒｔｈｅｆｉｒｓｆｉ ？ ？ ？＂； Ｍ对于图１８ 中的非最佳答案？ 其权重的分布相对比较分散， 虽然也有一些词裔校重较高， 但是也都不＇是＿常明Ｍ， 且与问題的语夂关联性不是太高？进一步证明了苹文问题窜夂信息注意力的有效性．４． ４．３ 多阶段租意力引人性能分析为了验证模型将问题语义注篇力和关键信息注意力分多个阶段引人对模型性能的影响冰文在三个数据集４；设置Ｔ六组对藤实验》 分别是ｓ．１ 叙述的基础模 ＡＳ）ｓＳＡＡＳｗｉｔｈＫＩＳＩ、第一、 二阶段分射采用问题语义信息和问题关键信息进行注意力增强选出． 最穩馨■的＇模８ＫＭＳＡＡＳＶｒｔｈＳＩ ＫＩ：）．ｔｌＭＳＡＡＳｗｉｔｈＩ＜Ｉ－ＳＩ：：模塑＊其中， ＭＳＡＡＳｗｉｔｈＳＩ－ＫＩ模靈：同－样包括ＭＳＡＡＳｗｉｔｈＳＩ－ＫＩ （ ｔ） 、 ＭＳＡＡＳ软ｉｔｈＳＫＫＩ（ｈ）和ＭＳＡＡＳｗｉｔｈＳＩ－ＫＩＣｆ＆ｈ）， 分别对處舞蘿的关候醫息采用何巍类型ｓ 时癍中心Ｍ、同时采用问Ｍ类盡和中心爾？ 实雜猶系如爵１９＇、商節和幫２１ 所示厲．２０ＴＲＥｅ－Ｑ：Ａ多翁段注霉 性能对國Ｂ２１Ｗｉ ｋｉ ＱＡ载脾段洼翥：力引入性能对此图从雇１§、經２〇 和經ｎ可以詹．出 在三个数据集上相比于＃闻一阶段加人多种注意力（ＳＡＡＳｗｉｔｈＳＩＫＩ｝ 以及交换问题毎义注意力和问题关键信息注意力的添加顺序ＸＭＳＡＡＳｗｉ ｔｈＳＩ ＫＩ） ， 本文的ＭＳＡＡＳｗｉｔｈＫＩ－ＳＩ 標型性能均迭． 到了纛优效果，说明了本文■出的分阶段注意力的方法的有效／ｆｔ＊苹文的多阶段法意力机制踉人在做笞案选择任务时的思维方式是相似的， 当人在做笞案选取任务时，一般籴说会首先阅读■间題， 然后以问题中的一些关键信息． 对候选答案迸行初步地筛选邊着， 以问题中猶详细倩息与迦步筛： 选： 出来： 的答累进行进一步地对比， 从而选出最隹答案． 人类以关键．息进行初步筛途的过輕＿可以看砟是ＭＳＡＡＳ＇ｗｉｔｈＫＩ－ＳＩ：镇型张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ５０５３ 期第一阶段以问题关键信息进行信息增强筛选答案的过程； 人类以问题中的详细信息进行进一步对比的过程就可以看作是ＭＳＡＡＳｗｉ ｔｈＫＩ ＳＩ 模型第二阶段以问题语义信息进行信息增强筛选答案的过程， 因此本文的模型与人进行该任务的步骤是大致吻合．５ 总 结本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型， 分阶段地将问题的语义信息和关键信息通过注意力机制的方式对候选答案的语义表示进行信息增强， 加强了对候选答案中与问题相关的信息的建模能力， 增强了模型对候选答案关键信息的捕获能力， 从而有效提升了答案选取任务的性能； 同时， 在模型的训练过程中， 对于负样本的选取， 实时选取出最佳答案以外的最优答案作为负样本， 以对模型进行优化， 增强了模型的学习能力．通过在ＩｎｓｕｒａｎｃｅＱＡ、ＴＴＲＥＣＱＡ和Ｗｉ ｋｉ ＱＡ数据集上的相关实验， 本文的模型都表现出优越的性能，并在不使用大规模辅助语料的基础上， 在多个指标中超过了已知最好的同类模型．不过， 在以上的研究过程中， 我们主要集中在英文数据集上， 在未来的工作中我们将尝试对中文语料进行处理， 验证该模型是否具有普适性； 同时， 答案选取任务在具体的使用过程中与搜索引擎类似，一般需要进行实时在线计算， 对模型的时间性能要求较高， 在后续的工作中， 我们也将进一步优化模型的执行效率； 另外， 本文所提模型在最优答案较少的数据集（如ＩｎｓｕｒａｎｃｅＱＡ） 上的效果要明显好于有多个答案的数据集， 同时也表现在ＴＲＥＣＱＡ和ＷＵｎＱＡ数据集上的ＭＡＰ性能略低， 这也是我们后期对答案选择模型进一步优化的研究重点． 另外， 随着ＥＬＭ〇、Ｂｅｒｔ、ＧＰＴ等预训练模型的兴起和迁移学习技术的发展， 大规模预训练＋微调的方式正在成为一种新的思路［ ＾４］， 因此在后续的研究中，如何利用大规模数据来提升答案选取任务的效果将是我们的重点研究方向．参 考 文 献［１］ＺｈａｏＹｉ Ｐｉｎｇ． Ｃｏｍｐａｒａｔ ｉｖｅＳｔ ｕｄｙｏｎＣｏｍｍｏｎａｎｄＳｅｍａｎｔｉ ｃＳｅａｒｃｈＥｎｇｉｎｅｓ［Ｍ． Ｓ． ｄｉｓｓｅｒｔ ａｔｉｏｎ］． ＪｉｌｉｎＵｎｉｖｅｒｓｉｔｙ？Ｃｈａｎｇｃｈｕｎ，２００ ９（ ｉ ｎＣｈｉ ｎｅｓｅ）（ 赵夷平． 传统搜索引擎与语义搜索引擎比较研究［硕士学位［２］ＨｅｉｌｍａｎＭ，ＳｍｉｔｈＮＡ． Ｔｒｅｅｅｄｉｔ ｍｏｄｅｌ ｓｆ ｏｒｒｅｃｏｇｎｉｚｉｎｇｔｅｘｔ ｕａｌｅｎｔａｉｌｍｅｎｔｓ ？ｐａｒａｐｈｒａｓｅｓ？ ａｎｄａｎｓｗｅｒｓｔｏｑｕｅｓｔ ｉｏｎｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＨｕｍａｎＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ： Ｔｈｅ２０ １０ＡｎｎｕａｌＣｏｎｆ ｅｒｅｎｃｅｏｆｔ ｈｅＮｏｒｔ ｈＡｍｅｒｉｃａｎＣｈａｐｔ ｅｒｏｆｔｈｅＡｓｓｏｃｉ ａｔ ｉｏｎｆｏｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔｉ ｃｓ． ＬｏｓＡｎｇｅｌｅｓ？ＵＳＡ， ２０１０； １０１１ １０１９［３］ＳｕｒｄｅａｎｕＭ， Ｃｉａｒａｍｉｔ ａＭ， ＺａｒａｇｏｚａＩ Ｉ ． ＬｅａｒｎｉｎｇｔｏｒａｎｋａｎｓｗｅｒｓｔｏｎｏｎｆａｃｔｏｉｄｑｕｅｓｔｉｏｎｓｆｒｏｍＷｅｂｃｏｌｌｅｃｔ ｉｏｎｓ．Ｃｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ，２ ０１２，３７（２） ： ３５ １ ３８３［４］ＹｉｈＷＴ， ＣｈａｎｇＭＷ， ＭｅｅｋＣ， ｅｔａｌ． Ｑｕｅｓｔ ｉｏｎａｎｓｗｅｒｉｎｇｕｓｉｎｇｅｎｈａｎｃｅｄｌｅｘｉｃａｌｓｅｍａｎｔ ｉｃｍｏｄｅｌ ｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ５１ｓｔＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆ ｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉ ｎｇｕｉｓｔ ｉｃｓ． Ｓｏｆ ｉａ ，Ｂｕｌｇａｒｉａ ，２０ １３ ： １７４４ １７５３［５］ＴｙｍｏｓｈｅｎｋｏＫ， Ｍｏｓｃｈｉｔ ｔ ｉＡ． Ａｓｓｅｓｓｉｎｇｔｈｅｉｍｐａｃｔ ｏｆｓｙｎｔ ａｃｔ ｉｃａｎｄ ｓｅｍａｎｔｉ ｃ ｓｔｒｕｃｔ ｕｒｅｓ ｆｏｒ ａｎｓｗｅｒ ｐａｓｓａｇｅｓｒｅｒａｎｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ２ ４ｔ ｈＡＣＭＩ ｎｔ ｅｒｎａｔｉｏｎａｌｏｎＣｏｎｆ ｅｒｅｎｃｅｏｎＩｎｆ ｏｒｍａｔ ｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＭａｎａｇｅｍｅｎｔ ． Ｍｅｌｂｏｕｒｎｅ，Ａｕｓｔ ｒａｌｉａ，２０１５： １４５ １ １４６０［６］ＦｅｎｇＭ？ＸｉａｎｇＢ？ ＧｌａｓｓＭＲ？ｅｔａｌ． Ａｐｐｌｙｉｎｇｄｅｅｐｌｅａｒｎｉｎｇｔｏａｎｓｗｅｒｓｅｌｅｃｔ ｉｏｎ： Ａｓｔ ｕｄｙａｎｄａｎｏｐｅｎｔ ａｓｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ２０ １５ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＡｕｔｏｍａｔｉｃＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎａｎｄＵｎｄｅｒｓｔ ａｎｄｉ ｎｇ． Ｓｃｏｔ ｔｓｄａｌｅ， ＵＳＡ，２０１６： ８１３ ８２０［７］ＧｕｏＪ？ＹｕｅＢ， ＸｕＧ？ ｅｔａｌ． Ａｎｅｎｈａｎｃｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔ ｗｏｒｋｍｏｄｅｌｆ ｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅ２６ｔｈＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｏｒｌｄＷｉｄｅＷｅｂＣｏｍｐａｎｉｏｎ． Ｐｅｒｔｈ，Ａｕｓｔ ｒａｌｉ ａ， ２０１７； ７８９７９０［８］ＴａｎＭ， ＳａｎｔｏｓＣＤ， ＸｉａｎｇＢ，ｅｔ ａｌ． Ｉ ｍｐｒｏｖｅｄｒｅｐｒｅｓｅｎｔ ａｔｉｏｎｌｅａｒｎｉｎｇｆｏｒｑｕｅｓｔ ｉｏｎａｎｓｗｅｒｍａｔ ｃｈｉ ｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５４ｔｈＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆ ｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ，２０１６： ４６４ ４７３［９］ＤｅｎｉｌＭ？ＢａｚｚａｎｉＬ？ＬａｒｏｃｈｅｌｌｅＩ Ｉ，ｅｔａｌ． Ｌｅａｒｎｉｎｇｗｈｅｒｅｔｏａｔ ｔｅｎｄｗｉｔ ｈｄｅｅｐａｒｃｈｉｔｅｃｔｕｒｅｓｆ ｏｒｉｍａｇｅｔｒａｃｋｉｎｇ． ＮｅｕｒａｌＣｏｍｐｕｔ ａｔ ｉｏｎ， ２０１１ ， ２４ （ ８）： ２１５１ ２ １８４［１０］ＢａｈｄａｎａｕＤ？ＣｈｏＫ？ ＢｅｎｇｉｏＹ． Ｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｂｙｊｏ ｉｎｔ ｌｙｌｅａｒｎｉｎｇｔ ｏａｌｉｇｎａｎｄｔｒａｎｓｌａｔｅ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１４０９． ０４７３ ，２０１４［１１］Ｂｒｉ ｔｚＤ？Ｇｏｌ ｄｉ ｅＡ， ＬｕｏｎｇＭＴ？ｅｔ ａｌ． Ｍａｓｓｉｖｅｅｘｐｌｏｒａｔ ｉｏｎ ｏｆｎｅｕｒａｌｍａｃｈｉｎｅｔ ｒａｎｓｌａｔ ｉｏ ｎａｒｃｈｉｔ ｅｃｔ ｕｒｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔ ｈｅ２０ １７Ｃｏｎｆ ｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔ ｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ，２０１７： １４ ４２ １４５１［１２］ＴａｎｇＧ， ＭｕｌｌｅｒＭ，ＲｉｏｓＡ， ｅｔａｌ． Ｗｈｙｓｅｌｆ ａｔｔ ｅｎｔ ｉｏｎ？ ： Ａｔａｒｇｅｔｅｄｅｖａｌｕａｔ ｉｏｎｏｆ ｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎａｒｃｈｉｔｅｃｔ ｕｒｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ ？ Ｂｅｌｇｉｕｍ， ２０１８：４２ ６３ ４２７２［１３］ＣｈｅｎｇＪ ？ＤｏｎｇＬ， Ｌａｐａｔ ａＭ． ＬｏｎｇＳｈｏｒｔ ＴｅｒｍＭｅｍｏｒｙＮｅｔ ｗｏｒｋｓｆ ｏｒＭａｃｈｉｎｅＲｅａｄｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１６ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉ ｃａｌＭｅｔ ｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ａｕｓｔ ｉｎ， ＵＳＡ， ２０１６： ５５１ ５６１［１４］ＶａｓｗａｎｉＡ， ＳｈａｚｅｅｒＮ？ ＰａｒｍａｒＮ？ｅｔ ａｌ． Ａｔ ｔ ｅｎｔｉｏｎｉｓａｌｌｙｏｕｎｅｅｄ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬｏｓＡｎｇｅｌｅｓ， ＵＳＡ， ２０１７； ５ ９９８ ６００８ 论文］． 吉林大学， 长春， ２００９）５０６ 计 算机 学 报 ２０２１年［１５］ｌ ｉｅＸ， ＨｅＺ，ＳｏｎｇＪ，ｅｔａｌ． ＮＡＩＳ： Ｎｅｕｒａｌａｔｔｅｎｔｉｖｅｉｔｅｍｓｉｍｉｌａｒｉｔｙｍｏｄｅｌｆｏｒｒｅｃｏｍｍｅｎｄａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＫｎｏｗｌｅｄｇｅａｎｄＤａｔａＥｎｇｉｎｅｅｒｉｎｇ，２０１８ ，３０（１２）： ２３５４－２３ ６６［１６］ＹｕＳ，ＷａｎｇＹ，ＹａｎｇＭ，ｅｔａｌ． ＮＡＩＲＳ： Ａｎｅｕｒａｌａｔｔｅｎｔｉｖｅｉｎｔｅｒｐｒｅｔａｂｌ ｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１２ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｅｂＳｅａｒｃｈａｎｄＤａｔａＭｉｎｉｎｇ． Ｍｅｌｂｏｕｒｎｅ ，Ａｕｓｔｒａｌｉａ，２０１９：７９０－７９３［１７］ＢａｃｈｒａｃｈＹ，Ｚｕｋｏｖｇｒｅｇｏｒｉ ｃＡ，ＣｏｏｐｅＳ，ｅｔａｌ ．Ａｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｆｏｒｎｅｕｒａｌａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｕｓｉｎｇａｃｏｍｂｉｎｅｄｇｌｏｂａｌａｎｄｌｏｃａｌｖｉｅｗ／ ／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０ １７ＩＥＥＥ２ ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＴｏｏｌｓｗｉｔｈＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ．Ｂｏｓｔｏｎ，ＵＳＡ，２０１７ ：４２５－４３２［１８］ＸｕＤ，ＪｉＪ， ＨｕａｎｇＩ Ｉ，ｅｔａｌ．Ｇａｔｅｄｇｒｏｕｐｓｅｌｆ－ａｔｔｅｎｔｉｏｎｆｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１９０５． １０７２０，２０１９［１９］ＣｈｅｎＤ，ＦｉｓｃｈＡ，ＷｅｓｔｏｎＪ ，ｅｔａｌ ． ＲｅａｄｉｎｇＷｉ ｋｉｐｅｄｉａｔｏａｎｓｗｅｒｏｐｅｎ－ｄｏｍａｉ ｎｑｕｅｓｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５５ ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉ ｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ ，２０１７ ： １８７０－１８７９［２０］Ｉ ｌａｏＹ， ＺｈａｎｇＹ，Ｌｉ ｕＫ，ｅｔａｌ． Ａｎｅｎｄ－ｔｏ－ｅｎｄｍｏｄｅｌｆｏｒｑｕｅｓｔｉｏｎａｎｓｗｅｒｉ ｎｇｏｖｅｒｋｎｏｗｌｅｄｇｅｂａｓｅｗｉｔｈｃｒｏｓｓ－ａｔｔｅｎｔｉｏｎｃｏｍｂｉｎｉｎｇｇｌｏｂａｌｋｎｏｗｌｅｄｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５５ ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ ，２０１７： ２２１－２ ３１［２１］ＨｕａｎｇＺ，ＴｈｉｎｔＭ，ＱｉｎＺ．Ｑｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇｈｅａｄｗｏｒｄｓａｎｄｔｈｅｉ ｒｈｙｐｅｒｎｙｍｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０ ０８ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｈｏｎｏｌ ｕｌｕ，ＵＳＡ，２００８ ：９２７－９３６［２２］ＬｉＸ， ＲｏｔｈＤ． Ｌｅａｒｎｉｎｇｑｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｅｒｓ：Ｔｈｅｒｏｌｅｏｆｓｅｍａｎｔｉ ｃｉｎｆｏｒｍａｔｉｏｎ．ＮａｔｕｒａｌＬａｎｇｕａｇｅＥｎｇｉ ｎｅｅｒｉｎｇ，２００６，１２（３）：２２９－２４９［２３］ＷａｎｇＭ，ＳｍｉｔｈＮＡ， ＭｉｔａｍｕｒａＴ． Ｗｈａｔｉ ｓｔｈｅＪｅｏｐａｒｄｙｍｏｄｅｌ？Ａｑｕａｓｉ－ｓｙｎｃｈｒｏｎｏｕｓｇｒａｍｍａｒｆｏｒＱＡ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００７Ｊｏｉ ｎｔＣｏｎｆｅｒｅｎｃｅｏｎ ＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉ ｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇａｎｄＣｏｍｐｕｔａｔｉｏｎａｌＮａｔｕｒａｌＬａｎｇｕａｇｅＬｅａｒｎｉｎｇ． Ｐｒａｇｕｅ，ＣｚｅｃｈＲｅｐｕｂｌｉｃ，２００７ ：２２－３２［２４］ＷａｎｇＢ， ＬｉｕＫ，ＺｈａｏＪ． Ｉｎｎｅｒａｔｔｅｎｔｉｏｎｂａｓｅｄｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒａｎｓｗｅｒｓｅｌ ｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５４ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉ ｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ，２０１６ ：１２８８－１２９７［２５］ＴｒａｎＮＫ，ＮｉｅｄｅｒｅｅｅＣ． Ｍｕｌｔｉｈｏｐａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｓｆｏｒｑｕｅｓｔｉｏｎａｎｓｗｅｒｍａｔｃｈｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ４１ｓｔＩｎｔｅｒｎａ？ｔｉ ｏｎａｌＡＣＭＳＩＧＩＲＣｏｎｆｅｒｅｎｃｅｏｎＲｅｓｅａｒｃｈ ａｎｄＤｅｖｅｌｏｐｍｅｎｔｉｎＩｎｆｏｒｍａｔｉ ｏｎＲｅｔｒｉｅｖａｌ． ＡｎｎＡｒｂｏｒ．Ｍｉ ｃｈｉｇａｎ，ＵＳＡ，２０１８ ： ３２５－３３４［２ ６］ＫｕｍａｒＳ，ＭｅｈｔａＫ，ＲａｓｉｗａｓｉａＮ． Ｉｍｐｒｏｖｉｎｇａｎｓｗｅｒｓｅｌｅｃｔｉｏｎａｎｄａｎｓｗｅｒｔｒｉｇｇｅｒｉｎｇｕｓｉｎｇｈａｒｄｎｅｇａｔｉｖｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０ １９ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉ ｎｇａｎｄｔｈｅ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉ ｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． ＨｏｎｇＫｏｎｇ， Ｃｈｉｎａ ，２０１９：５９１３－５９１９［２７］ＸｕＤ，ＬｉＷＪ． Ｈａｓｈｉｎｇｂａｓｅｄａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １９０５．１０７１８，２０１９［２８］ＴａｙＹ，ＴｕａｎＬＡ，Ｉ ｌｕｉＳＣ． Ｍｕｌ ｔｉ－ｃａｓｔａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｓｆｏｒｒｅｔｒｉｅｖａｌ－ｂａｓｅｄｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇａｎｄｒｅｓｐｏｎｓｅｐｒｅｄｉ ｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２４ｔｈＡＣＭＳＩＧＫＤＤＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ Ｋｎｏｗｌ ｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ＆－ ＤａｔａＭｉ ｎｉ ｎｇ．Ｌｏｎｄｏｎ，ＵＫ，２０１８ ：２２ ９９－２３０８［２９］ＭａｄａｂｕｓｈｉＩ ＩＴ，ＬｅｅＭ， ＢａｒｎｄｅｎＪ． Ｉｎｔｅｇｒａｔｉｎｇｑｕｅｓｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｄｅｅｐｌｅａｒｎｉ ｎｇｆｏｒｉｍｐｒｏｖｅｄａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２７ ｔｈＩｎｔｅｒｎａｔｉ ｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ． ＳａｎｔａＦｅ，ＵＳＡ，２０１８： ３２８３－３２９４［３０］ＹａｎｇＲ， ＺｈａｎｇＪ， ＧａｏＸ，ｅｔａｌ．Ｓｉｍｐｌｅａｎｄｅｆｆｅｃｔｉｖｅｔｅｘｔｍａｔｃｈｉｎｇｗｉｔｈｒｉｃｈｅｒａｌｉｇｎｍｅｎｔｆｅａｔｕｒｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅ５７ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｆｌｏｒｅｎｃｅ ，Ｉｔａｌｙ， ２０１９： ４６９９－４７０９［３１］Ｙｏｏｎ，Ｓ， ＤｅｒｎｏｎｃｏｕｒｔＦ，ＫｉｍＤＳ，ｅｔａｌ． Ａｃｏｍｐａｒｅ－ａｇｇｒｅｇａｔｅｍｏｄｅｌｗｉｔｈ ｌａｔｅｎｔｃｌｕｓｔｅｒｉｎｇｆｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２８ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＭａｎａｇｅｍｅｎｔ． Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ ，２０１９： ２０９３－２０ ９６［３２］ＫｏｅｈｎＰ． Ｓｔａｔｉｓｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅｔｅｓｔｓｆｏｒ ｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｅｖａｌ ｕａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２００４ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｂａｒｃｅｌｏｎａ ，Ｓｐａｉｎ，２００４ ： ３８８－３９５［３３］ＧａｒｇＳ，ＶｕＴ，ＭｏｓｃｈｉｔｔｉＡ． ＴＡＮＤＡ：Ｔｒａｎｓｆｅｒａｎｄａｄａｐｔｐｒｅ－ｔｒａｉｎｅｄｔｒａｎｓｆｏｒｍｅｒｍｏｄｅｌ ｓｆｏｒａｎｓｗｅｒｓｅｎｔｅｎｃｅｓｅｌｅｃｔｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １９１１． ０４１１８，２０１９［３４］ＬａｉＴ， ＴｒａｎＱＩ Ｉ， ＢｕｉＴ，ｅｔａｌ ． Ａｇａｔｅｄｓｅｌｆ－ａｔｔｅｎｔｉｏｎｍｅｍｏｒｙｎｅｔｗｏｒｋｆｏｒａｎｓｗｅｒｓｅｌｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１９ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉ ｎｇａｎｄｔｈｅ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉ ｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｉ ｌｏｎｇＫｏｎｇ，Ｃｈｉｎａ，２０１９：５９５５－５９６１ＺＨＡＮＧＹａｎｇ－Ｓｅｎ，Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｍａｊｏｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｎａｔｕｒａｌ ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄａｒｔｉｆｉｃｉａｌｉ ｎｔｅｌ ｌｉｇｅｎｃｅ．ＷＡＮＧＳｈｅｎｇ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ，ｉｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＨｉｓｍａｊｏｒｒｅｓｅａｒｃｈＷＥＩＷｅｎ－Ｊｉｅ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ． Ｈｉｓｍａｊｏｒｒｅｓｅａｒｃｈｉ ｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＰＥＮＧＹｕａｎ－Ｙｕａｎ，Ｍ．Ｓ． ， ｅｎｇｉｎｅｅｒ．Ｈｅｒｍａｊｏｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＺＨＥＮＧＪｉａ，Ｍ．Ｓ．，ｅｎｇｉｎｅｅｒ．Ｈｉｓｍａｊｏｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｉｓｎａｔｕｒａｌ ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．张仰森等： 融合语义信息与问题关键信息的多阶段注意力答案选取模型 ５０７３ 期ＢａｃｋｇｒｏｕｎｄＴｈｅｐｒｏｂｌ ｅｍｓｓｔｕｄｉｅｄｉｎｔｈｉｓａｒｔｉｃｌ ｅａｒｅｖｅｒｙｒｅｌｅｖａｎｔｔｏｔｈｅａｕｔｏｍａｔｉｃｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇｓｙｓｔｅｍ， ｏｎｅｏｆｔｈｅｃｕｒｒｅｎｔｒｅｓｅａｒｃｈｈｏｔｓｐｏｔｓ． Ｉｎｒｅｃｅｎｔｙｅａｒｓ ， ｗｉｔｈｔｈｅｃｏｎｔｉｎｕｏｕｓｄｅｖｅｌｏｐｍｅｎｔｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｔｅｃｈｎｏｌｏｇｙ， ｖａｒｉｏｕｓａｕｔｏｍａｔｉｃｑｕｅｓｔｉ ｏｎａｎｓｗｅｒｉ ｎｇｓｙｓｔｅｍｓｈａｖｅｃｏｍｅｏｕｔｏｎｅａｆｔｅｒａｎｏｔｈｅｒ． Ｉｎｔｈｅｓｅｓｙｓｔｅｍｓ，ａｎｓｗｅｒｓｅｌｅｃｔｉ ｏｎｉｓａｋｅｙｓｔｅｐ， ｗｈｉｃｈｄｉｒｅｃｔｌｙａｆｆｅｃｔｓｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｓｅｓｙｓｔｅｍｓ．Ａｉｍｉ ｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｉ ｎａｃｃｕｒａｔｅｃａｐｔｕｒｅｏｆｋｅｙｉｎｆｏｒｍａｔｉｏｎｉｎｔｈｅａｎｓｗｅｒ， ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｍｕｌｔｉ ｓｔａｇｅａｔｔｅｎｔｉｏｎａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｍｏｄｅｌｔｈａｔｃｏｍｂｉｎｅｓｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎａｎｄｋｅｙｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｑｕｅｓｔｉｏｎ．Ｂｙｃｏｍｂｉｎｉｎｇｔｈｅｓｅｍａｎｔｉｃｉ ｎｆｏｒｍａｔｉｏｎａｎｄｔｈｅｋｅｙｉ ｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｑｕｅｓｔｉｏｎｗｉｔｈｔｈｅｓｅｍａｎｔｉｃｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｔｈｅｃａｎｄｉｄａｔｅａｎｓｗｅｒｓｉｎｓｔａｇｅｓ，ｔｈｅｓｙｓｔｅｍｐｅｒｆｏｒｍａｎｃｅｉ ｓｉｍｐｒｏｖｅｄｅｆｆｅｃｔｉｖｅｌ ｙ． Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｃａｎｄｉｄａｔｅａｎｓｗｅｒｓａｒｅｄｉｆｆｉｃｕｌｔｔｏｓｏｒｔ， ｔｈｉｓｐａｐｅｒｒｅｆｅｒｓｔｏｔｈｅｐｒｏｃｅｓｓｏｆｈｕｍａｎｔｈｉｎｋｉｎｇ，ｐｒｏｐｏｓｅｓａｓｔｒａｔｅｇｙｏｆａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｂｙｌａｙｅｒｓ ，ｗｈｉｃｈｉ ｍｐｒｏｖｅｓｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｅｖａｌ ｕａｔｉ ｏｎｉ ｎｄｅｘｅｓｏｆａｎｓｗｅｒｓｅｌｅｃｔｉｏｎｓｕｃｈａｓａｃｃｕｒａｃｙａｎｄｍｅａｎｒｅｃｉｐｒｏｃａｌｒａｎｋ．Ｔｈｅａｕｔｈｏｒｓａｎｄｌ ａｂｏｒａｔｏｒｙｏｆｔｈｉｓａｒｔｉｃｌ ｅｈａｖｅａｌｏｔｏｆｒｅｓｅａｒｃｈｉｎｔｈｅｆｉｅｌ ｄｏｆｎａｔｕｒａｌｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｆｏｒｅｘａｍｐｌｅ，ｔｈｅｙｈａｖｅｐｒｏｐｏｓｅｄａｓｅｍａｎｔｉｃｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎｍｏｄｅｌｉｎｔｅｘｔｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎ， ａｎｄａｒｅａｄｉ ｎｇｃｏｍｐｒｅｈｅｎｓｉｏｎｍｏｄｅｌｉｎｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉｎｇ．ＯｕｒｗｏｒｋｉｓｓｕｐｐｏｒｔｅｄｂｙｔｈｅＮａｔｉｏｎａｌ ＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉ ｎａ（ＧｒａｎｔＮｏ． ６１ ７７ ２０８１ ）． |
| [返回] |
下一篇：基于知识线记忆的多分类器集成算法