第４４ 卷 第３ 期２０２１ 年３ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ． ３Ｍａｒ． ２０２１图像信息对句子语义理解与表示的有效性验证与分析张 琨＾吕广奕２ ）吴 乐ｕ刘 淇２ ）陈恩红２ ）１ ：）（合肥工业大学计算机与信息学院 合肥２３ ０６０１）２）（ 中国科学技术大学计算机科学与技术学院 合肥２３０ ０２７）摘 要 近年来， 图像文本建模研究已经成为自然语言处理领域一个重要的研究方向．图像常被用于增强句子的语义理解与表示． 然而也有研究人员对图像信息用于句子语义理解的必要性提出质疑， 原因是文本本身就能够提供强有力的先验知识， 帮助模型取得非常好的效果； 甚至在不使用图像的条件下就能得出正确的答案． 因此研究图像文本建模需要首先回答一个问题： 图像是否有助于句子语义的理解与表示？ 为此， 本文选择一个典型的不包含图像的自然语言语义理解任务： 自然语言推理， 并将图像信息引人到该任务中用于验证图像信息的有效性． 由于自然语言推理任务是一个单一的自然语言任务， 在数据标注过程中没有考虑图像信息， 因此选择该任务能够更客观地分析出图像信息对句子语义理解与表示的影响． 具体而言， 本文提出一种通用的即插即用框架（ｇｅｎｅｒａｌｐｌｕｇａｎｄｐｌａｙｆｒａｍｅｗｏｒｋ） 用于图像信息的整合． 基于该框架， 本文选择目前最先进的五个自然语言推理模型， 对比分析这些模型在使用图像信息前后的表现， 以及使用不同图像处理模型与不同图像设置时的表现．最后， 本文在一个大规模公开数据集上进行了大量实验， 实验结果证实图像作为额外知识， 确实有助于句子语义的理解与表示． 此外， 还证实了不同的图像处理模型和使用方法对整个模型的表现也会造成不同的影响．关键词 图像文本建模； 句子语义理解与表示； 图像信息； 即插即用框架； 自然语言推理中图法分类号ＴＰ３０１ＤＯＩ号１ ０．１ １８９ ７／ＳＰ．Ｊ．１０１ ６．２０２１．００４７６ＴｈｅＥｆｆｅｃｔｉｖｅｎｅｓｓＶｅｒｉｆｉｃａｔｉｏｎａｎｄＡｎａｌｙｓｉｓｏｆＡｄｄｉｔｉ ｏｎａｌＩｍａｇｅｓｆｏｒＳｅｎｔｅｎｃｅＳｅｍａｎｔｉｃＵｎｄｅｒｓｔａｎｄｉｎｇａｎｄＲｅｐｒｅｓｅｎｔａｔｉｏｎＺＨＡＮＧＫｘｉｎＶ） ＾ＬＶＧｕａｎｇＹｉ２）ＷＵＬｅ１｝ＬＩＵＱｉ２）ＣＨＥＮＥｎＨｏｎｇ２）１ ：） ｛ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌ ｏｇｙ？ ＩｌｅｆｅｉＵｎｉｖｅｒｓｉ ｔｙｏｆＴｅｃｈｎｏｌｏｇｙ＾ Ｉｌｅｆｅｉ２３０６０１）２） ｛ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉ ｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ？Ｕｎｉ ｖｅｒｓｉ ｔｙｏｆＳｃｉ ｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉ ｎａ？ Ｉｌｅｆｅｉ２３００２７）ＡｂｓｔｒａｃｔＲｅｃｅｎｔｌ ｙ，ｔｈｅＶｉ ｓｕａｌ ｔ〇 Ｌａｎｇｕａｇｅ（ Ｖ２Ｌ）ｐｒｏｂｌ ｅｍｈａｓａｔｔｒａｃｔｅｄｍｏｒｅａｎｄｍｏｒｅａｔｔｅｎｔｉ ｏｎａｎｄｂｅｃｏｍｅａｎｉ ｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｔｏｐｉ ｃｉｎｎａｔｕｒａｌｌ ａｎｇｕａｇｅｐｒｏｃｅｓｓｉ ｎｇ． Ｂｙｕｔｉ ｌ ｉ ｚｉ ｎｇＣｏｎｖｏｌ ｕｔｉ ｏｎａｌＮｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ ＣＮＮ） ？ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋｓ（ ＲＮＮ）？ａｎｄＡｔｔｅｎｔｉ ｏｎＭｅｃｈａｎｉｓｍ？ｒｅｓｅａｒｃｈｅｒｓｈａｖｅｍａｄｅｆｕｌ ｌｕｓｅｏｆｉ ｍａｇｅｓａｎｄａｃｈｉｅｖｅｄｍｕｃｈｐｒｏｇｒｅｓｓｉｎＶ２Ｌｐｒｏｂｌ ｅｍ，ｅｓｐｅｃｉａｌ ｌ ｙｉ ｎｔｈｅａｒｅａｏｆｎａｔｕｒａｌｌ ａｎｇｕａｇｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇ．Ｉｎｆａｃｔ，ｉ ｍａｇｅｓａｒｅｏｆｔｅｎｔｒｅａｔｅｄａｓｔｈｅｉ ｍｐｏｒｔａｎｔａｕｘｉ ｌｉａｒｙｉ ｎｆｏｒｍａｔｉ ｏｎｔｏｅｎｈａｎｃｅｔｈｅｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇ．Ｈｏｗｅｖｅｒ，ｓｏｍｅｒｅｓｅａｒｃｈｅｒｓｈａｖｅｑｕｅｓｔｉｏｎｅｄｔｈｅｎｅｃｅｓｓｉ ｔｙｏｆｕｓｉ ｎｇｉ ｍａｇｅｓｆｏｒｓｕｃｈｕｎｄｅｒｓｔａｎｄｉ ｎｇｅｎｈａｎｃｅｍｅｎｔ．Ｔｈｅｙａｒｇｕｅｔｈａｔｔ ｅｘｔｕａｌｉ ｎｆｏｒｍａｔｉ ｏｎｈａｓａｌ ｒｅａｄｙｐｒｏｖｉ ｄｅｄａｖｅｒｙｓｔｒｏｎｇｐｒｉ ｏｒｔｏｐｒｏｍｉ ｓｅｔｈｅｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｏｆｍｏｓｔｓｅｍａｎｔｉ ｃｕｎｄｅｒｓｔａｎｄｉ ｎｇｍｏｄｅｌ ｓ， ｗｈｉ ｃｈａｒｅｅｖｅｎｃａｐａｂｌ ｅｏｆｇｅｎｅｒａｔｉ ｎｇｃｏｒｒｅｃｔａｎｓｗｅｒｓｗｉｔｈｏｕｔｔｈｅｃｏｎｓｉ ｄｅｒａｔｉｏｎｏｆｉ ｍａｇｅｓｉｎｓｏｍｅｓｃｅｎａｒｉ ｏｓ．Ｔｈｕｓ， ｔｈｅｆｉｒｓｔｃｒｕｃｉａｌｐｒｏｂｌ ｅｍｏｆＶ２Ｌｒｅｓｅａｒｃｈｓｈｏｕｌ ｄｂｅａｄｄｒｅｓｓｅｄｉｓｗｈｅｔｈｅｒｔｈｅｉ ｍａｇｅｉ ｎｆｏｒｍａｔｉ ｏｎｉｓｒｅａｌ ｌｙｎｅｃｅｓｓａｒｙａｎｄｈｅｌｐｆｕｌｆｏｒｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇａｎｄｒｅｐｒｅｓｅｎｔａｔｉ ｏｎ．Ｔｏｔｈｉｓｅｎｄ，ｉ ｎｔｈｉｓｐａｐｅｒ，ｗｅｆｏｃｕｓｏｎａ收稿日期：２０ １９ １１ １５； 在线发布日期：２０２０ ０５ ２６． 本课题得到国家杰出青年科学基金（ ６１３２ ５０ １０ ）、 国家自然科学基金（ ６１４ ０３ ３５８ ）、 中央髙校基本科研业务费专项资金资助． 张 琨， 博士， 讲师， 主要研究方向为自然语言处理与深度学习． Ｅｍａｉｌ： ｚｈａｎｇ１０２８ ｋｍｉ ＠ｇｍａｉｌ．ｃｏｍ． 吕广奕， 博士研究生， 主要研究方向为自然语言处理、 计算机视觉． 吴 乐， 博士， 副教授， 中国计算机学会（ ＣＣＦ） 会员， 主要研究方向为教育数据挖掘及知识发现、 推荐系统、 社交网络． 刘 淇， 博士， 特任教授， 中国计算机学会（ ＣＣＦ） 会员， 主要研究领域为数据挖掘与知识发现、 机器学习方法及其应用．陈恩红（ 通信作者） ， 博士， 教授， 中国计算机学会（ ＣＣＦ） 会士， 主要研究方向为数据挖掘． Ｅｍａｉｌ ：ｃｈｅｎｅｈ＠ｕｓｔ ｃ． ｅｄｕ． ｃｎ．３ 期张 琨等： 图像信息对句子语义理解与表示的有效性验证与分析４７ ７ｔｙｐｉｃａｌｓｅｎｔ ｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇｔａｓｋｗｉｔｈｏｕｔｉ ｍａｇｅｓ，ＮａｔｕｒａｌＬａｎｇｕａｇｅＩｎｆｅｒｅｎｃｅ（ ＮＬＩ） ，ｗｈｉｃｈｒｅｑｕｉｒｅｓａｎａｇｅｎｔｔｏｄｅｔｅｒｍｉ ｎｅｔｈｅｓｅｍａｎｔｉ ｃｒｅｌａｔｉ ｏｎｂｅｔｗｅｅｎｔｗｏｓｅｎｔｅｎｃｅｓ． Ｔｈｅｎ，ｗｅｉ ｎｃｏｒｐｏｒａｔｅｉ ｍａｇｅｓａｓｔｈｅａｕｘｉｌｉａｒｙｉ ｎｆｏｒｍａｔｉ ｏｎｉ ｎｔｏｔｈｅｓｅｎｔｅｎｃｅｐａｉｒｔｏｖｅｒｉ ｆｙｔｈｅｉｒｅｆｆｅｃｔ．Ｓｉ ｎｃｅｉ ｔｉ ｓｏｒｉｇｉ ｎａｌ ｌ ｙａｐｕｒｅｎａｔｕｒａｌｌ ａｎｇｕａｇｅｔａｓｋａｎｄｉ ｍａｇｅｓａｒｅｎｏｔｃｏｎｓｉ ｄｅｒｅｄｔｏｂｅｕｓｅｄｄｕｒｉ ｎｇｔｈｅｗｈｏｌ ｅｐｒｏｃｅｓｓｏｆｄａｔａａｎｎｏｔａｔｉ ｏｎａｎｄｓｅｎｔｅｎｃｅｓｅｍａｎｔｉ ｃｍｏｄｅｌ ｉ ｎｇ，ｃｈｏｏｓｉ ｎｇＮＬＩｔａｓｋｆｏｒｅｖａｌ ｕａｔｉ ｏｎｃａｎｈｅｌｐｔｏａｓｓｅｓｓｔｈｅｉ ｎｆｌ ｕｅｎｃｅｏｆｉｍａｇｅｉ ｎｆｏｒｍａｔｉ ｏｎｏｎｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇａｎｄｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｍｏｒｅｏｂｊｅｃｔｉ ｖｅｌ ｙ．Ｔｏｂｅｓｐｅｃｉｆｉ ｃ，ｗｅｆｉ ｒｓｔｄｅｓｉｇｎａｇｅｎｅｒａｌｐｌ ｕｇａｎｄｐｌ ａｙｆｒａｍｅｗｏｒｋｆｏｒｉ ｍａｇｅｕｔｉ ｌｉ ｚａｔｉ ｏｎａｎｄｉ ｎｔｅｇｒａｔｉ ｏｎ，ｗｈｉｃｈｃｏｎｓｉｓｔｓｏｆｆｏｕｒｇｅｎｅｒａｌｌａｙｅｒｓ，ｉ ． ｅ．，ＩｎｐｕｔＥｍｂｅｄｄｉ ｎｇｌ ａｙｅｒ， Ｃｏｎｔｅｘｔｕａｌ ＥｎｃｏｄｉｎｇＬａｙｅｒ，Ｉｎｔｅｒａｃｔｉ ｏｎＬａｙｅｒ， ａｎｄＬａｂｅｌＰｒｅｄｉｃｔｉ ｏｎＬａｙｅｒ，ａｎｄｔｗｏｐｌ ｕｇａｎｄｐｌ ａｙｌ ａｙｅｒｓ，ｉ ．ｅ．， Ｆｉ ｎｅ Ｇｒａｉ ｎｅｄＣｏｎｔｅｘｔ ＥｎｈａｎｃｅｄＬａｙｅｒａｎｄＣｏａｒｓｅ Ｇｒａｉ ｎｅｄＣｏｎｔｅｘｔ ＥｎｈａｎｃｅｄＬａｙｅｒ． Ｂａｓｅｄｏｎｔｈｉ ｓｐｌ ｕｇａｎｄｐｌ ａｙｆｒａｍｅｗｏｒｋ， ｗｅｔｈｅｎｒｅｐｒｏｄｕｃｅｆｉ ｖｅｓｔａｔｅｏｆｔｈｅ ａｒｔＮＬＩｍｏｄｅｌ ｓ，ｉ ．ｅ．，ＨｉｅｒａｒｃｈｉｃａｌＢｉ ＬＳＴＭＭａｘＰｏｏｌｉ ｎｇｍｏｄｅｌ ，ＥｎｈａｎｃｅｄＳｅｑｕｅｎｔｉａｌＩｎｆｅｒｅｎｃｅｍｏｄｅｌ ，Ｍｕｌ ｔｉｗａｙＡｔｔｅｎｔｉ ｏｎＮｅｔｗｏｒｋｍｏｄｅｌ ，ＳｔｏｃｈａｓｔｉｃＡｎｓｗｅｒＮｅｔｗｏｒｋｓｍｏｄｅｌ ａｎｄＧｅｎｅｒａｌ ｉｚｅｄＰｏｏｌ ｉｎｇｍｅｔｈｏｄｗｉｔｈｔｈｅｓａｍｅｄｅｅｐｌ ｅａｒｎｉｎｇｆｒａｍｅｗｏｒｋ．Ｎｅｘｔ，ｗｅｅｖａｌ ｕａｔｅｔｈｅｉ ｒｐｅｒｆｏｒｍａｎｃｅｓｗｉｔｈｏｒｗｉｔｈｏｕｔｉ ｍａｇｅｓｏｎａｌａｒｇｅａｎｎｏｔａｔｅｄＳｔａｎｆｏｒｄＮａｔｕｒａｌＬａｎｇｕａｇｅＩｎｆｅｒｅｎｃｅｄａｔａｓｅｔ．Ｉｎｏｒｄｅｒｔｏｂｅｔｔｅｒｖｅｒｉｆｙｔｈｅｒｏｌ ｅｏｆｉ ｍａｇｅｓ，ｗｅａｌ ｓｏｃｏｍｐａｒｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｓｏｆｍｏｄｅｌ ｓｗｉ ｔｈｄｉｆｆｅｒｅｎｔｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｍｅｔｈｏｄｓ（ ＶＧＧ１９ａｎｄＲｅｓＮｅｔ５０）ａｎｄｄｉ ｆｆｅｒｅｎｔｉｍａｇｅｕｔｉ ｌ ｉｚａｔｉ ｏｎｍｅｔｈｏｄｓ（Ｆｉ ｎｅｇｒａｉｎｅｄｍｅｔｈｏｄａｎｄＣｏａｒｓｅｇｒａｉｎｅｄｍｅｔｈｏｄ）． Ａｔｌ ａｓｔ ，ｅｘｔｅｎｓｉ ｖｅｅｘｐｅｒｉ ｍｅｎｔａｌｒｅｓｕｌ ｔｓｒｅｖｅａｌｔｈａｔｉ ｍａｇｅｓ，ａｓｔｈｅｅｘｔｅｒｎａｌｋｎｏｗｌ ｅｄｇｅ，ａｒｅｒｅａｌ ｌ ｙｈｅｌｐｆｕｌｆｏｒｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇ． Ｆｕｒｔｈｅｒｍｏｒｅ，ｗｅｈａｖｅｏｂｔａｉ ｎｅｄｓｏｍｅｏｔｈｅｒｃｏｎｃｌ ｕｓｉ ｏｎｓ：（１）Ｆｉｎｅｇｒａｉ ｎｅｄｉｍａｇｅｕｔｉ ｌ ｉ ｚａｔｉ ｏｎｍｅｔｈｏｄｉｓｃａｐａｂｌ ｅｏｆｐｒｏｖｉ ｄｉｎｇｍｕｃｈｍｏｒｅｕｓｅｆｕｌ ｉｎｆｏｒｍａｔｉ ｏｎ．Ｍｅａｎｗｈｉｌ ｅ，ｔｈｉｓｋｉ ｎｄｏｆｍｅｔｈｏｄｈａｓａｇｒｅａｔｅｒｉ ｎｆｌ ｕｅｎｃｅｏｎｔｈｅｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇａｎｄｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｏｆｍｏｄｅｌ ｓ；（ ２）Ａｓａｍｏｒｅａｄｖａｎｃｅｄｍｅｔｈｏｄ，ＲｅｓＮｅｔ５０ｃａｎｅｘｔｒａｃｔｔｈｅｉｍｐｏｒｔａｎｔｉｎｆｏｒｍａｔｉ ｏｎｆｒｏｍｉ ｍａｇｅｓｍｏｒｅｐｒｅｃｉｓｅｌ ｙｔｈａｎＶＧＧ１９，ｗｈｉｃｈｉｓａｂｌ ｅｔｏｐｒｏｖｉ ｄｅｍｕｃｈｍｏｒｅｃｏｍｐｒｅｈｅｎｓｉ ｖｅａｕｘｉｌｉａｒｙｉ ｎｆｏｒｍａｔｉ ｏｎｆｏｒｓｅｎｔｅｎｃｅｓｅｍａｎｔｉ ｃｕｎｄｅｒｓｔａｎｄｉ ｎｇａｎｄｒｅｐｒｅｓｅｎｔａｔｉ ｏｎｍｏｄｅｌ ｓ．Ｋｅｙｗｏｒｄｓｖｉｓｕａｌｔｏ ｌ ａｎｇｕａｇｅ；ｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉ ｎｇａｎｄｒｅｐｒｅｓｅｎｔａｔｉｏｎ；ｉ ｍａｇｅｉ ｎｆｏｒｍａｔｉ ｏｎ；ｐｌ ｕｇａｎｄｐｌ ａｙｆｒａｍｅｗｏｒｋ；ｎａｔｕｒａｌｌ ａｎｇｕａｇｅｉ ｎｆｅｒｅｎｃｅｉ 引 言句子语义理解与表示是自然语言处理（ ＮＬＰ） 中一个重要的研究内容． 该研究要求一个模型能够利用给定的信息（ 图像或者文本） 分析目标句子的语义， 并且服务于其他具体的任务． 例如： 在复述识别（ＰａｒａｐｈｒａｓｅＩｄｅｎｔｉｆｉｃａｔｉ ｏｎ， ＰＩ） 任务中， 模型需要将给定的两个句子作为彼此的情境信息， 分析这两个句子是否表达同一个意思［１］； 在自然语言推理（ＮａｔｕｒａｌＬａｎｇｕａｇｅＩｎｆｅｒｅｎｃｅ， ＮＬＩ） 任务中， 模型需要以前提句子为情境信息， 判断是否能从前提句子推理出假设句子的语义＆３］． 现如今， 通过图像文本建模（Ｖｉ ｓｕａｌ ｔ〇 Ｌａｎｇｕａｇｅ， Ｖ２Ｌ） 对句子语义进行理解与表示也受到越来越多的关注， 例如视觉问答（ Ｖｉ ｓｕａｌＱｕｅｓｔｉ ｏｎＡｎｓｗｅｒｉ ｎｇ， ＶＱＡ）［ ４］、 视觉推理（ ＶｉｓｕａｌＲｅａｓｏｎｉｎｇ）［５ ６］等． 认知科学相关的研究也证实其他模态的信息（例如图像） 对句子语义理解增强有着巨大的帮助［７ ？．然而， 虽然文本信息已经能够提供一个强有力的先验信息， 帮助模型取得一个非常好的效果％°］，甚至在不使用图像的条件下就能得出正确的答案，但是在复杂情况下图像依然可以发挥重要的作用．图１（ａ） 展示这样的一个例子， 该例子来自视觉问答数据集ＶＱＡｖｌ．０［ １ １ ］， 当提出“Ｉｓｔｈｅｇｒａｓｓｔａｌ ｌ ｅｒｔｈａｎｔｈｅｂａｂｙ？”这样一个问题时， 大多数情况下答案都是“Ｙｅｓ”， 因为“ｂａｂｙ”是非常小的． 此时图像信息似乎并没有那么大的用处． 但当处理相对复杂的任务， 例如自然语言推理时， 图像信息又发挥着巨大的作用， 例如图１（ ｂ） 给出的例子， 该例子来自 自然语言推理数据集ＳＮＬＩ［ ２ ］， 原始数据集中并不包含直接的图像信息．当判断两个句子之间的语义推理关４７８ 计導机攀报： ＿１苹系时ｊ■ 可以发现前提句子酣语叉是模糊的４ 无法判断前提句子中的夭气是什么样的？ 尽管人们苽以利用；ｆｃ验知识从“ｏｎｔｅｉｃｂｉａ往ｒｋｅｔ”推理出“ｓｕｎｎｙｄａｙ’＇％但这 本是确定天疑的，更别说连先验知识都投有的模型？ 但当引人菌像信息． 增强对句子的语义埋：解时； 就可以很轻松地判断出这两个甸子之间的语义推理关系是蕴涵，图１ 憲自Ｊ＃个本Ｗ数擦彙中的齋义處＿裯子因此＊ 为了验１正视？觉图像信息是：否有助于对句子语义的理解与表示， 本文选择一？个典塑的自然语言语义现解任务：自然语言推理， 来验证图像倩息的有效性？ 选择诱任务的原ｈ是ａ为康始的自然镣育推理是一个纯文本理解任务， 在整个数据标浅的过程中弁找有引人图像儀息的影响， 因此该任务能够更客观地展示图像信息的引人对句子语义理解的影响． ＊体而言， 本文设计一种逋用的即辑即用禪集（ｇｅｎｅｒａｌｐｌｕｇａｒｏｉｐ．ｋｙｆｃａｉＴｔｅｗｏｒｌＯ， 能够以多种木同的形式． 灵活地将虜像倩息整合到语义＿模的过程中． 基于该框架， 本文１复现五种目前最箱进的方象＊分劍是ＨｉｆｃｒａｒｃｈｋａｌＢｉＬＳｌＳＶＩＰｏｏｌｉｎｇ（Ｈｂｒｎｐ）Ｃｌ ２ ］－＾ＥｎｈａｎｃｅｄＳｅｑｕｅｎｔｉａｌＩｎｆ？＂ｅｉｉｃｅｍｏ： ｄｅｌ（ＥＳＩＭ）Ｃｌ ３ ］＾Ｍｎｌ ｔｍｇｙｉｉｔｔｅｎｔｉａｎＮｅｔｗｏｒｋＣＭｗａｎ）［１？ｓＳｔｏｃｈａｓｔｉｃＡｎｓｗｅｒＥｆｏｔｗａｒｋｓＣＳＡＮ）Ｃｌ ５］Ｋ及Ｃ？ｔｉ，ｅｊ；ａｌｉ：ａｅｄＰｏｏｌｉｉｔｇ：ｍｅｔｈｏｄ （ＧＰ）〔１ ６］． 这些靠法代表目前自雜语ｗ推理任务中两种最常用的框架： 句子编码框架和词匹配框架，除了文本处理方法，在属像处理方法上本立逸择目前最常用的两种方法：ＶＧＧ１＃１ ７］和Ｒｅｓｎｅｔ５０［ｌ ｓ ］？： 同财；： 蠢了好地論证酿像慰息前巖响， 本文麗择两种不同的翅像特征表，示方法：（ １．） 粗粒度方法，选择两神圏像模塑倒数第＇二层的全连接层的输出作为■圓像信息的向量表示． ，并将该向量表示整脅＇到通用框架中的匹街績Ｋ２＞ 细粒食：方法？ 选择顧像模型的最后一个卷积長的输出结果作为Ｈ像＃征的矩阵表 丼将矩阵表示整含到通租框、 架中的情境信息增强层．爾屛本文设计一系列时实验验证西像信息对句子语义理獬的巖响， 并进行深人分析， 最終樽到一些发现：（１） 图像像息确实有助￡ｆ＇理：解与表示旬子语义；（２） 细粒度的齊像使用方法可以提供寅多有用的癀息， 对文本捂义理解与表示勝影嗬：更大ｒ｜３ＴＲ６ｓｉｉｅｔＳＧ［ｌ ｓ］柑对予￥００１§［１？模型能够抽取更准确的图像特征信息， 为句子语义理獬提供更全面的辅助債息＾２ 相关工作本文的相关工作可以分为三个部分：（１）Ｂ： 翁语言推理： 主褰介紹利用文本債息判断两个句子之间的谞义推理关系的相关工作Ｋ２） 菌像文本建模：主要介绍通过＿偉信息． 辅助自然语言理解＇的相关工作；（３） 视觉自然语言推理： 主要介绍刺甩图像增强甸子语义表示与推理的相关工作．２． １ 自然语言推理随着太规摸数据集， 例如ｓｍｊ２］、ＳＣｔＡｌＬ［ １ ９ ］等的不断发布， 以及各种各样神经＿络技术， 例如ＣＮＭ［２。］、ＬＳＴｌ＃獨和注意力机制阳２ ３］的迅速发赓？大量理解与表示自然语言句子语义的方法被提出来用于解决自然语言推理何题． 这些方法主要分为两种框梁： 句子语义编码框樂与词匹？框架．句子瑨义编码框架通过生成固定长度的句子语义表示向黧， 利用这些句子语义表示词 来璜测两个句子之间的磨义关系？ 目前Ｂ有大蓋基于该框架的方法被提出来， 例如ＴＢＣＮＮ［２ ４］、 ＣＡＦＥ［２ ５］和Ｄ、ＲＣＮ［ ２ ６ ］． 这些方法的梭心是逋过从不同角度编码句于谞义增强对旬予谮义的理解与表示？ 特别地． 法意力机制能够根据实际霄求为输出选擇最合楚的输人， 因此注意力机制被大量座用于句子语义表示■方法中． 例如， Ｌｋ等人Ｃ２ ７］提出内部注意力来模仿人类在阅读肘更关注那些重藝词的行为， 接下来， 他们使用平均池化４成句宇语义的阿董表示？Ｃｈｅｎ．等人［１ ６］将迮意力机制扩廣为多头形式５ 并生成多个不同的句子语义表示向餐用于表示句子不同方面的语义．除此之外＊ 屋次化结构， 例如层坎化的ＫＬＳＴＭ和最大池化操作ｔｌ２］， 也被用来从多个不同角度构建句乎语义的向量表示．第二种框架更多地关隹旬子之间的词窜义对齐供廣词讓别的： 句子间儀义食互？例如ｔＲ〇ｃｋｔｆｅｃｈｅｌ等人 撵出＇词级别的法意力机制甩于获取词与句子之间的注意力分部信息． Ｃｈｅｎ 等人Ｍ利用互往张 琨等： 图像信息对句子语义理解与表示的有效性验证与分析 ４７ ９３ 期意力建模词级别的局部推理关系． 除此之外， 他们还使用词级别的启发式匹配方法以一个更细粒度的方式建模句子之间的语义关系． Ｔａｎ等人［１ ４］采用多个不同的注意力计算方法， 从词级别匹配两个句子之间的语义关系． 他们声称不同的注意力计算方法能够帮助识别不同的关系类型． 除此之外，一些研究人员将额外的先验知识引人到推理过程中， Ｃｈｅｎ等人［ ２ ９ ］将两个句子之间的同义词、 反义词、 上下位词等先验信息显式编码， 然后引人到注意力计算、 局部推理收集以及推理关系整合等模块， 实现了语义推理关系的准确识别． 然而， 大多数的这类方法都更关注于句子文本本身， 通过不同的方式从多个角度建模分析句子语义， 但他们并没有考虑句子文本以外的信息（ 例如图像信息） 对句子语义理解的辅助和增强作用． 也就是说这方面的研究仍有很大的进步空间．２． ２图像文本建模近些年， 将图像信息和文本信息联合起来进行图像文本建模已经成为一个非常热门的研究方向，大量图像文本相关的问题也不断地被提出来， 例如图像描述生成（ＩｍａｇｅＣａｐｔｉ ｏｎｉ ｎｇ）［３°３ ２］、 视觉问答（Ｖｉ ｓｕａｌＱｕｅｓｔｉ ｏｎＡｎｓｗｅｒｉ ｎｇ）［ ３ ３ ］、 视觉对话（ Ｖｉ ｓｕａｌＤｉａｌ 〇ｇ）［ ３４］、视觉推理（ＶｉｓｕａｌＲｅａｓ〇ｎｉ ｎｇ［ ５ ６］） 等．目前最好的图像文本联合建模方法通常会分别选择一个ＣＮＮ和一个ＲＮＮ作为图像和句子的编码器， 用于生成图像与句子的特征表示． 同时为了更加有效地整合这两种不同类型的信息， 注意力机制一般也会被考虑进来． 例如Ｍａｏ 等人［３ ５］在每一步利用前一个词和图像的ＣＮＮ特征结果来估计下一次词的概率分布， 从而更好地生成图像的描述句子；Ｍａ等人［ ３ ６ ］使用了不同的ＣＮＮ同时处理图像特征和句子特征． 接下来， 他们将这些特征融合起来， 用于生成输人问题的答案． 更进一步， 为了更好评估图像信息的影响， Ｚｈａｎｇ等人［ １ °］将二值视觉问答问题转换为图像区域有效性验证问题． 他们试图回答句子的语义信息是否能够在图像中找到对应的视觉内容． 通过这样的实验， 图像对句子的抽象语义表达就能够被更好地验证． 然而， 相对于文本建模， 图像建模所需的计算和存储开销更大， 与此同时， 在某些条件下， 引人图像信息所带来的文本建模效果提升并不明显， 例如图１ 中的例子（ ａ） ， 在不考虑图像信息的情况下依然能得到正确的答案， 这样的例子在ＶＱＡｖｌ．０［ １ １］数据集中还有很多． 因此仍然有一些研究人员认为句子文本本身的信息就能够提供强有力的先验， 并保证模型能够取得非常好的表现， 甚至可以在不考虑图像信息的情况下生成正确的答案［１°］． 因此， 图像信息是否有助于句子语义的理解与表示仍然不清楚， 需要在对句子语义理解要求更高的场景下进行更为深人的研究来验证图像信息对模型理解与表示句子语义的影响．２． ３ 视觉自然语言推理受图像文本建模的快速发展所启发， 研究人员提出许多利用图像信息增强对句子语义的理解与表示的工作． 特别地， 有研究人员将图像信息引人到自然语言推理任务中， 利用图像信息辅助对句子对的语义推理关系进行判断． 例如： Ｚｈａｎｇ 等人［３ ７］利用图像特征生成词语义的另一种表示， 并将其与词的原始表示整合起来， 用于增强对词与句子的语义表示． 除此之外， 他们还提出多层次的结构用于更全面地建模句子语义以及句子之间的语义关系． Ｘｌ ｅ 等人［ ３ ８ ］提出一个新的自然语言推理数据集（ ＶＮＬＩ） ，在该数据集中， 前提句子被对应的图像信息所替换．他们试图利用这个数据集验证细粒度的图像理解与表示． 虽然目前有很多将图像信息整合到语义理解过程中的工作［３ ９］． 但这些方法大多是通过同时引人图像信息和设计不同的网络结构实现最终效果的提升， 图像对句子语义理解是否有增强作用以及对模型效果的提升程度仍然不明确． 为此， 本文设计了一种通用的推理框架， 在此框架下通过对比多个当前先进的自然语言推理方法在仅改变图像信息利用方式的条件下的表现， 实现对图像信息的增强作用的准确验证与分析． 这也是本文的主要研究内容．３ 问题定义与通用推理框架３． １ 问题定义作为一个有监督分类问题，自然语言推理任务输人为前提句子的表示Ｚ＝｛ ＜， ＜，…，气｝ 和假设句子的表示Ｊ＝｛ ｗＫ，…， ｗｌ｝， 目标是训练一个ｂ分类器， 能够准确识别两个句子之间的语义关系＿ｙ＝６（Ｚ， Ｐ）． 其中， ＜和ｗ丨 是前提句子中第ｉ 个词和假设句子中第Ｊ 个词的ｏｎｅ ｈｏｔ 向量表示， ／＾ 和／６ 是前提句子和假设句子的句子长度， 待预测的语义关系主要有蕴涵（ Ｅｎｔａｉ ｌｍｅｎｔ， Ｅ） 、 矛盾（ Ｃｏｎｔｒａｄｉ ｃｔｉ ｏｎ，Ｃ）、 中立（ Ｎｅｕｔｒａｌ ，Ｎ）．为了验证图像信息对模型理解与表示句子语义的影响， 本文将图像信息引人到自然语言推理过程中．因此， 和传统的自然语言推理任务相比， 本文４８０ 计導机攀报： ＿１苹将画像信息Ｊ 作为额外的一个输人，因此当预测两个句子之间的语义关系时， 模型形式化定义为ｙ＝￥（ ｓａ３． ２ 针对自然语言推理的通用框架作．为启然语言理解中一个基础但十分重麥的任务＞自然语言推理受到越来越多的关 研究人员提出太蒙敗Ｘ作用于解决这个阿题． 这些方法大致分为两类框架句子语义编码框架： 将句子语义编码为一个向量拿示＞ 在此基础上利用各种不同的方法进行捂义推理关系的判断ｍ＇ １ ６］； 词匹配框架： 更关注句子中的细粒度词对齐以及细粒度的谙义交互＾４１， 如图２ 实线框所示， 本文首先将这两．类框架统一到一个基本桓樂下， 在此基础上介绍本文提出雜纖． ＿的即猶即用、■架ｔｇｅｎｅｒａｌｐｌ ｕｇａｎｄｐｌａｙｆｒａＲｉｅＷＱｒｋ）．Ｌａｂｅｌ ＰｒｅｄｉｃｔｉｏｎＬａｙｅｒ（ｂ）｜ Ｑｊａｒｓｅ－Ｇｒａｉｎｅｄ Ｃｏｎｔｅｘｔ－ＥｎｈａｎｃｅｄＬａｙｅｒ＇ １１ＩｎｔｅｒａｃｔｉｏｎＬａｙｅｒ．（ｍａｙ ｇｅｎｅｒａｔｅｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｖｅｃｔｏｒ）Ｃｏｎｔｅｘｔｕａｌ Ｅｎｃｏｄｉｎｇ？２．？３？４Ｃｏｎｔｅｘｔｕａｌ Ｅｎｃｏｄｉｎｇ＼＼Ｚ＼＾＊３（ａ）Ｆｉｎｅ－Ｇｒａｉｎｅｄ Ｃｏｎｔｅｘｔ－Ｅｎｈａｎｃｅｄ Ｌａｙｅ；ＴＩｎｐｕｔＥｍｂｅｄｄｉｎｇ ＬａｙｅｒＸ＜＜＜ｗｆｗ＼＜图２ 针对自然语言推理的通用即插即用框架自然语言推理的基本框架主要包含四层：（１） 输入编码层（ＩｎｐｕｔＥｍｂｅｄｄｉ ｎｇＬａｙｅｒ）；（２） 情境感知编码层（ＣｏｎｔｅｘｔｕａｌＥｎｃｏｄｉ ｎｇＬａｙｅｒ）；（３） 交互层（ＩｎｔｅｒａｃｔｉｏｎＬａｙｅｒ） ；（ ４） 预测层（ＬａｂｅｌＰｒｅｄｉｃｔｉｏｎＬａｙｅｒ） ． 接下来将详细介绍每一层的具体作用．（１） 输入编码层（ＩｎｐｕｔＥｍｂｅｄｄｉ ｎｇＬａｙｅｒ） ？ 这一层的输入为前提句子和假设句子中每个词的ｏｎｅ－ｈｏｔ向量表示Ｚ＝｛ ＜， ＜，…，ｗｌ｝ 和／＝｛＜，…该层可以使用多种不同的方法编码 Ｊ０每个甸？ 为了充分利用大规模文本信息， 研究人员会选择在大规模语料上训练好的词向毚＊ 例如Ｗｏｒｄ２ＶｅＣ［４１］、 Ｇｌ 〇Ｖｅ［４２］．，＊了让：词的语义表示更具有任务相关性， 研究人员；＾会将字箱级别的询向鼂＆３ ］或者ＥＬＭ〇［４４］加人到该层中， 同时一些语法特！＃＾？］也会被用＇来增强毎个词的语义表薪（ 最终ｓ该层的输出是 个词的丰富特征表示 Ｕ＝ｌ，１！ ，＊？ＳＬ＊Ｊ＝１８｝．（ ２ ｝ 情＇糧感知＇编码＿ｆ： ＧｏｒｄｒｅｘｔｕａｌＥｎｃｏｄｉｎｇＬａｙｅｒ．）？ 本康雜上一层前输出彳ａ，｜ｉ＝１，２ ／ｓ１＇租｛ ｆｃ山＝１， ２，＂｝ 作为输人， 通过整合句子内部的情境儈息和序列信息生成句子中每个诃更全面的语义表： 本？因此高逮网络（Ｈｉｇｌｉｗａｆ ｙ：Ｎｔｗ？ｒｋ）［４７］、Ｌｉ？＃２ １ ］、ＣＳ＾［禮或释Ｔｒ抑ｓｆｏｒｍ？：ｒ［ ２ ３ ］经食会被用来作为句子语义表示的生成模块？ 词时，一些额外的輿駿知识也会被酬入到敎繁中， 读翁的输出是甸擎中每斗＿：的：情翁化 曇素示保： Ｕ＝１，２？ＺＪ租山．＝；Ｕ￡，，…，４｝＿袭互层（ Ｉｎｔｅ．ｒａｃｔｉ ＧｎＬａｙｅｒ）？琰瑋的■输人是句子中每个词＿情； 境化向覺義球 ， Ｕ＝１＊２，…， Ｉ；，｝和 ｜ ＿／＝１ ． ２，…． 为了建模分析商个甸子之间的语义交互， 本层通常选择注意力机制［４２］建模： 句子之间的语义交互． 对于興匹配方法， 本层主要完成两个句子中的词． 对齐以及语义相似度和交互分析；对于句子语义编码方法， 丰慕吏关注于句子语义的表示． 具体而 本鳥会根据具体任务的术同选择不■的注翥力计算方法， 例如互注翥． 力？、 多头淦倉妒和６法意力 等？舊＇餐说明的羞ｆ 旬子捂义编码框架会在该层生成句子窬义的向量表示．预羅ＳＣＬａｂｅ丨Ｐｒｅ４ｉｅｔｆｏｎＬａｙｅｔ） ， 驚碧主聲利用交互层的结果进行句子之间的座祀和分类． 具体而言ｓ 本层利用启． 发式的匹配方法ＣＭ建．模两个句子之间的语义推理关系． 然后使用多璋感知机＜ＭＬＰｊ和ｓＤｆｔｍａＸ（，） 函数进行最终的分类■以． 上就是传统的自然语言推理方法的基本框架． 为了更灵． 活地利用不同类Ｓ的情境傷息， 本文提出一种逋用：的即插即用框架ｔｇｅｒａｓｒｅｌｐｌ ｕｇｓｎｄｆｒａｍｅｗｏｒｋ ；）．， 姐图Ｅ 所示歡樨雞主藝：灌加了輝慕即插即複层： Ｃａ）细粒度的情境翁息增锤层（ＦｉｎｅＧｒａｉｎｅｄＣｏｎｔｅｘｔ－ＥｎｈａｎｅｅｄＬａｙｅｒ） 粗隸 惨墙信息增强ＭＧｆａｉ ｎｅｄＬａｙｅｒ）． 与其它层相比．， 这两层能够謝舌运用各种不．同的情境倩息（例如图像倩．息或者知识图谱倩息＞增强对句宁霄义的理解？ 并且这商属能够灵猜地从整个模＿中加人或者删除，因此本文将该樞架称之为即插即用框架？ 在接ｔ来的描述中， 本文以图像信息．为例， 具体介绍这两层．Ｃ１） 細粒度的情壤＃麗增亂＆ｔＦｈｗｒＧｍｔｏｅｄＧｏｕｔ麵ｔ－ＥｎｈａｎｅｔｄＬａｙ键Ｉ为了更充分地利顧情篇：， 瑪—ｆ 厲像僮５＿子—黑鐵攀臂＿餘有歌性攀Ｋ与分析 ４８１ ３ 期信息＊ 词时以一个细粒度的方式和用＇情境信息增强对句子语义的理解与表示， 本文设计细粒度的情境信息增强层， 利用图像情境信息对诃级别的语义进行增强． 如图２ 中的虚线框（ａ） 所示，该层的文本输人为输人編码甚前输出｛． ａ；｜ ／＝１， ２ 和｛ 屹Ｕ＇＝１＊ ２，…， ＆｝， 图像输人为细敉度的图像特征表示 ，＠， …，ｑ］ （例如ＶＧＧ１９ 模型的倒数第二个全连搽层： 的输出结果），由于文本输人和图像输入均为矩阵表示， 本文通过使用不词的融脅方法（例如互注意力机制）， 从图像情境信息中抽取对每个词的语义表示最重要價息， 利用这些俸息从男一角度增强对词级别的语义班解， 从而保证词的语义能够更龙全面地建模．． ．为了保证这一层的嚴括性与即插即用特点， 读层的输出和输人编码层的输出十分类似， 依然是词级别的语义表示．Ｃ：２）粗粒．度的＇情糧—息增彌播ＣＣｏａｒ，ＧａｉｎｅｄＧｏｎｔｘ１ｒＥｎｈａｉ碑ｄＬａｙｅｆ｜Ｋ 除了细粒度的图像情篇信息表示方法， 图倮情境信息也可以用一十单独的財＿ｃ篆示， 相対乎细粒度： 的翁阵羡敢方法４黨方法可以称之为粗粒度的表． 示方法？ 为了将这种表系． 整含到整个框架中：５本文考虑将图像的单独向駕暴示与文本的專独＿麗表示迸行整合．因此本文设计了粗粒度的情境信息增强ｇｆ 用于整含情境信息的粗粒度表示． 图２ 中的虚线框＜ｂ）展示该层的具体位置＜考虑到文本特征表示与？像特征表示均？为询量形式，对两个向量采用我意力机制进行＿模意义不大／同时由于交互层已经整合两个句子之间的语义交２：信息＞本文直接将画像情境信息的向量表示拼接到对应的输出结果上， 并将得到的结果输人多层感知机迸行爾．后的分类》正如前文所述； 本文时目标Ｓ验证图像信惪是否有助于理解与表示句：子语义． 因此， 本文在实验验证过程中同样选择图像作为情境信息． 通过添加删除面像信息， 或者使用不词设置的图像信息验怔图像信息对模型理解与表示句子语义时影响． 需要强调的是该通用即插即甩框架不仅能够奠活地添加或者删除情境信息增强层， 同时能够＿常緣活地使用各种不同的情渔信息４ 模型与即插即用框架技术介绍本节庄要介绍在通用即插即用框架下獒现的２神自然语賓推理模型的相关实现技术细节．４．１Ｈｂｍｐ模型Ｈｂｍｐ屬型叫！ｆｅ—种典型的句子涪义编码方法． 檩湛结构如图３（ａ） 所示． 该模型利用．房次化的结构进行句子语义编码． 具体而言， Ｈｂｍｐ模型使用鎮祅化的双向ＬＳＴＭ和最大祂化操作取得非常好的效粜？ 简单起见． 本文以前提旬子的处理为例． 层次化处理过＿可以形式化为如Ｔ公式：（ａ） Ｈｂｍｐ模型框架图３Ｈｂｍｐ模型和ＥＳＩＭ模型的框架（ｂ）ＥＳＩＭ模型框架４８２ 计 算机 学 报 ２０２１年圮＝Ｂｉ ＬＳＴＭｔＪｉｆ ：， ｓ（： １Ｊｔｉｌ＝ｍａｘｐｅｏｌ ｉ ｈｇＣ［！％［ ；＾ｊ＊ ？ ？．］）Ｓ中４和Ｗ分别表示第ｆ 层双向ＬＳｉｉｒ 的筹？＇个输人和隐葛状态？Ｖ表示第／ 臬的最大池化操作的输出， 同时也是第６鳥的句子语义表示． 在得到所有唐的句子语义表示之踌， Ｈｂｍｐ模型将所有的结果拼接到一起，爆磨利用一个多果感知机进行最＿标签的预测．４．２： ＥＳＩ： Ｍ模型Ｗ３ｆｂＪ展示了ＥＳＩＭ模遨印的整体结构？ 该模直将情境感知的句子编码层的输出悦Ｕ＝１ ， ２？…，■ Ｕ和床Ｕ＝ １， ２，…，｝ 作：为注意力机制的输入， 并使用互注意力ｔ２ １］建模两个句子之间的烏部推理关系．：％＝ｄ，■ Ａｅｘｐ（ｅ；？）「＿＾—， 征［１，２，…， ４］，公ｅｘｐ（Ｑ）（２）ｋ－ｉ－ｅｘｐ（＾？）厂，ｂ３ ＾ｔ—， 紙［ｌ，２，一， “］ｙ＾ｅｘｐＣ ｇ＾－）ｋ－１在此之后， ＥＳＩＭ、模雙使用启发式的匹配方法（ａ）Ｍｗａｎ模型框架对句子之间的局部推理关系进行增强分析； ＃使用＇基于树结构的；ＬＳＴＭ（ ＴｒｅｅＬｌｌｊｖＯ整＾＿习到的信息＊该过程可以形式化为如下表示：ｐ｜＝ＴｒｅｅＬＳＴＭ（ ［ａ，ｊａ，； ｔ（＆， Ｓ；：）ｆＣＳ， ？ａ，；）］）＜＿＿＿Ｄｊ？Ｊ＝ＴｒｅｅＬ？！ＭＱｊｂ］； ｂ，ｊｉ〇＞；ｂ］）￥（，ｂｊ０６＾） ］）最后？ 使用平均池化和最大池化处理这些信息ｓ并雜得到的＇结杲拼接起来生成谣义推理关系表示向黧Ｖ， 并通过一个多层 知机进行最后的分类．４．３Ｍｗａｎ模型Ｍｗａｎ模型＝１ ４］的整体．结构如遛４（．ａ） 所示． 这是一个词匹配方法， 该模型使用多神不同的＆意力计算方法对旬予窜义进行匹配？具体而言， Ｍｗｍ模謹设计四种本同的注意力计算方法（ 拼接浼意力：（＜ｓｎｅａｔａｔｔｅｆｔｔｉ ｏｎ） 双緣注意力（ ｂｉｌｉ ｎｅａｒ ａｔｔｅｉｉｔｉｏｉｉ）、点乘注： 意 （ｄｏｔ■ｇｔｅｎｔｉ ｏｔＯ、．相减ｆｔ奮力（ｈｉｉｒｕｉｓａｔ？ｎｔｉ〇ｎ》） Ｅ赃每蒼爾中Ｍ之间翁语义貴系，： 食Ｔ方便稱述， 率： 文：仅，Ｍ示归一化之前的西种＿掌力衩黨计算方法：＾＝ｖｆ ｔａｎｈ（ Ｗｓ４，＋Ｉ７ｅｂｉ．ｄｉｊ＾ｍ＾ＪＷｂ ｈｆｊ－（＿＾ ｖＪｔａｎｈｉ Ｗｉ－Ｃｔ，Ｑｌ，）； ）＊— ｖ， ？ｔａｎｈ（＿Ｗｎｉ  （ｕｉ—ｂ， ））Ａｖｅｒａｇｅ１ Ｓｏｆｔｏｉａｘ］ １ Ｓｏｆｔａｉａｘｌ ｜Ｓｏｆｔｍａｘ［图４Ｍｗａｎ模型和ＳＡＮ模型的框架图（ｂ）ＳＡＮ模型框架张 琨等： 图像信息对句子语义理解与表示的有效性验证与分析 ４８３３ 期其中，４，＜和表示前提句子中第ｚ 个词和假设句子中第＿； 个词之间未归一化的注意力权重值．分别表示四种不同的注意力计算方法． 在得到未归一化的权重之后， Ｍｗａｎ方法使用加权和的方法整合这些学习到的匹配信息， 该过程可以由式（ ５） 形式化表亦：ｅｘｐ（ｅ－？ ）ｎ ｌＷ＝ｌ，２，…丄，ｉ ｉｅｘｐ（４）ｉａ２ｅｘｐ（ｅ＊；）Ｖｊ＝ｌ ， ２，…， Ｚ６（５）其中 由于这些匹配信息仍然关注的是词级别， Ｍｗａｎ模型使用残差连接和ＧＲＵ整合来自四种不同注意力计算方法的匹配信息， 然后使用加权和整合所有信息． 最后利用多层感知机来预测每个标签出现的概率．４．４ＳＡＮ模型图４（ｂ）展示了ＳＡＮ模型［ １ ５ ］的整体结构． 和其他的自然语言推理方法相比， ＳＡＮ模型更多的关注在决策过程． 首先， ＳＡＮ模型和ＥＳＩＭ模型一样， 利用互注意力？建模句子之间的语义交互， 然后，ＳＡＮ模型使用双向ＬＳＴＴＭ针对两个句子生成一个工作记忆状态：ＣＬｉ＿：ｃｏｎｃａｔ（ａｚ， ａｚ） ， ， ｗｅ［ｉ ， ２，＂．， ｚａ ］心二：ｃｏｎｃａｔ（＾） ， Ｖｊ＇Ｇ［ｌ， ２ ，Ｍ：二Ｂｉ ＬＳＴＭ（ ［＆， ａ；］， Ｍ； ｉ） ，Ｍｌ－ 二Ｂｉ ＬＳＴＭ（ ［＆，其中， ＡＣ和Ｍ） 表示针对前提句子的第ｚ 个工作记忆状态和针对假设句子的第 个工作记忆状态． 接下来， ＳＡＮ模型设计一个答案模块在Ｔ个记忆步上进行标签预测． 首先， 该模块利用 的加权和作为答案模块的初始状态：ｅｘｐ（ｃ〇，， Ｍ）ＸｊｅｘｐＣｃ＾Ｍ：）（７）ｋｌｂｓ〇—＾＿是模型在训练过ｉ中的参数． 接下来， ＳＡＮ模型采用一种ＧＲＵ的变种来处理这些工作记忆状态，该过程可以形式化为如下：戽＝ｓｏｆｔｍａｘＧ， ！ＷＭａ） ， Ｗｅ［ｌ，２，＂－， （ Ｔ １）］ ，：ＥｆｔＡＴ （８）其中， Ｗ是模型需要训练的参数， Ｔ是决策步数． 在得到每一步的隐层状态之后， ＳＡＮ模型使用一个单层的分类器计算每一步得到的标签概率， 然后使用平均池化整合所有的概率， 从而得到最终的答案：Ｐ， ＝ ｓｏｆｔｍａｘ（Ｌ／［５， ；（ｓ， ｘ， ）；（ｓ， Ｑｘ， ） Ｊ），（ ｇ）Ｐ＝ａｖｇ（［Ｐ〇， Ｐ１，？ ？ ？， ＰＴ ｉ ｌ）４．５ＧＰ模型ＧＰ模型［１ ６］也是一种典型的句子语义编码方法， 正如第３．２ 小节中描述的， 句子语义编码方法通常会在交互层生成一个句子语义的表示向量． 但这是一个固定的向量， ＧＰ模型认为“该向量表示仅仅关注于句子的某个方面”［ １ ６］．因此， 它将交互层拓展为多头形式， 并且生成多个句子语义的向量表示． 这样句子语义的不同方面都能够被表示出来， 这点和本文在第２ 节中的第一个方法是十分类似的． 接下来， ＧＰ模型通过一个拼接操作生成句子语义的最终表示， 并使用多层感知机进行语义推理关系的分类．除此之外， ＧＰ模型还设计三种不同的约束， 用于减少多头操作的重复性， 保证最终结果具有多样性， 能够更全面描述句子语义的不同方面． 首先， ＧＰ模型在整个模型的参数矩阵上进行约束， 保证不同的句子语义计算矩阵有着不同的参数， 因此， ＧＰ模型以如下形式最大化任意两个参数矩阵的Ｆｒｏｂｅｎｉ ｕｓｎｏｒｍ：Ｌ＝Ｄｍａｘ（Ａ｜ ｜ＴＴ 則＾， ０）（ １０）ｉ １ ）ｚ＋１这里＂， Ａ 都是预先设定好的超参， 是多头注意力计算中的不同矩阵． ４表示不同注意力计算的个数．其次， ＧＰ模型提出对注意力值的矩阵进行约束， 用于保证注意力值的多样性， 与文献［４９］中通过添加约束ＩＡＡＴＩ 〖保证注意力值的矩阵的标量值的多样性相比， ＧＰ模型使用如下方式保证注意力值的矩阵的向量值的多样性， 其中， 是多头注意力计算得到的不同注意力值的矩阵：ｌｈ ｌｈＬ二Ｓｍａｘ（Ａ｜ ｜ＡＩ ｆ， ０）（ １１）ｉ ｌｊｉ＋１最后， ＧＰ模型也对句子语义的向量表亦添加约束， 因为多头注意力操作能够生成多个句子语义的向量表示， 所以ＧＰ模型提出在句子的向量表示上添加如下形式的约束：ｌｈｌｈＬ二＾ｍａｘ（Ａ｜ ｜ ｖ１ｖ｝｜ ｜ｆ？〇）（ １２）ｉ ｌｊｉ ＋１４． ６ 基于通用的即插即用框架的解决方案＝ＧＲＵ（５，ｉ， Ｘｔ） 本节主要介绍通用即插即用框架中细粒度的情４８４ 计 算机 学 报 ２０２１年境信息增强层与粗粒度的情境信息增强层的相关技术细节． 正如第３．２ 小节所描述的， 本文提出的通用即插即用框架主要关注两个额外的层：（ １） 细粒度的情境信息增强层； （２） 粗粒度的情境信息增强层．并且在本文中， 图像信息被选作额外的情境信息对模型理解与表示句子语义进行增强．４． ６． １ 细粒度的情境信息增强层如第３．２ 小节描述的， 输人编码层的输出是每个词的丰富特征表示｛ａ，Ｕ＇ ＝ｌ，２，…，Ｚａ）＾ｎ｛ｆｃ，｜ｊ＝１ ， ２ ，…， Ｚ６ ｝． 为了能够利用图像的细粒度特征表示Ｃ＝［Ｃｌ， ｃ２，…，］增强句子中的每个词的语义表示， 本文提出一种互注意力［２ ６］的变种用于将图像信息融人到词的语义表示中． 由于互注意力能够从细粒度的角度建模两种特征之间的交互， 该操作能够选出对句子语义重要的信息增强对语义的理解与表示． 为了简单起见， 本文以前提句子的处理过程为例介绍相关细节：＝ｖＪｔａｎｈ（ａ， Ｗ／ｃＪ），，ｅｘｐ（ｅ，，）＾］〖 —Ｃ”Ｗｅ［ｌ ， ２，＂－， ４］，厂么我）（１３）ｋ ｌ８ｔ＝ａ（ｕＴｆａｔ ） ，ａｔ：＝＼ｄｔ ａｔ；（１ ＾） ａ， ］其中， ＶｐＷｐＷ是注意力训练过程中的参数 是前提句子中第ｚ 个词的候选表示．＆是更新门， 用于决定第ｚ 个词的输人表示有多少被保留． 为了保证整个框架的一致性， 在这里使用赋值操作：＝表示对每个词的丰富特征表示进行更新． 在该方法中， 注意力计算能够从图像中选择出重要的信息对句子语义表示进行增强， 更新门保证模型始终关注在原始表示与图像增强表示中最重要的部分． 这样图像信息就能够高效准确地融合到句子中每个词的语义表示中．４．６．２ 粗粒度的情境信息增强层与细粒度的情境信息增强层相比， 粗粒度的情境信息增强层主要有两处不同． 首先， 该层使用一个向量ｃ 表示图像的特征信息； 其次， 该层直接将图像特征ｃ 和通用即插即用框架的标签预测层的多层感知机的输人进行拼接． 接下来通过多层感知机预测每个标签所占的概率并决定最后输人的标签． 假设多层感知机的输人为Ａ该过程可以形式化为Ｐ（ ＾Ｕ％／， Ｊ）＝ＭＬＰ（［ｖ；ｃ］）（ １４）其中多层感知机包含两层带非线性激活函数的ｔａｎｈ（ 〇的变换层， 以及一层ｓｏｆｔｍａｘＯ） 分类层？由于预训练的图像模型能够生成单一的图像特征向量表示， 该方法希望验证是否粗粒度的图像特征表示也有助于对句子语义理解的增强．５ 实 验本节首先介绍新数据集构建以及对应的基本统计信息． 然后， 本文将介绍五种模型的复现细节以及相关实验结果的详细分析．５． １ 数据集介绍为了更好地对比在不同图像利用条件下模型的表现， 本文选择ＳＮＬＩ 数据集［ ２ ］作为基本数据集， 并为每条数据添加一张对应的图像信息． 选择该数据集基于以下两个原因：（ １） 客观性． ＳＮＬＩ 数据集在生成过程中并没有考虑图像信息， 标注员在人工标注时并不会受图像信息的影响．因此使用该数据集验证加人图像信息前后的模型效果更客观ｄ２） 图像关系： 本文的研究重点是为了验证图像信息是否有助于句子语义的理解与表示， 因此需要为原始不包含图像信息的数据集中添加图像信息， 并且这些添加的图像信息需要和句子对之间有对应关系． 正如文献［４］描述的， ＳＮＬＩ 数据集中的前提句子均来自于图像描述数据集Ｆｌ ｌ ｃｋ３０Ｋ［５ °］， 每个前提句子都是一幅图像的描述句子， ＳＮＬＩ 数据集中也标注出每个句子对在Ｆｌｉｃｋ３０Ｋ数据集中对应的图像名字，因此ＳＮＬＩ 数据集非常适合这个任务．具体而言， 在数据预处理阶段， 本文根据ＳＮＬＩ 数据集中每个句子对中标注的图像名字， 从ＦＵｃｋ３０Ｋ数据集［５°］中抽取对应的图像信息， 将其添加句子对中， 用于构建新的包含图像信息的自然语言推理数据集， 需要说明的是原始的ＳＮＬＩ 数据集中有一部分数据无法找到对应的图像信息， 因此本文将这部分数据删除． 同时为了更好验证模型效果以及图像信息的作用， 本文同时选择更具挑战的ＨａｒｄｔｅＳｔ［４６４ｎＬｅｘｉ ｃａｌｔｅｓｔ［５ １］作为额外的测试集． 加人图像信息之后的新的数据集的基本统计信息如表１ 所示？ 其中Ｈａｒｄ和Ｌｅｘｉ ｃａｌ分别表示Ｈａｒｄｔｅｓｔ［４６＾ｎＬｅｘｉｃａｌｔｅｓｔ［５ １４ＨＩ 试集．表１ 不同测试集的基本统计情况数据集数据规模平均句子长度划分￣前提句子 假设句子张 琨等： 图像信息对句子语义理解与表示的有效性验证与分析 ４８５３ 期５． ２ 模型实现本文在开发集上选择所有的最优超参数， 同时为了更客观地评价在通用框架下复现的所有模型，本文使用相同的参数训练所有的模型， 因此在部分参数的设定会与原始模型的实现有不同， 相关参数设定如表２ 所亦．表２ 模型超参数设定超参数 参数值ＶＧＧ１９ 细粒度特征维度 ５１２ＶＧＧ１９ 粗粒度特征维度４０９６ＲｅＳｎｅｔ ５０ 细粒度特征维度２０４８Ｒｅｓｎｅｔ ５Ｇ 粗粒度特征维度２０４８预训练词向量维度 ３００字符级别词向量维度 １００ＧＲＵ／ ＬＳＴＭ隐层单元数 ３００注意力单元数 ２００多层感知机隐层单元数 ２００和１００初始学习率１０４对于图像信息的表示， 本文使用以Ｔｅｎｓｏｒｆｌｏｗ为后端的Ｋｅｒａｓ 工具包实现的ＶＧＧ１９ 模型［ １ ７ ］和ＲｅｓＮｅｔ５０ 模型［ １ ８ ］处理所有的图像， 并使用最后一个卷积层的输出结果和倒数第二个全连接层的输出结果作为图像的细粒度特征表示与粗粒度特征表示．对于五个模型的复现， 本文将预训练的词向量维度设为３００ ， 字符级别的词向量维度设为１００，ｄｒｏｐｏｕｔ设为０．６， 词向量使用的是预训练的８４０ＢＧｌｏＶｅ 词向量［ ４２ ］． 双向ＬＳＴＭ或者ＧＲＵ的隐层单元数为３００． 互注意力或者自注意力计算的隐层单元数设为２００ ， 标签预测层的多层感知机的隐层单元数设为２００ 和１００． 受文献［４］启发， 模型中所有的权重在Ｖ６／（ ｎｉｎ－＼￣ｎｏｕｔ） 和＼／６／（ｎｉｎ－＼￣ｎｏｕｔ） 之间进行初始化， 满足该范围内的均匀分布［ ５ ２ ］， 和 分别表示模型中权重参数所在层的输人和输出维度．所有的偏置初始化为〇． 本文使用Ａｄａｍ优化器优化模型， 初始学习率为１〇４．５． ３ 实验结果概述本小节详细分析实验结果， 需要说明的是， 本文选择在不同测试集上的准确率作为模型的评价标准．原始结果与复现结果的比较． 表３ 展示了模型原始结果与在通用框架下复现的结果． 从表中可以看出， 本文复现的结果要稍低于模型的原始结果． 本文总结出现这种情况的原因如下：（ １） 本文使用统一的通用即插即用框架， 并且为了更客观地评价模型效果，一些共有的超参数本文使用相同的参数设定；（ ２） 本文主要研究的是模型仅在使用文本信息以及使用文本和图像信息之间的表现对比， 因此针对每个模型， 本文并没有进行额外的超参数调整． 除此之外， 本文还使用不同的深度学习框架， 也可能会对模型有一些影响． 例如原始的ＥＳＩＭ模型是使用ＴＴｈｅａｎｏ实现的， 而本文是使用Ｔｅｎｓｏｒｆｌ ｏｗ实现的？这些原因都会造成模型最终效果的不同． 在接下来的章节中， 本文将复现的结果作为基准结果， 然后将该结果与使用不同图像信息设置得到的结果进行对比分析．表３ 使用不同图像设置的模型复现效果（准确率）图像使用方法粗粒度方法模型原始结果 复现结果 ＶＧＧ１９ 处理结果 Ｒｅｓｎｅｔ ５Ｇ 处理结果Ｆｕｌｌ／％Ｈａｒｄ／％Ｌｅｘｉｃａｌ／％Ｆｕｌｌ／％Ｈａｒｄ／％Ｌｅｘｉｃａｌ／％Ｆｕｌｌ／ ％Ｈａｒｄ／ ％Ｌｅｘｉｃａｌ／ ％Ｆｕｌ ｌ／％Ｈａｒｄ／ ％Ｌｅｘｉｃａｌ／ ％Ｉ ｌ ｂｍｐＧＰＭｗａｎＳＡＮＥＳＩ Ｍ细粒度方法Ｉ ｌ ｂｍｐＧＰＭｗａｎＳＡＮＥＳＩ Ｍ整合粗粒度细粒度方法Ｉ ｌｂｍｐＧＰＭｗａｎＳＡＮＥＳＩ Ｍ不使用图像结果与使用图像结果的比较． 表３展示了在使用不同设置之后的模型结果． 从表３展示的结果可以看出， 使用图像信息之后， 所有模型的表现均有不同程度的提升，一些模型的表现甚至要高于其原始文章中的结果， 例如 Ｈｂｍｐ（８７．１％） 和ＥＳＩＭ（８８．２％）． 与此同时， 当比较模型４８６ 计 算机 学 报 ２０２１年在更具挑战的测试集（ Ｈａｒｄｔｅｓｔ 和Ｌｅｘｉｃａｌｔｅｓｔ ） 上的表现时， 可以发现大多数模型的表现均优于不使用图像信息的基准结果． 这些现象都说明图像信息确实有助于模型对文本语义的理解与表示， 并能提升其在下游任务上的表现．细粒度方法与粗粒度方法的比较． 在第３．２ 小节中， 本文提出两个图像使用方法： 细粒度图像特征表示与粗粒度图像特征表示． 在本节中， 本文对比这两种方法以及整合粗粒度和细粒度方法对模型表现的影响， 相关实验结果如表３ 所示． 首先， 细粒度的图像特征能够更全面地表示图像的不同特征， 因此模型能够利用注意力机制从这些特征表示中选择出合适的信息辅助对句子语义的理解与表示， 从而取得更好的效果． 与此相比， 粗粒度的图像特征表示的原始目的是为了解决图像分类问题， 因此它并不能像细粒度的特征那样为模型提供更准确的信息表示．整合粗粒度和细粒度方法的实验结果也证实了这一点， 从实验结果中可以看出， 模型在整合粗粒度和细粒度的图像特征表示条件下的表现和只使用细粒度特征条件下的表现相差不大， 说明了细粒度的图像特征对模型的影响更大一些． 其次， 从表３ 中可以看出句子语义编码方法（ ＨｂｍＰ， ＧＰ） 的效果提升力度要大于词匹配方法（ ＭＷａｎ， ＳＡＮ， ＥＳＩＭ） ， 甚至一些词匹配方法在使用细粒度的图像特征之后模型表现会出现一定程度的下降． 对不同推理框架进一步分析之后发现， 句子语义匹配方法更多地关注句子语义的向量表示生成， 因此它可以从图像信息中选择合适的信息用于句子语义的增强表示， 而下游任务最终使用的就是句子语义的向量表示， 因此额外的信息并不会损害模型在具体任务上的表现； 而词匹配方法更多地关注细粒度的词匹配以及词之间的语义交互，当加人额外的细粒度图像特征信息时，一方面这些信息有助于增强理解句子中每个词的语义， 但另一方面细粒度的图像特征信息可能会引人不相关的信息， 并且误导模型错误匹配某些词之间的语义， 最终造成模型在具体任务上的提升程度出现可能低于句子语义匹配方法的情况．ＶＧＧ１９模型与Ｒｅｓｎｅｔ５０ 模型的比较？ 作为典型的图像分类模型， ＶＧＧ１９ 模型？和Ｒｅｓｎｅｔ５０［ １ ８ ］在图像分类任务上已经取得令人瞩目的成绩， 并且逐渐成为多种图像文本任务中必不可少的一部分，包括计算机视觉和自然语言处理． 因此本文选择这两种模型来作为图像有效性验证实验中的图像处理模型． 表３ 的结果中可以看出， 使用Ｒｅｓｎｅｔ５０ 作为图像处理模型时， 大多数自然语言推理模型均取得比较大的提升． 特别地， 可以发现当选择粗粒度的图像特征表示时， 选择Ｒｅｓｎｅｔ５０ 进行图像处理， 五个模型的表现要明显优于使用ＶＧＧ１９ 处理图像时的表现． 同时， 当检查两种模型生成的粗粒度图像特征表示的维度时， 可以发现Ｒｅｓｎｅｔ５０ 生成的图像特征维度是２０４８ 维， 是ＶＧＧ１９ 生成的向量的维度（４０９６） 的一半？ 因此， 可以总结出Ｒｅｓｎｅｔ５０ 生成的图像丨３息表亦的质量要远尚于ＶＧＧ１９， 同时图像ｆｇ息表示的质量比数量更为重要一些． Ｒｅｓｎｅｔ５０ 相对于ＶＧＧ１９ 而言拥有更多的隐层， 因此它能够生成质量更高的图像特征表示．５．４ 原始标签改变本文深人研究图像信息的引人对原始标签的影响， 图像信息是否会造成使用原始标签评价模型变得无效化． 正如文献［２］ 中描述的， ＳＮＬＩ 数据集在标注时， 标注人员并没有考虑图像信息， 因此引人图像信息之后， 原始的标签可能会发生变化． 为了评估这种变化的影响， 本文分别从ＳＮＬＩ 数据集的Ｆｕｌ ｌｔｅｓｔ 测试集和Ｈａｒｄｔｅｓｔ 测试集采样５００ 条样本， 然后邀请１０ 位相关的研究人员在考虑图像信息的条件下重新标注这些样本．受混淆矩阵（ Ｃｏｎｆｕｓｉ ｏｎＭａｔｒｉ ｘ） 启发， 本文在表４ 中重新展示相关的结果． 每一列（行） 表示原始标签（ 重新标注的标签） 的数量（ 其中Ｅ， Ｃ， Ｎ， ０分别指代蕴涵（ Ｅｎｔａｉ ｌ ｍｅｎｔ）、 矛盾（ Ｃｏｎｔｒａｄｉ ｃｔｉｏｎ）、 中立（Ｎｅｕｔｒａｌ ） 和合计（Ｏｖｅｒａｌ ｌ ） ）？ 例如： 第一列表亦由１５３ 个蕴含例子被重新标注为蕴涵， 有６ 个蕴含例子被重新标注为矛盾， 有７ 个蕴涵的例子被重新标注为中立． 本文使用ｋａｐｐａ 系数验证重新标注的标签与原始标签之间的一致性． 如果ｋａｐｐａ 系数在０．６１？０．８０ 之间， 表明两种分布是具有高度一致性的． 从表中可以得出， 在Ｆｕｌ ｌｔｅｓｔ 测试集上的ｋａｐｐａ系数为〇．７５９，Ｈａｒｄｔｅｓｔ 测试集上的ｋａｐｐａ 系数为０．６９９， 在所有采样样本上的ｋａｐｐａ 系数为０．７２９．这些结果充分说明重新标注的标签和原始标签之间是高度一致的， 因此图像信息的引人并不会造成使用原始标签评价模型的无效化．表４ 不同测试集的基本统计情况Ｆｕｌｌｔ ｅｓｔ Ｈａｒｄｔｅｓｔ蕴涵 矛盾 中立 合计 蕴涵 矛盾 中立 合计Ｅ１５３ ４ ３２ １８９ １４７１５６４５ １９４Ｃ６ １６０ ２６ １９２ ７ ２３ １８６Ｎ７ ５ １０７ １１９ ２６ １１ ９７ １２００１６６ １６９ １６５ ５００ １６６ １６９ １６５ ５００张 琨等： 图像信息对句子语义理解与表示的有效性验证与分析 ４８７３ 期５．５ 不同图像设置结果对比本文已经通过实验验证图像信息的确有助于增强模型对句子语义的理解与表示． 但是， 大多数的图像都是由点、 线、形状、颜色等特征组成． 这些特征同样能够为模型提供额外的参考信息． 是否任何一张图像均有助于句子语义的理解与表示呢？ 为了回答这个问题， 本文进行额外的实验验证， 对比在不同设置下图像的表现．表５ 使用错误图像的复现模型效果（准确率）图像使用模型ＶＧＧ１９ 错误图像结果 Ｒｅｓｎｅｔ ５０ 错误图像结果方法 Ｆｕｌｌ Ｈａｒｄ Ｌｅｘｉ ｃａｌ Ｆｕｌｌ Ｈａｒｄ ＬｅｘｉｃａｌＩ ｌｂｍｐ８３．５ ％（１． ９）６７． ３ ％（ ３．６）６３． ３％（ ３．６）８２． ９％（２．７）６２．６ ％（４．６）６５．１％（４．５）粗粒度方法ＧＰ ８２． ３ ％（   ２． ０） ６３． １％（ ３． ５） ６２． ５％（ ３． ９） ８ １． ９％（ ２． ６） ６２． ８ ％（  ４． ３） ６４． ７ ％（ ５． ０）Ｍｗａｎ ８４． ６ ％（ ２． ８） ６４． ６％（ ４． ７） ６４． ３％（ ４． ５） ８４． ３ ％（  ３． ２） ６３． ７ ％（ ５． １） ６６． １％（ ３． ９）ＳＡＮ ８２． ５％（   ３． ７） ６０． ４ ％（   ４． ０） ５５． ７％（ ３． ０） ８２． ３ ％（ ４． １） ６０． ８ ％（ ４． ５） ６２． ７ ％（ ２． １）ＥＳＩ Ｍ ８３． ６ ％（４． ３）６５． ３ ％（６． ８）６２． ９％（７． ７）８４． １％（４． ０）６２． ２ ％（１０． ４）６５． ５ ％（４． ４）Ｉ ｌｂｍｐ８２． ６ ％（４． ５）５７． ８ ％（１ １． ７）６１． ４％（４． ３）８２． ３ ％（４． ５）５８． ２ ％（１０． ３）６２． ９％（＇ ４． ５）细粒度方法ＧＰ ８２． ３ ％（  ２． ９）６３． ７ ％（６． ７）６１． ９％（７． ９）８２． ５ ％（２． ５）６３． ６ ％（５． １）６１． ５ ％（９． １）Ｍｗａｎ ８４． ９ ％（３． 〇）６３． ８ ％（６． ０）６２． ７％（３． ５）８３． ９％（４． ４）６１． ７ ％（８． ０）６３． ８ ％（６． ９）ＳＡＮ ８２． １ ％（ ３． ７） ６０． １％（ ５． ６） ５３． ５％（ ３． ５） ８２． １％（  ３． ８） ６０． ２ ％（  ３． ９） ５９． ７ ％（＋１． ２）ＥＳＩ Ｍ ８３． ０ ％（ ５． ２） ６２． ４ ％（ １０． １） ５９． ９％（ ８． ８） ８３． ５ ％（   ５． ０） ６１． ７ ％（ １０． １） ６３． ８ ％（ ６． ４）具体而言， 本文在训练阶段， 使用和第５．３ 小节相同的设置， 但是在测试阶段， 本文选择不同的设置．当使用测试集验证模型效果时， 本文利用数据集中一张随机的无关的图片替换原始图片， 标记为错误图像， 然后使用该图像验证模型在所有测试集上的效果， 结果如表５ 所示． 接下来本文将从三个方面对实验结果进行分析．原始图像结果与错误图像结果的比较． 首先， 本文对比使用原始图像的结果和使用错误图像的结果． 对比表３ 和表５， 可以发现五个模型在使用错误图像时的表现均有不同程度的下降， 有的甚至比不使用图像的效果还差． 这些现象说明图像确实提供有意义的信息， 不是简单的点、 线、 形状等信息． 同时， 本文还发现使用错误图像时模型在更具挑战的测试集（ Ｈａｒｄｔｅｓｔ 和Ｌｅｘｉ ｃａｌｔ ｅｓｔ ） 上的表现下降的更多． 由于这些测试集将那些容易分类的例子都删除， 因此需要模型能准确地理解并表示句子语义．而不相关的错误图像信息会引人噪音， 使得模型理解句子语义变得更加困难， 因此模型的表现也会有很大的下降． 除此之外， 从表中还可以发现词匹配方法在使用错误图像的情况下表现会下降更多． 正如２．１ 节和３．１ 节所描述的， 词匹配的方法更多地关注于细粒度的词对齐以及词语义交互，当使用错误图像信息时， 模型会被误导使用不正确的信息对词的语义理解进行增强， 从而做出错误的判断．粗粒度图像特征表示与细粒度图像特征表示的比较． 和第５．３ 小节中的分析类似， 在该小节中， 本文也验证不同粒度的错误图像使用方法对模型的影响． 首先从表５ 中可以发现， 细粒度的图像特征使用方法对模型的表现影响更大． 由于细粒度的图像特征是直接作用于词级别的语义增强， 不正确的信息将会误导模型错误理解词级别的语义， 更别说句子级别的语义．因此当使用错误图像时， 细粒度的图像特征表示方法会导致模型表现有更大的下降． 其次，可以发现细粒度的图像特征对词匹配模型在更具挑战的测试集上的表现影响更大． 这个现象表明对图像信息利用得越充分， 图像信息对模型的表现影响就更大． 再者， 本文还发现一些不正常的现象： 部分模型使用细粒度的图像特征时， 模型表现下降的程度要低于使用粗粒度的图像特征， 这与本文最初的发现是相互矛盾的． 在对实验设定以及训练测试过程详细分析之后发现， 模型在训练过程中， 使用的实验设置是正确的图像信息， 但当在测试集上评价模型表现时， 实验设置发生改变， 使用随机的不相关的错误图片， 模型在不同测试集上的表现也就很难预测， 因此在该条件下， 各个不同模型会出现一些不正常的现象．ＶＧＧ１９ 模型结果与Ｒｅｓｎｅｔ５０ 模型结果的比较． 通过对比使用不同图像处理模型时各个模型的表现， 本文发现更多的证据证明在之前章节得到的结论． Ｒｅｓｎｅｔ５０ 模型［ １ ８ ］相对于ＶＧＧ１９ 模型？有更深的网络结构， 因此它能够抽取更全面、 更准确的图像特征表示， 也因此对模型表现有更大的影响．因此无论是使用正确图像对模型效果进行提升还是使用错误图像导致模型效果降低， Ｒｅｓｎｅｔ５０ 模型带来的影响都要大于ＶＧＧ１９ 模型．４８８ 计 算机 学 报 ２０２１年６ 结论和展望本文设计一种通用的即插即用框架用于验证图像信息是否有助于理解与表示自然语言句子语义．借助该框架， 本文能够从多个不同角度更为全面验证图像信息对模型理解与表示句子语义的影响． 同时自然语言推理是一个单一的句子语义匹配问题，在数据标注过程中并没有考虑图像信息．因此将图像信息引人到该任务中能够更客观地评价图像信息对句子语义建模分析的影响． 本文复现５ 个最先进的自然语言推理方法， 深人对比引人图像信息前后模型的表现． 实验结果表明使用合适的图像信息能够不同程度提升各个模型理解与表示句子语义的能力． 除此之外， 本文还深人分析不同图像使用方法、不同图像处理模型对自然语言推理模型最终效果的影响． 大量实验证明图像信息利用得越充分， 对模型造成的影响越大． 因此， 从实验中可以发现细粒度的图像使用方法与词匹配方法所造成的影响更大． 更进一步， 本文还将每个句子对对应的原始图像随机替换为任意一张不相关的图像， 更好地分析图像信息对模型理解与表示句子语义的影响．在接下来的工作中， 本文将以一种更具体、 更全面的形式验证图像信息对自然语言语义表示的影响， 探索更好的图像文本联合建模方法， 并将本文提出的通用即插即用框架扩展到更多的句子语义理解任务中．参 考 文 献［１］ＤｏｌａｎＷＢ？Ｂｒｏｃｋｅｔ ｔＣ． Ａｕｔｏｍａｔ ｉｃａｌｌｙｃｏｎｓｔ ｒｕｃｔｉ ｎｇａｃｏｒｐｕｓｏｆｓｅｎｔｅｎｔｉａｌｐａｒａｐｈｒａｓｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３ｒｄＩｎｔ ｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＰａｒａｐｈｒａｓｉｎｇ（ ＩＷＰ２００５） ． ２００５［２］ＢｏｗｍａｎＳＲ， ＡｎｇｅｌｉＧ，Ｐｏｔ ｔｓＣ， ＭａｎｎｉｎｇＣＤ． Ａｌ ａｒｇｅａｎｎｏｔ ａｔ ｅｄｃｏｒｐｕｓｆｏｒｌｅａｒｎｉｎｇｎａｔｕｒａｌｌａｎｇｕａｇｅｉｎｆ ｅｒｅｎｃｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ２０１５Ｃｏｎｆ ｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔ ｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｌｉｓｂｏｎ，Ｐｏｒｔ ｕｇａｌ ，２０１５ ： ６３２６４２［３］ＢｏｗｍａｎＳＲ？ Ｇａｕｔ ｈｉｅｒＪ？ Ｒａｓｔ ｏｇｉＡ， ｅｔａｌ． Ａｆａｓｔ ｕｎｉｆ ｉｅｄｍｏｄｅｌｆｏｒｐａｒｓｉｎｇａｎｄｓｅｎｔ ｅｎｃｅｕｎｄｅｒｓｔａｎｄｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ５４ｔ ｈＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆ ｔｈｅＡｓｓｏｃｉａｔ ｉｏｎｆｏｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ（ Ｖｏｌｕｍｅ１： ＬｏｎｇＰａｐｅｒｓ） ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ，２０１６： １４６６ １４７７［４］ＷａｎｇＰ， ＷｕＱ， ＳｈｅｎＣ， ｖａｎｄｅｎＩ ｌ ｅｎｇｅｌＡ． ＴｈｅＶＱＡｍａｃｈｉｎｅ： Ｌｅａｒｎｉｎｇｈｏｗｔｏｕｓｅｅｘｉｓｔｉｎｇｖｉ ｓｉｏｎａｌｇｏｒｉｔｈｍｓｔｏａｎｓｗｅｒｎｅｗｑｕｅｓｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉｉ， ＵＳＡ，２０１７： １１７３１１８２［５］ＪｏｈｎｓｏｎＪ？ Ｉ ｌ ａｒｉｈａｒａｎＢ？ｖａｎｄｅｒＭａａｔ ｅｎＬ？ｅｔａｌ． ＣＬＥＶＲ：Ａｄｉａｇｎｏｓｔ ｉｃｄａｔａｓｅｔｆ ｏｒｃｏｍｐｏｓｉｔ ｉｏｎａｌｌａｎｇｕａｇｅａｎｄｅｌｅｍｅｎｔａｒｙｖｉ ｓｕａｌｒｅａｓｏｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉ ｉ ，ＵＳＡ，２０ １７： １９８８ １９９７［６］ＳｕｈｒＡ， ＬｅｗｉｓＭ， ＹｅｈＪ ，Ａｒｔ ｚｉＹ． Ａｃｏｒｐｕｓｏｆｎａｔ ｕｒａｌｌａｎｇｕａｇｅｆｏｒｖｉｓｕａｌｒｅａｓｏｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ５５ ｔｈＡｎｎｕａｌＭｅｅｔｉ ｎｇｏｆｔ ｈｅＡｓｓｏｃｉａｔ ｉｏｎｆｏ ｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ（ Ｖｏｌ ｕｍｅ２： Ｓｈｏｒｔ Ｐａｐｅｒｓ）． Ｖａｎｃｏｕｖｅｒ ，Ｃａｎａｄａ ，２０１７： ２１７２２３［７］ＡｎｄｒｅｗｓＭ？ＶｉｇｌｉｏｃｃｏＧ？ＶｉｎｓｏｎＤ． Ｉｎｔｅｇｒａｔ ｉｎｇｅｘｐｅｒｉｅｎｔｉ ａｌａｎｄｄｉｓｔ ｒｉｂｕｔ ｉｏｎａｌｄａｔ ａｔｏｌｅａｒｎｓｅｍａｎｔ ｉｃｒｅｐｒｅｓｅｎｔａｔ ｉｏｎｓ．ＰｓｙｃｈｏｌｏｇｉｃａｌＲｅｖｉｅｗ，２００９，１１６（３） ： ４６３［８］ＢａｒｓａｌｏｕＬＷ． Ｇｒｏｕｎｄｅｄｃｏｇｎｉｔ ｉｏｎ： Ｐａｓｔ ，ｐｒｅｓｅｎｔ ， ａｎｄｆｕｔ ｕｒｅ． ＴｏｐｉｃｓｉｎＣｏｇｎｉｔ ｉｖｅＳｃｉｅｎｃｅ，２０１０ ， ２（４） ； ７１６ ７２４［９］ＧｏｙａｌＹ？ＫｈｏｔＴ？ Ｓｕｍｍｅｒｓ Ｓｔ ａｙＤ？ ｅｔ ａｌ． ＭａｋｉｎｇｔｈｅＶｉｎＶＱＡｍａｔ ｔ ｅｒ： Ｅｌｅｖａｔ ｉｎｇｔ ｈｅｒｏｌｅｏｆ ｉ ｍａｇｅｕｎｄｅｒｓｔａｎｄｉｎｇｉｎＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ．Ｈａｗａｉｉ， ＵＳＡ， ２０１７： ６９０４ ６９１３［１０］ＺｈａｎｇＰ？ＧｏｙａｌＹ？Ｓｕｍｍｅｒｓ Ｓｔ ａｙＤ？ｅｔａｌ． ＹｉｎａｎｄＹａｎｇ：Ｂａｌａｎｃｉｎｇａｎｄａｎｓｗｅｒｉｎｇｂｉｎａｒｙｖｉｓｕａｌｑｕｅｓｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＬａｓＶｅｇａｓ， ＵＳＡ，２０１６； ５０１４ ５０２２［１１］ＡｎｔｏｌＳ，ＡｇｒａｗａｌＡ， ＬｕＪ，ｅｔａｌ． ＶＱＡ： Ｖｉｓｕａｌｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｓａｎｔｉ ａｇｏ ，Ｃｈｉｌｅ，２０１５； ２４２５ ２４３３［１２］ＴａｌｍａｎＡ， ＹｌｉＪｙｒａＡ， ＴｉｅｄｅｍａｎｎＪ． Ｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅｗｉｔｈｈｉｅｒａｒｃｈｉｃａｌｂｉｌｓｔ ｍｍａｘｐｏｏｌｉｎｇａｒｃｈｉｔ ｅｃｔ ｕｒｅ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １８０８． ０８７６２ ，２０ １８［１３］ＣｈｅｎＱ，ＺｈｕＸ， Ｌｉ ｎｇＺ，ｅｔａｌ． ＥｎｈａｎｃｅｄＬＳＴＭｆｏｒｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ５５ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆ ｔｈｅＡｓｓｏｃｉａｔ ｉｏｎｆｏｒＣｏｍｐｕｔａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ（ Ｖｏｌｕｍｅ１：ＬｏｎｇＰａｐｅｒｓ） ． Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，２０１７； １６５７ １６６８［１４］ＴａｎＣ， ＷｅｉＦ， ＷａｎｇＷ，ｅｔ ａｌ． Ｍｕｌｔ ｉｗａｙａｔ ｔ ｅｎｔ ｉｏｎｎｅｔ ｗｏｒｋｓｆｏｒｍｏｄｅｌｉｎｇｓｅｎｔ ｅｎｃｅ ｐａｉ ｒｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ２７ｔｈＩｎｔ ｅｒｎａｔｉｏｎａｌＪｏｉｎｔ Ｃｏ ｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆ ｉｃｉａｌＩ ｎｔ ｅｌｌｉｇｅｎｃｅ． Ｓｔｏｃｋｈｏｌｍ？Ｓｗｅｄｅｎ， ２０１８： ４４１１ ４４１７［１５］ＬｉｕＸ， ＤｕｈＫ， ＧａｏＪ． Ｓｔｏｃｈａｓｔ ｉｃａｎｓｗｅｒｎｅｔ ｗｏｒｋｓｆｏｒｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０４． ０７８ ８８，２０１８［１６］ＣｈｅｎＱ， ＬｉｎｇＺ Ｉ Ｉ ， ＺｈｕＸ． Ｅｎｈａｎｃｉｎｇｓｅｎｔ ｅｎｃｅｅｍｂｅｄｄｉｎｇｗｉｔｈｇｅｎｅｒａｌｉｚｅｄｐｏｏｌｉｎｇ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １８０６．０ ９８２８，２０ １８［１７］ＳｉｍｏｎｙａｎＫ，ＺｉｓｓｅｒｍａｎＡ． Ｖｅｒｙｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔ ｗｏｒｋｓｆｏｒｌａｒｇｅｓｃａｌｅｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１４０ ９． １５５６ ，２０１４［１８］ｌ ｉ ｅＫ，ＺｈａｎｇＸ，ＲｅｎＳ， ＳｕｎＪ． Ｄｅｅｐｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ，２０１７； ７７０ ７７８张 琨等： 图像信息对句子语义理解与表示的有效性验证与分析 ４８９３ 期［１９］ＫｈｏｔＴ，ＳａｂｈａｒｗａｌＡ，ＣｌａｒｋＰ． ＳｃｉＴａｉｌ ： Ａｔ ｅｘｔ ｕａｌｅｎｔａｉｌｍｅｎｔｄａｔ ａｓｅｔｆｒｏｍｓｃｉｅｎｃｅｑｕｅｓｔ ｉｏｎａｎｓｗｅｒｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ３２ｎｄＡＡＡＩ ＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌ ｌｉｇｅｎｃｅ． ＮｅｗＯｒｌｅａｎｓ，ＵＳＡ，２０１８； ５１８９ ５１９７［２０］ＹｉｎＳｃｈｕｔｚｅＩ Ｉ ， ＸｉａｎｇＢ，ＺｈｏｕＢ． ＡＢＣＮＮ： Ａｔ ｔｅｎｔ ｉｏｎｂａｓｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆ ｏｒｍｏｄｅｌｉｎｇｓｅｎｔ ｅｎｃｅｐａｉ ｒｓ． Ｔｒａｎｓａｃｔ ｉｏｎｓｏｆｔ ｈｅＡｓｓｏｃｉａｔ ｉｏｎｆｏｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔｉ ｃｓ， ２０１６ ，（４） ： ２５９ ２７２［２１］ＣｈｅｎｇＪ？ ＤｏｎｇＬ， Ｌａｐａｔ ａＭ． Ｌｏｎｇｓｈｏｒｔ ｔ ｅｒｍｍｅｍｏｒｙｎｅｔｗｏｒｋｓｆｏｒｍａｃｈｉ ｎｅｒｅａｄｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ２０１６ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉ ｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ａｕｓｔｉｎ， ＵＳＡ，２０１６： ５５１ ５６１［２２］ＰａｒｉｋｈＡＰ，ＴａｃｋｓｔｒｏｍＯ，ＤａｓＤ，ＵｓｚｋｏｒｅｉｔＪ． Ａ ｄｅｃｏｍｐｏｓａｂｌｅａｔｔ ｅｎｔ ｉｏｎｍｏｄｅｌｆｏｒｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１６ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ａｕｓｔ ｉｎ，ＵＳＡ，２０１６；２２４９２２５５［２３］ＶａｓｗａｎｉＡ，ＳｈａｚｅｅｒＮ？ＰａｒｍａｒＮ？ｅｔ ａｌ． Ａｔ ｔｅｎｔ ｉｏｎｉｓａｌｌｙｏｕｎｅｅｄ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆ ｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬｏｎｇＢｅａｃｈ，ＵＳＡ，２０１７ ：５ ９９８ ６００８［２４］ＭｏｕＬ， ＭｅｎＲ， ＬｉＧ，ｅｔ ａｌ． Ｎａｔｕｒａｌｌａｎｇｕａｇｅｉ ｎｆｅｒｅｎｃｅｂｙｔ ｒｅｅｂａｓｅｄｃｏｎｖｏｌｕｔ ｉｏｎａｎｄｈｅｕｒｉｓｔ ｉｃｍａｔ ｃｈｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ５４ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆ ｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ（ Ｖｏｌｕｍｅ２： ＳｈｏｒｔＰａｐｅｒｓ） ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ，２０１６： １３０ １３６［２５］ＴａｙＹ， ＴｕａｎＬＡ，Ｉ ｌ ｕｉＳＣ． Ａｃｏｍｐａｒｅｐｒｏｐａｇａｔｅａｒｃｈｉｔ ｅｃｔ ｕｒｅｗｉｔ ｈａｌ ｉｇｎｍｅｎｔｆａｃｔｏｒｉｚａｔ ｉｏｎｆｏｒｎａｔｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅ．ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ：１８０ １． ００１０２ ，２０１７［２６］ＫｉｍＳ， Ｉ ｌ ｏｎｇＪ Ｉ Ｉ ， ＫａｎｇＩ ， ＫｗａｋＮ． Ｓｅｍａｎｔｉｃｓｅｎｔ ｅｎｃｅｍａｔ ｃｈｉｎｇｗｉ ｔｈｄｅｎｓｅｌｙｃｏｎｎｅｃｔ ｅｄｒｅｃｕｒｒｅｎｔａｎｄｃｏ ａｔ ｔ ｅｎｔ ｉｖｅｉｎｆｏｒｍａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ３３ｒｄＡＡＡＩＣｏｎｆ ｅｒｅｎｃｅｏｎＡｒｔ ｉｆｉ ｃｉａｌＩｎｔ ｅｌｌｉｇｅｎｃｅ． Ｈａｗａｉｉ ，ＵＳＡ， ２０１９： ６５８６ ６５９３［２７］ＬｉｕＹ， ＳｕｎＣ， Ｌｉ ｎＬ， ＷａｎｇＸ． Ｌｅａｒｎｉｎｇｎａｔ ｕｒａｌｌ ａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅｕｓｉｎｇｂｉｄｉｒｅｃｔｉｏｎａｌＬＳＴＭｍｏｄｅｌａｎｄｉｎｎｅｒ ａｔ ｔ ｅｎｔ ｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １ ６０５． ０ ９０９０ ，２０１６［２８］ＲｏｃｋｔａｓｃｈｅｌＴ， ＧｒｅｆｅｎｓｔｅｔｔｅＥ， ＨｅｒｍａｎｎＫＭ， ｅｔａｌ．Ｒｅａｓｏｎｉｎｇａｂｏｕｔｅｎｔａｉｌｍｅｎｔ ｗｉ ｔ ｈｎｅｕｒａｌａｔ ｔ ｅｎｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １５０９． ０ ６６６４， ２０１５［２９］ＣｈｅｎＱ，ＺｈｕＸ， ＬｉｎｇＺ Ｉ Ｉ，ｅｔ ａｌ． Ｎｅｕｒａｌｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉｎｆ ｅｒｅｎｃｅｍｏｄｅｌｓｅｎｈａｎｃｅｄｗｉｔ ｈｅｘｔ ｅｒｎａｌｋｎｏｗｌ ｅｄｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ５６ｔ ｈＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆ ｔ ｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ． Ｍｅｌｂｏｕｒｎｅ， Ａｕｓｔ ｒａｌｉａ，２０１８：２４０６ ２４ １７［３０］ＦａｎｇＩ Ｉ ， Ｇｕｐｔ ａＳ，ＩａｎｄｏｌａＦＮ？ｅｔａｌ． Ｆｒｏｍｃａｐｔｉｏｎｓｔｏｖｉｓｕａｌｃｏｎｃｅｐｔｓａｎｄｂａｃｋ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｂｏｓｔｏｎ，ＵＳＡ，２０１５： １４７３ １４８２［３１］ＰａｎＹ， ＭｅｉＴ， ＹａｏＴ，ｅｔａｌ． Ｊｏｉｎｔｌｙｍｏｄｅｌｉｎｇｅｍｂｅｄｄｉ ｎｇａｎｄｔ ｒａｎｓｌａｔ ｉｏｎｔｏｂｒｉｄｇｅｖｉｄｅｏａｎｄｌａｎｇｕａｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ． ＬａｓＶｅｇａｓ， ＵＳＡ， ２ ０１６： ４５９４ ４ ６０２［３２］Ｖｉｎｙａｌｓ０， ＴｏｓｈｅｖＡ， ＢｅｎｇｉｏＳ， ＥｒｈａｎＤ． Ｓｈｏｗａｎｄｔ ｅｌｌ ： Ａｎｅｕｒａｌｉｍａｇｅｃａｐｔ ｉｏｎｇｅｎｅｒａｔｏｒ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏ ｎ．Ｂｏｓｔｏｎ，ＵＳＡ，２０１５： ３１５６ ３１６４［３３］ＷｕＱ， ＳｈｅｎＣ， ＬｉｕＬ，ｅｔａｌ． Ｗｈａｔｖａｌｕｅｄｏｅｘｐｌｉｃｉｔｈｉｇｈｌｅｖｅｌｃｏｎｃｅｐｔｓｈａｖｅｉｎｖｉｓｉｏｎｔｏｌａｎｇｕａｇｅｐｒｏｂｌｅｍｓ？／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＬａｓＶｅｇａｓ， ＵＳＡ， ２０１６； ２０３ ２１２［３４］ＤａｓＡ， Ｋｏｔ ｔｕｒＳ， ＧｕｐｔａＫ，ｅｔ ａｌ． Ｖｉｓｕａｌｄｉａｌｏｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉｉ ，ＵＳＡ， ２０１７： ３ ２６ ３３５［３５］ＭａｏＪ， ＸｕＷ， ＹａｎｇＹ， ｅｔａｌ． Ｄｅｅｐｃａｐｔｉｏｎｉ ｎｇｗｉ ｔ ｈｍｕｌｔ ｉｍｏｄａｌｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌｎｅｔｗｏｒｋｓ（ ｍＲＮＮ） ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１４１２． ６６３２ ，２０１４［３６］ＭａＬ， ＬｕＺ， ＬｉＩ Ｉ． Ｌｅａｒｎｉｎｇｔｏａｎｓｗｅｒ ｑｕｅｓｔｉｏｎｓｆｒｏｍ ｉｍａｇｅｕｓｉｎｇｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔ ｈｅ３０ｔ ｈＡＡＡＩＣｏｎｆ ｅｒｅｎｃｅｏｎＡｒｔ ｉｆ ｉｃｉａｌＩｎｔ ｅｌｌ ｉｇｅｎｃｅ． Ｐｈｏｅｎｉ ｘ，ＵＳＡ，２０ １６： ３５６７ ３５ ７３［３７］ＺｈａｎｇＫ？ＬｖＧ？ＷｕＬ， ｅｔ ａｌ． Ｉ ｍａｇｅ ｅｎｈａｎｃｅｄｍｕｌｔ ｉ ｌｅｖｅｌｓｅｎｔｅｎｃｅｒｅｐｒｅｓｅｎｔ ａｔｉｏｎｎｅｔｆｏｒｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉ ｎｆｅｒｅｎｃｅ．ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＳｙｓｔ ｅｍｓ， Ｍａｎ，ａｎｄＣｙｂｅｒｎｅｔ ｉｃｓ：Ｓｙｓｔ ｅｍｓ，２０１９， （ ９９） ： １ １５［３８］Ｘｉｅ Ｎ，Ｌａｉ Ｆ，ＤｏｒａｎＤ，ＫａｄａｖＡ． Ｖｉｓｕａｌｅｎｔ ａｉｌｍｅｎｔ： Ａｎｏｖｅｌｔａｓｋｆｏｒｆｉｎｅｇｒａｉｎｅｄｉｍａｇｅｕｎｄｅｒｓｔ ａｎｄｉｎｇ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１９０１．０６７０６，２０１９［３９］ＺｈａｎｇＫ， ＬｖＧ， ＣｈｅｎＥ， ｅｔ ａｌ． Ｃｏｎｔ ｅｘｔ ａｗａｒｅ ｄｕａｌａｔ ｔ ｅｎｔｉｏｎｎｅｔ ｗｏｒｋｆ ｏｒｎａｔ ｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅＰａｃｉｆｉｃ ＡｓｉａＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔ ａＭｉｎｉｎｇ． Ｍａｃａｕ， Ｃｈｉｎａ， ２０１９ ： １８５ １９８［４０］ＷｉｌｌｉａｍｓＡ， ＮａｎｇｉａＮ， ＢｏｗｍａｎＳ． Ａｂｒｏａｄｃｏｖｅｒａｇｅｃｈａｌｌｅｎｇｅｃｏｒｐｕｓｆｏｒｓｅｎｔｅｎｃｅｕｎｄｅｒｓｔａｎｄｉｎｇｔｈｒｏｕｇｈｉｎｆｅｒｅｎｃｅ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅ２０１８ＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＮｏｒｔｈＡｍｅｒｉｃａｎＣｈａｐｔｅｒｏｆｔ ｈｅＡｓｓｏｃｉ ａｔ ｉｏｎｆｏｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ ：ＨｕｍａｎＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ， Ｖｏｌｕｍｅ１（ ＬｏｎｇＰａｐｅｒｓ）．ＮｅｗＯｒｌｅａｎｓ，ＵＳＡ，２０１８： １１１２ １１２２［４１］ＭｉｋｏｌｏｖＴ，ＳｕｔｓｋｅｖｅｒＩ ，ＣｈｅｎＫ， ｅｔ ａｌ． Ｄｉｓｔ ｒｉｂｕｔ ｅｄｒｅｐｒｅｓｅｎｔａｔ ｉｏｎｓｏｆｗｏｒｄｓａｎｄｐｈｒａｓｅｓａｎｄｔ ｈｅｉｒｃｏｍｐｏｓｉｔｉ ｏｎａｌｉ ｔｙ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＡｄｖａｎｃｅｓｉ ｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬａｋｅＴａｈｏｅ， ＵＳＡ，２０１３： ３１１１ ３１１９［４２］ＰｅｎｎｉｎｇｔｏｎＪ，ＳｏｃｈｅｒＲ？Ｍａｎｎｉ ｎｇＣ． ＧｌｏＶｅ： Ｇｌｏｂａｌｖｅｃｔｏｒｓｆｏｒｗｏｒｄｒｅｐｒｅｓｅｎｔ ａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ２０１４ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔ ｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ（ＥＭＮＬＰ） ． Ｄｏｈａ， Ｑａｔａｒ，２０１４： １５３２ １５４３［４３］ＧｏｎｇＹ， ＬｕｏＩ Ｉ，ＺｈａｎｇＪ． Ｎａｔ ｕｒａｌｌ ａｎｇｕａｇｅｉｎｆ ｅｒｅｎｃｅｏｖｅｒｉｎｔｅｒａｃｔ ｉｏｎｓｐａｃｅ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １７０９． ０４３４８，２０１７［４４］Ｐｅｔ ｅｒｓＭＥ， ＮｅｕｍａｎｎＭ？ ＩｙｙｅｒＭ， ｅｔ ａｌ． Ｄｅｅｐｃｏｎｔ ｅｘｔｕａｌｉｚｅｄｗｏｒｄｒｅｐｒｅｓｅｎｔ ａｔｉｏｎｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １８ ０２． ０５３６５ ，２０１８［４５］ＣｈｅｎＤ，ＦｉｓｃｈＡ，Ｗｅｓｔ ｏｎＪ，ＢｏｒｄｅｓＡ． ＲｅａｄｉｎｇＷｉｋｉｐｅｄｉａｔｏａｎｓｗｅｒｏｐｅｎｄｏｍａｉｎｑｕｅｓｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５５ｔｈＡｎｎｕａｌＭｅｅｔ ｉｎｇｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆ ｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉ ｎｇｕｉｓｔ ｉｃｓ（ Ｖｏｌｕｍｅ１： ＬｏｎｇＰａｐｅｒｓ） ． Ｖａｎｃｏｕｖｅｒ？ Ｃａｎａｄａ，２０ １７： １８７０ １８ ７９［４６］ＧｕｒｕｒａｎｇａｎＳ？ Ｓｗａｙａｍｄｉｐｔ ａＳ， Ｌｅｖｙ０，ｅｔ ａｌ． Ａｎｎｏｔ ａｔｉｏｎａｒｔ ｉｆａｃｔｓｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｉｎｆｅｒｅｎｃｅｄａｔ ａ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅ２０１８Ｃｏｎｆ ｅｒｅｎｃｅｏｆｔ ｈｅＮｏｒｔ ｈＡｍｅｒｉｃａｎＣｈａｐｔ ｅｒｏｆ ｔ ｈｅＡｓｓｏｃｉａｔ ｉｏｎｆｏｒＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ： ＨｕｍａｎＬａｎｇｕａｇｅ４９０ 计 算机 学 报 ２０２１年Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｖｏｌｕｍｅ２（ＳｈｏｒｔＰａｐｅｒｓ）． ＮｅｗＯｒｌｅａｎｓ，ＵＳＡ，２０１８ ：１０７－１１２［４７］ＳｒｉｖａｓｔａｖａＲＫ，ＧｒｅｆｆＫ，ＳｃｈｍｉｄｈｕｂｅｒＪ． Ｈｉｇｈｗａｙｎｅｔｗｏｒｋｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １５０５． ００３８７ ，２０１５［４８］ｌ ｉｅＩ Ｉ， Ｇｉｍｐｅｌ Ｋ，ＬｉｎＪ． Ｍｕｌｔｉ－ｐｅｒｓｐｅｃｔｉｖｅｓｅｎｔｅｎｃｅｓｉｍｉｌａｒｉｔｙｍｏｄｅｌｉｎｇｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１５ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉ ｎｇ．Ｌｉ ｓｂｏｎ，Ｐｏｒｔｕｇａｌ，２０ １５ ： １５７６－１５８６［４９］ＬｉｎＺ，ＦｅｎｇＭ，ｄｏｓＳａｎｔｏｓＣＮ，ｅｔａｌ．Ａｓｔｒｕｃｔｕｒｅｄｓｅｌｆ－ａｔｔｅｎｔｉｖｅｓｅｎｔｅｎｃｅｅｍｂｅｄｄｉｎｇ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：  １７０３．  ０３１３０，２０１７［５０］ＹｏｕｎｇＰ，ＬａｉＡ，Ｉ ｌｏｄｏｓｈＭ，Ｉ ｌｏｃｋｅｎｍａｉｅｒＪ．Ｆｒｏｍｉｍａｇｅｄｅｓｃｒｉｐｔｉｏｎｓｔｏｖｉｓｕａｌｄｅｎｏｔａｔｉｏｎｓ： Ｎｅｗｓｉｍｉｌ ａｒｉｔｙｍｅｔｒｉ ｃｓｆｏｒｓｅｍａｎｔｉｃｉｎｆｅｒｅｎｃｅｏｖｅｒｅｖｅｎｔｄｅｓｃｒｉｐｔｉｏｎｓ． ＴｒａｎｓａｃｔｉｏｎｓｏｆｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ，２０１４，（２）： ６７－７８［５ １］Ｇｌｏｃｋｎｅｒ Ｍ，ＳｈｗａｒｔｚＶ，ＧｏｌｄｂｅｒｇＹ．Ｂｒｅａｋｉｎｇ ＮＬＩ ｓｙｓｔｅｍｓｗｉｔｈｓｅｎｔｅｎｃｅｓｔｈａｔｒｅｑｕｉｒｅｓｉｍｐｌｅｌｅｘｉｃａｌｉｎｆｅｒｅｎｃｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５ ６ｔｈＡｎｎｕａｌＭｅｅｔｉｎｇｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ（Ｖｏｌｕｍｅ ２：ＳｈｏｒｔＰａｐｅｒｓ）． Ｍｅｌｂｏｕｒｎｅ，Ａｕｓｔｒａｌｉａ，２０１８ ： ６５０－６５５［５２］ＯｒｒＧＢ，ＭｕｌｌｅｒＫ－Ｒ． ＮｅｕｒａｌＮｅｔｗｏｒｋｓ： ＴｒｉｃｋｓｏｆｔｈｅＴｒａｄｅ．Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ：Ｓｐｒｉ ｎｇｅｒ，２００３ＺＨＡＮＧＫｕｉｔ）Ｐｈ．Ｄ．＞ｌｅｃｔｕｒｅｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｎａｔｕｒａｌ： ｓｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｄｅｅｐｌｅａｒｎｉｎｇ．ｗ％ＬＶＧｕａｎｇ－Ｙｉ ， Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ． ．ＷＵＬｅ， Ｐｈ．Ｄ． ，ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｅｄｕｃａｔｉｏｎａｌｄａｔａｍｉｎｉｎｇａｎｄｋｎｏｗｌｅｄｇｅｄｉｓｃｏｖｅｒｙｉｎｄａｔａｂａｓｅ，ｒｅｃｏｍｍｅｎｄｅｒｓｙｓｔｅｍ，ｓｏｃｉａｌ ｎｅｔｗｏｒｋ．ＬＩＵＱｉ， Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｄａｔａｍｉｎｉｎｇａｎｄｋｎｏｗｌｅｄｇｅｄｉｓｃｏｖｅｒｙｉｎｄａｔａｂａｓｅ，ｍａｃｈｉｎｅｌｅａｒｎｉｎｇｍｅｔｈｏｄａｎｄａｐｐｌ ｉｃａｔｉｏｎ．ＣＨＥＮＥｎ－Ｈｏｎｇ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉ ｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｉｓｄａｔａｍｉｎｉｎｇ．ＢａｃｋｇｒｏｕｎｄＴｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｏｎｌｅｖｅｒａｇｉｎｇｉｍａｇｅｉｎｆｏｒｍａｔｉｏｎｔｏｅｎｈａｎｃｅｔｈｅｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉｎｇａｎｄｒｅｐｒｅｓｅｎｔａ？ｔｉｏｎ．Ｒｅｃｅｎｔｌｙ，Ｖｉｓｕａｌ－ｔｏ－Ｌａｎｇｕａｇｅ（Ｖ２Ｌ）ｈａｓｂｅｃｏｍｅａｈｏｔｔｏｐｉｃａｎｄａｔｔｒａｃｔｅｄｍｏｒｅａｎｄｍｏｒｅａｔｔｅｎｔｉｏｎ．Ｉｔｔａｋｅｓｔｈｅｉｍａｇｅｓｉｎｔｏｃｏｎｓｉｄｅｒａｔｉｏｎｆｏｒｔｈｅｕｎｄｅｒｓｔａｎｄｉｎｇａｎｄｒｅｐｒｅｓｅｎ？ｔａｔｉｏｎｏｆｓｅｎｔｅｎｃｅｓｅｍａｎｔｉ ｃａｎｄｈａｓｂｒｏａｄａｐｐｌ ｉｃａｔｉｏｎｓ＞ｓｕｃｈａｓＩｍａｇｅＣａｐｔｉｏｎｉ ｎｇ，ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ，ＶｉｓｕａｌＤｉ？ａｌｏｇ，ａｓｗｅｌｌ ａｓＶｉｓｕａｌ Ｒｅａｓｏｎｉｎｇ．Ｃｕｒｒｅｎｔｍｅｔｈｏｄｓｕｓｕａｌ ｌｙｅｍｐｌｏｙｅｅａＣＮＮａｎｄａｎＲＮＮａｓ“ｅｎｃｏｄｅｒｓ”ｆｏｒｉｍａｇｅａｎｄｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ， ｒｅｓｐｅｃｔｉ ｖｅｌｙ．Ｉｎｏｒｄｅｒｔｏｉｎｔｅｇｒａｔｅｔｈｅｓｅｔｗｏｔｙｐｅｓｏｆｉｎｆｏｒｍａｔｉｏｎ，ａｔｔｅｎｔｉｏｎｍｅｃｈａ？ｎｉｓｍｉｓｏｆｔｅｎｕｔｉｌ ｉｚｅｄｆｏｒｔｈｅｆｉｎａｌｄｅｃｉｓｉｏｎ．Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐ？ｍｅｎｔｏｆｒｅｐｒｅｓｅｎｔａｔｉｏｎｍｅｔｈｏｄｓ，ｓｕｃｈａｓｔｒａｎｓｆｏｒｍｅｒ，ＢＥＲＴａｎｄＧＰＴ－３ ，ｒｅｓｅａｒｃｈｅｒｓａｌ ｓｏｔｒｙｔｏｌ ｅｖｅｒａｇｅｔｈｅｔｒａｎｓｆｏｒｍｅｒｔｏｍｏｄｅｌｔｈｅｉｍａｇｅｓａｎｄｓｅｎｔｅｎｃｅｓｓｉｍｕｌ ｔａｎｅｏｕｓｌｙ．ＴｈｅｓｅＣｏｇ？ｎｉｔｉｖｅｓｃｉｅｎｔｉｓｔｓｈａｖｅａｌｓｏａｄｖｏｃａｔｅｄｔｈａｔｏｔｈｅｒｍｏｄａｌｉｔｉｅｓ（ｅ．ｇ． ， ｉｍａｇｅｓ）ａｒｅｑｕｉｔｅｈｅｌｐｆｕｌｆｏｒｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉｎｇｅｎｈａｎｃｅｍｅｎｔ．Ｉｎｏｕｒｗｏｒｋ，ｗｅｔｒｙｔｏｆｉｇｕｒｅｏｕｒｗｈｅｔｈｅｒａｄｄｉｔｉｏｎａｌｉｍａｇｅｉｎｆｏｒｍａｔｉｏｎｃａｎｈｅｌｐｔｏｕｎｄｅｒｓｔａｎｄａｎｄｒｅｐｒｅｓｅｎｔｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｓ．Ｔｈｅｒｅｆｏｒｅ， ｗｅｆｏｃｕｓｏｎＮａｔｕｒａｌ ＬａｎｇｕａｇｅＩｎｆｅｒ？ｅｎｃｅ（ＮＬＩ）＞ａｔｙｐｉｃａｌｓｅｎｔｅｎｃｅｓｅｍａｎｔｉｃｕｎｄｅｒｓｔａｎｄｉｎｇｔａｓｋ，ａｎｄｉｎｔｒｏｄｕｃｅｉ ｍａｇｅｓａｓｅｘｔｒａｉｎｆｏｒｍａｔｉｏｎｔｏｖｅｒｉｆｙｔｈｅｅｆｆｅｃｔ．Ｔｈｅｎ，ｗｅｐｒｏｐｏｓｅａｇｅｎｅｒａｌｐｌ ｕｇａｎｄｐｌ ａｙｆｒａｍｅｗｏｒｋｆｏｒｆｌｅｘｉｂｌｅｉｍａｇｅｕｔｉｌｉｚａｔｉｏｎ．Ｂａｓｅｄｏｎｔｈｉｓｆｒａｍｅｗｏｒｋ，ｗｅｒｅ－ｉｍｐｌｅｍｅｎｔｆｉｖｅｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔＮＬＩｍｏｄｅｌｓａｎｄｃｏｍｐａｒｅｔｈｅｉｒｐｅｒｆｏｒｍａｎｃｅｓｗｉｔｈｄｉｆｆｅｒｅｎｔｉｍａｇｅｓｅｔｔｉｎｇｓｏｎａｌａｒｇｅａｎｎｏｔａｔｅｄＮＬＩｄａｔａｓｅｔ（ ＳＮＬＩ）．Ｆｉｎａｌｌｙ， ｗｅｐｒｅｓｅｎｔａｓｅｒｉｅｓｏｆｆｉｎｄｉｎｇｓｗｉｔｈｑｕａｎｔｉｔａｔｉｖｅｍｅａｓｕｒｅｍｅｎｔｓａｎｄｉｎ－ｄｅｐｔｈａｎａｌｙｓｅｓ．ＴｈｉｓｒｅｓｅａｒｃｈｉｓｐａｒｔｉａｌｌｙｓｕｐｐｏｒｔｅｄｂｙｇｒａｎｔｓｆｒｏｍｔｈｅＮａｔｉｏｎａｌ ＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｆｏｒＤｉｓｔｉｎｇｕｉｓｈｅｄＹｏｕｎｇＳｃｈｏｌａｒｓｏｆＣｈｉｎａ （ＧｒａｎｔＮｏ．６ １３２５０１０），ｔｈｅＮａｔｕｒａｌ ＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（ＧｒａｎｔＮｏ．６１４０３３５ ８） ，ａｎｄｔｈｅＦｕｎｄａｍｅｎｔａｌＲｅｓｅａｒｃｈＦｕｎｄｓｆｏｒｔｈｅＣｅｎｔｒａｌＵｎｉｖｅｒｓｉｔｉｅｓｏｆＣｈｉｎａ．