| 基于注意力感知和语义感知的RGB_D室内图像语义分割算法_段立娟 |
| 来源：一起赢论文网 日期：2021-12-23 浏览数：840 【 字体： 大 中 小 大 中 小 大 中 小 】 |
|
第４４ 卷 第２期２０２１ 年２ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ．２Ｆｅｂ． ２０２１基于注意力感知和语义感知的ＲＧＢ－Ｄ室内图像语义分割算法段立娟 孙启超 乔元华５ ）陈军成”崔国勤６）１ ：）（北京工业大学信息学部 北京 １００１２４ ）２）（ 可信计算北京市重点实验室 北京 １００１２４）３ ）（信息安全等级保护关键技术国家工程实验室 北京１０ ０１２４）４）（浙江省北大信息技术髙等研究院 杭州 ３１１２０ ０）５）（北京工业大学应用数理学院 北京 １００１２４）６ ）（北京中星微电子有限公司数字多媒体芯片技术国家重点实验室 北京 １００ １９１）摘 要 近年来， 全卷积神经网络有效提升了语义分割任务的准确率． 然而， 由于室内环境的复杂性， 室内场景语义分割仍然是一个具有挑战性的问题． 随着深度传感器的出现， 人们开始考虑利用深度信息提升语义分割效果． 以往的研究大多简单地使用等权值的拼接或求和操作来融合ＲＧＢ特征和深度特征， 未能充分利用ＲＧＢ特征与深度特征之间的互补信息．本文提出一种基于注意力感知和语义感知的网络模型ＡＳＮｅｔ（ 八ｔｔｅｎｔｉｏｎａｗａｒｅａｎｄＳｅｍａｎｔｉｃ ａｗａｒｅＮｅｔｗｏｒｋ）． 通过引人注意力感知多模态融合模块和语义感知多模态融合模块， 有效地融合多层次的ＲＧＢ特征和深度特征．其中， 在注意力感知多模态融合模块中， 本文设计了一种跨模态注意力机制， ＲＧＢ特征和深度特征利用互补信息相互指导和优化， 从而提取富含空间位置信息的特征表示．另外， 语义感知多模态融合模块通过整合语义相关的ＲＧＢ特征通道和深度特征通道， 建模多模态特征之间的语义依赖关系， 提取更精确的语义特征表示． 本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码解码网络模型中． 同时， 网络在训练时采用深层监督策略， 在多个解码层上进行监督学习． 在公开数据集上的实验结果表明， 本文算法优于现有的ＲＧＢ Ｄ图像语义分割算法， 在平均精度和平均交并比上分别比近期算法提高了１．９％和１．２％．关键词 ＲＧＢ Ｄ语义分割； 卷积神经网络； 多模态融合； 注意力模型； 深度学习中图法分类号ＴＰ３ ９１ＤＯＩ号１ ０． １ １８９ ７／ＳＰ．Ｊ． １０１ ６． ２０２１ ． ００２７５Ａｔｔｅｎｔｉｏｎ－ＡｗａｒｅａｎｄＳｅｍａｎｔｉｃ－ＡｗａｒｅＮｅｔｗｏｒｋｆｏｒＲＧＢ－ＤＩｎｄｏｏｒＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎＤＵＡＮＬｉＪｕａｎ１） ，２） ，３）ＳＵＮＱｉ Ｃｈａｏ１） ，２） ，４）ＱＩＡＯＹｕａｎ Ｈｕａ５）ＣＨＥＮＪｕｎＣｈｅｎｇ１）ＣＵＩＧｕ〇 Ｑｉ ｎ６）｛ＦａｃｕｌｔｙｏｆＩｎｆｏｒｍａｔｉ ｏｎＴｅｃｈｎｏｌｏｇｙ＾ ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉ ｔｙｏｆＴｅｃｈｎｏｌｏｇｙ？ Ｂｅｉｊｉｎｇ１００１２４）２） （ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＴｒｕｓｔ ｅｄＣｏｍｐｕｔｉｎｇ？ Ｂｅｉｊｉ ｎｇ１００１２４）３ ）｛ Ｎａｔ ｉｏｎａｌＥｎｇｉｎｅｅｒｉ ｎｇＬａｂｏｒａｔｏｒｙｆｏｒＫｅｙＴｅｃｈｎｏｌｏｇｉ ｅｓｏｆＩｎｆｏｒｍａｔ ｉｏｎＳｅｃｕｒｉｔｙＬｅｖｅｌ ＰｒｏＬ ｅｃＬ ｉｏｎ？Ｂｅｉｊｉ ｎｇ１００ １２４）｛ＡｄｖａｎｃｅｄＩｎｓＬｉ ＬｕＬｅｏｆＩｎｆｏｒｍａｔ ｉｏｎＴｅｃｈｎｏｌｏｇｙ＾ ＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙ？ Ｈａｎｇｚｈｏｕ３ １１２００）５ ）（ Ｃｏｌ ｌ ｅｇｅ ｏｆＡｐｐｌ ｉｅｄ． Ｓｃｉｅｎｃｅｓ？ ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ＾Ｂｅｉｊｉｎｇ１００ １２４）６）｛ Ｓｔａｔ ｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＤｉｇｉ ｔａｌＭｕＵｉ ｍｅｄｉ ａＣｈｉｐＴｅｃｈｎｏｌｏｇｙ？Ｖｉ ｍｉ ｃｒｏＣｏｒｐｏｒａｔｉｏｎ？Ｂｅｉｊｉｎｇ１００１９１）ＡｂｓｔｒａｃｔＳｅｍａｎｔｉ ｃｓｅｇｍｅｎｔａｔｉ ｏｎｉ ｓａｒｅｓｅａｒｃｈｈｏｔｓｐｏｔｉ ｎｔｈｅｆｉ ｅｌ ｄｏｆｃｏｍｐｕｔｅｒｖｉ ｓｉ ｏｎ． Ｉｔｒｅｆｅｒｓｔｏａｓｓｉｇｎｉｎｇａｌ ｌｐｉ ｘｅｌｓｉ ｎｔｏｄｉ ｆｆｅｒｅｎｔｓｅｍａｎｔｉｃｃｌａｓｓｅｓ．Ａｓａｆｕｎｄａｍｅｎｔａｌｐｒｏｂｌｅｍｉｎｓｃｅｎｅｕｎｄｅｒｓｔａｎｄｉ ｎｇ，ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎｉｓｗｉ ｄｅｌ ｙｕｓｅｄｉｎｖａｒｉ ｏｕｓｉ ｎｔｅｌ ｌｉｇｅｎｔｔａｓｋｓ．Ｉｎｒｅｃｅｎｔｙｅａｒｓ，ｗｉｔｈ收稿日期：２０ １９ ０６ ３０； 在线发布日期：２０２０ ０２ １３．本课题得到国家重点研发计划（２０１７ＹＦＣ０８ ０３７０５） 、 北京市自然基金委市教委联合资助项目（ ＫＺ２０１９１０００５００８）、 杭州市重大科技创新项目（ ２０ １８２０ １４Ｂ０９） 资助． 段立娟， 博士， 教授， 博士生导师， 中国计算机学会（ ＣＣＦ） 髙级会员， 主要研究领域为图像处理和机器学习． Ｅｍａｉ ｌ： ｌｊｄｕａｎ＠ｂｊｕｔ ． ｅｄｕ．ｃｎ． 孙启超， 硕士研究生， 主要研究方向为图像处理和深度学习．乔元华， 博士， 教授， 博士生导师， 主要研究领域为机器学习． 陈军成（ 通信作者） ， 博士， 讲师， 主要研究方向为信号处理与大数据分析．Ｅｍａｉｌ ：ｊｕｎｃｈｅｎｇ＠ｂｊｕｔ． ｅｄｕ． ｃｎ． 崔国勤， 硕士， 研究员， 主要研究领域为模式识别和智能视频分析．２７６ 计 算机 学 报 ２０２１年ｔｈｅｓｕｃｃｅｓｓｏｆｃｏｎｖｏｌ ｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ（ ＣＮＮ）ｉ ｎｍａｎｙｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｐｐｌｉｃａｔｉ ｏｎｓ，ｆｕｌ ｌ ｙｃｏｎｖｏｌ ｕｔｉ ｏｎａｌｎｅｔｗｏｒｋｓ（ＦＣＮ）ｈａｖｅｓｈｏｗｎｇｒｅａｔｐｏｔｅｎｔｉ ａｌｏｎＲＧＢｓｅｍａｎｔｉ ｃｓｅｇｍｅｎｔａｔｉｏｎｔａｓｋ．Ｈｏｗｅｖｅｒ，ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｉｓｓｔｉｌ ｌ ａｃｈａｌ ｌ ｅｎｇｉ ｎｇｔａｓｋｄｕｅｔｏｔｈｅｃｏｍｐｌ ｅｘｉｔｙｏｆｓｃｅｎｅｔｙｐｅｓ，ｓｅｖｅｒｅｏｂｊｅｃｔｏｃｃｌ ｕｓｉｏｎｓａｎｄｖａｒｙｉ ｎｇｉ ｌ ｌ ｕｍｉｎａｔｉｏｎｓ． Ｉｎｒｅｃｅｎｔｙｅａｒｓ，ｗｉ ｔｈｔｈｅａｖａｉ ｌ ａｂｉ ｌｉ ｔｙｏｆｃｏｎｓｕｍｅｒＲＧＢ ＤｓｅｎｓｏｒｓｓｕｃｈａｓＲｅａｌ Ｓｅｎｓｅ３ＤＣａｍｅｒａａｎｄＭｉ ｃｒｏｓｏｆｔＫｉ ｎｅｃｔ，ｗｅｃａｎｃａｐｔｕｒｅｂｏｔｈＲＧＢｉ ｍａｇｅａｎｄｄｅｐｔｈｉ ｎｆｏｒｍａｔｉ ｏｎａｔｔｈｅｓａｍｅｔｉ ｍｅ．Ｄｅｐｔｈｉｎｆｏｒｍａｔｉ ｏｎｃａｎｄｅｓｃｒｉｂｅ３Ｄｇｅｏｍｅｔｒｉ ｃｉ ｎｆｏｒｍａｔｉ ｏｎｗｈｉ ｃｈｍｉｇｈｔｂｅｍｉ ｓｓｅｄｉ ｎＲＧＢ ｏｎｌｙｉｍａｇｅｓ． Ｉｔｃａｎｓｉｇｎｉｆｉ ｃａｎｔｌ ｙｒｅｄｕｃｅｃｌａｓｓｉ ｆｉｃａｔｉ ｏｎｅｒｒｏｒｓａｎｄｉ ｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎ．Ｉｎｏｒｄｅｒｔｏｍａｋｅｅｆｆｅｃｔｉ ｖｅｕｓｅｏｆＲＧＢｉ ｎｆｏｒｍａｔｉ ｏｎａｎｄｄｅｐｔｈｉ ｎｆｏｒｍａｔｉｏｎ，ｉｔｉｓｃｒｕｃｉａｌｔｏｆｉｎｄａｎｅｆｆｉｃｉｅｎｔｍｕｌ ｔｉ ｍｏｄａｌｉ ｎｆｏｒｍａｔｉ ｏｎｆｕｓｉ ｏｎｍｅｔｈｏｄ． Ａｃｃｏｒｄｉ ｎｇｔｏｄｉｆｆｅｒｅｎｔｆｕｓｉ ｏｎｐｅｒｉ ｏｄｓ，ｔｈｅｃｕｒｒｅｎｔＲＧＢ Ｄｆｅａｔｕｒｅｆｕｓｉｏｎｍｅｔｈｏｄｓｃａｎｂｅｄｉ ｖｉ ｄｅｄｉ ｎｔｏｔｈｒｅｅｔｙｐｅｓ：ｅａｒｌｙｆｕｓｉ ｏｎ，ｌ ａｔｅｆｕｓｉ ｏｎａｎｄｍｉ ｄｄｌ ｅｆ ｕｓｉ ｏｎ．Ｈｏｗｅｖｅｒ，ｍｏｓｔｏｆｐｒｅｖｉ ｏｕｓｓｔｕｄｉｅｓｆａｉｌｔｏｍａｋｅｅｆｆｅｃｔｉ ｖｅｕｓｅｏｆｃｏｍｐｌ ｅｍｅｎｔａｒｙｉ ｎｆｏｒｍａｔｉ ｏｎｂｅｔｗｅｅｎＲＧＢｉｎｆｏｒｍａｔｉ ｏｎａｎｄｄｅｐｔｈｉ ｎｆｏｒｍａｔｉ ｏｎ．Ｔｈｅｙｓｉ ｍｐｌ ｙｆｕｓｅＲＧＢｆｅａｔｕｒｅｓａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓｗｉ ｔｈｅｑｕａｌ ｗｅｉｇｈｔｃｏｎｃａｔｅｎａｔｉ ｎｇｏｒｓｕｍｍｉ ｎｇ，ｗｈｉｃｈｆａｉ ｌ ｅｄｔｏｅｘｔｒａｃｔｃｏｍｐｌ ｅｍｅｎｔａｒｙｉ ｎｆｏｒｍａｔｉ ｏｎｂｅｔｗｅｅｎｔｗｏｍｏｄａｌ ｓａｎｄｗｉｌ ｌ ｓｕｐｐｒｅｓｓｅｄｔｈｅｍｏｄａｌｉｔｙｓｐｅｃｉ ｆｉｃｉ ｎｆｏｒｍａｔｉｏｎ． Ｉｎａｄｄｉｔｉ ｏｎ，ｓｅｍａｎｔｉ ｃｉ ｎｆｏｒｍａｔｉ ｏｎｉ ｎｈｉｇｈｌ ｅｖｅｌ ｆｅａｔｕｒｅｓｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔｍｏｄａｌ ｓｉ ｓｎｏｔｔａｋｅｎｉ ｎｔｏａｃｃｏｕｎｔ，ｗｈｉｃｈｉｓｖｅｒｙｉｍｐｏｒｔａｎｔｆｏｒｔｈｅｆｉ ｎｅ ｇｒａｉ ｎｅｄｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎｔａｓｋ．Ｔｏｓｏｌ ｖｅｔｈｅａｂｏｖｅｐｒｏｂｌ ｅｍｓ，ｉ ｎｔｈｉｓｐａｐｅｒ，ｗｅｐｒｅｓｅｎｔａｎｏｖｅｌＡｔｔｅｎｔｉ ｏｎａｗａｒｅａｎｄＳｅｍａｎｔｉｃ ａｗａｒｅＭｕｌ ｔｉ ｍｏｄａｌＦｕｓｉ ｏｎＮｅｔｗｏｒｋ（ ＡＳＮｅｔ）ｆｏｒＲＧＢ Ｄｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎ． Ｏｕｒｎｅｔｗｏｒｋｉｓａｂｌ ｅｔｏｅｆｆｅｃｔｉ ｖｅｌ ｙｆｕｓｅｍｕｌ ｔｉ ｌ ｅｖｅｌＲＧＢ Ｄｆｅａｔｕｒｅｓｂｙｉ ｎｃｌ ｕｄｉ ｎｇＡｔｔｅｎｔｉ ｏｎａｗａｒｅＭｕｌ ｔｉ ｍｏｄａｌＦｕｓｉ ｏｎｂｌ ｏｃｋｓ（ ＡＭＦ）ａｎｄＳｅｍａｎｔｉｃ ａｗａｒｅＭｕｌ ｔｉ ｍｏｄａｌＦｕｓｉ ｏｎｂｌ ｏｃｋｓ（ ＳＭＦ）． Ｓｐｅｃｉ ｆｉｃａｌ ｌ ｙ，ｉｎＡｔｔｅｎｔｉ ｏｎａｗａｒｅＭｕｌ ｔｉｍｏｄａｌＦｕｓｉ ｏｎｂｌ ｏｃｋｓ，ａｃｒｏｓｓ ｍｏｄａｌａｔｔｅｎｔｉ ｏｎｍｅｃｈａｎｉｓｍｉｓｄｅｓｉｇｎｅｄｔｏｍａｋｅＲＧＢｆｅａｔｕｒｅｓａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓｇｕｉ ｄｅａｎｄｏｐｔｉ ｍｉｚｅｅａｃｈｏｔｈｅｒｔｈｒｏｕｇｈｔｈｅｉｒｃｏｍｐｌｅｍｅｎｔａｒｙｃｈａｒａｃｔｅｒｉｓｔｉｃｓｉ ｎｏｒｄｅｒｔｏｏｂｔａｉｎｔｈｅｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎｗｉｔｈｒｉｃｈｓｐａｔｉａｌｌｏｃａｔｉ ｏｎｉｎｆｏｒｍａｔｉ ｏｎ．Ｉｎａｄｄｉｔｉ ｏｎ，ＳｅｍａｎｔｉｃａｗａｒｅＭｕｌ ｔｉ ｍｏｄａｌＦｕｓｉ ｏｎｂｌ ｏｃｋｓｍｏｄｅｌｔｈｅｓｅｍａｎｔｉ ｃｉ ｎｔｅｒｄｅｐｅｎｄｅｎｃｉ ｅｓｂｅｔｗｅｅｎｍｕｌ ｔｉ ｍｏｄａｌｆｅａｔｕｒｅｓｂｙｉ ｎｔｅｇｒａｔｉ ｎｇｓｅｍａｎｔｉｃａｓｓｏｃｉａｔｅｄｆｅａｔｕｒｅｃｈａｎｎｅｌｓａｍｏｎｇｔｈｅＲＧＢａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓａｎｄｅｘｔｒａｃｔｍｏｒｅｐｒｅｃｉｓｅｓｅｍａｎｔｉｃｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ． Ｔｈｅｔｗｏｂｌ ｏｃｋｓａｒｅｉ ｎｔｅｇｒａｔｅｄｉ ｎｔｏａｔｗｏｂｒａｎｃｈｅｎｃｏｄｅｒ ｄｅｃｏｄｅｒａｒｃｈｉｔｅｃｔｕｒｅ，ｗｈｉｃｈｃａｎｒｅｓｔｏｒｅｉ ｍａｇｅｒｅｓｏｌ ｕｔｉｏｎｇｒａｄｕａｌ ｌ ｙｂｙｕｓｉ ｎｇｃｏｎｓｅｃｕｔｉ ｖｅｕｐｓａｍｐｌ ｉ ｎｇｏｐｅｒａｔｉｏｎａｎｄｃｏｍｂｉ ｎｅｌ ｏｗｌ ｅｖｅｌｆｅａｔｕｒｅｓａｎｄｈｉｇｈｌ ｅｖｅｌｆｅａｔ ｕｒｅｓｔｈｒｏｕｇｈｓｋｉｐｃｏｎｎｅｃｔｉ ｏｎｓｔｏａｃｈｉｅｖｅｈｉｇｈ ｒｅｓｏｌ ｕｔｉ ｏｎｐｒｅｄｉｃｔｉ ｏｎ．Ｉｎｏｒｄｅｒｔｏｏｐｔｉ ｍｉ ｚｅｔｈｅｔｒａｉ ｎｉ ｎｇｐｒｏｃｅｓｓ，ｗｅｕｓｉ ｎｇｄｅｅｐｌ ｙｓｕｐｅｒｖｉｓｅｄｌ ｅａｒｎｉｎｇｏｖｅｒｍｕｌ ｔｉｌ ｅｖｅｌｄｅｃｏｄｉ ｎｇｆｅａｔｕｒｅｓ． Ｏｕｒｎｅｔｗｏｒｋｉｓａｂｌ ｅｔｏｅｆｆｅｃｔｉ ｖｅｌｙｌｅａｒｎｔｈｅｃｏｍｐｌｅｍｅｎｔａｒｙｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｗｏｍｏｄａｌ ｉ ｔｉｅｓａｎｄｍｏｄｅｌｓｔｈｅｓｅｍａｎｔｉｃｃｏｎｔｅｘｔｉｎｔｅｒｄｅｐｅｎｄｅｎｃｉｅｓｂｅｔｗｅｅｎＲＧＢｆｅａｔｕｒｅｓａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓ．Ｅｘｐｅｒｉ ｍｅｎｔａｌｒｅｓｕｌｔ ｓｗｉｔｈｔｗｏｃｈａｌ ｌ ｅｎｇｉ ｎｇｐｕｂｌ ｉ ｃＲＧＢ Ｄｉ ｎｄｏｏｒｓｅｍａｎｔｉ ｃｓｅｇｍｅｎｔａｔｉｏｎｄａｔａｓｅｔｓ，ｉ ．ｅ． ，ＳＵＮＲＧＢ ＤａｎｄＮＹＵＤｅｐｔｈｖ２ ，ｓｈｏｗｔｈａｔｏｕｒｎｅｔｗｏｒｋｏｕｔｐｅｒｆｏｒｍｓｅｘｉｓｔｉ ｎｇＲＧＢ Ｄｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎｍｅｔｈｏｄｓａｎｄｉ ｍｐｒｏｖｅｓｔｈｅｓｅｇｍｅｎｔａｔｉ ｏｎｐｅｒｆｏｒｍａｎｃｅｂｙ１．９％ａｎｄ１．２％ｆｏｒｍｅａｎａｃｃｕｒａｃｙａｎｄｍｅａｎＩｏＵｒｅｓｐｅｃｔｉｖｅｌ ｙ．ＫｅｙｗｏｒｄｓＲＧＢ Ｄｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎ；ｃｏｎｖｏｌ ｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｍｕｌ ｔｉ ｍｏｄａｌ ｆ ｕｓｉ ｏｎ；ａｔｔｅｎｔｉ ｏｎｍｏｄｅｌ；ｄｅｅｐｌ ｅａｒｎｉ ｎｇ觉领域的研究热点之一， 其目的是为图像中的每个１弓Ｉ言像素分配一个预先定义的语义类别标签［ｌ］． 作为场景理解的基础， 语义分割被广泛应用于各种智能任语义分割（ ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉ ｏｎ） 是计算机视务， 比如自动驾驶、机器人感知和无人机导航等．等： 基響法＿： ＃緯舛和儀黑感如的Ｓ６ＳｒＤ３ｊ＞ｉ庫偉霉龙分餐筹＿ ２７ ７ ２： 期近年来＊ 深度学习在计算机视觉领域的应用越来越广：ｌ￡ｉ？ 暴親神餐网翁＾３＇（Ｃ輝ｙ〇ｌｕｔｔｅｎａｉ？ｅｗａｌＨｆｔｗｏｒｋ， 筒称ＯＮｎ＞在礙像鎖、 目标检测和谱文分割等计算机视觉任务？中都取得了不错的效祟［３］．８０１４学，： Ｌｏｎｇ等人ｗＨ出时全＿＿＿络（ Ｆｕｌ ｌｙＣｆｌｎｖｏｌ ｕｔｉ ｏｎａｌＮｅｔｒｏｌ＇ｋ》 简称ＦＧＮ） 在谮叉费割任务上显示出巨大的潜力． 此后， 很多研究人员基于该方法提坶了改进的语义分割模１１？ 然而．由于室内环境的复杂性， 室内场景下的？义分割仍然是一个具會挑战性的问顧， 比如窠内光： 照的： 变化和物体间的遮麵Ｖ容易造成大量像素被错误分类＿， 彰晌最？终的语夏分割效果． 如獨１ 所：示＜ 观察ＲＧＢ羅像，虛线内的区域受光照影响。黑色的椅子与背景融为一体， 难以． 区分他们的类别？近年来， 随着探度传感器的普及〈例如ＩｎｔｅｌＲｅａｌ Ｓｅｎｓｅ３ＤＧａｍｅｉｒａ、ＡｓｕｓＸｔｉｃｉ ｎＰＲＱＬＩＶＥ和ＭｉＣＴｏｍｆｔＫｉ ｎｆｃｏｒｆ５ ］： ＞， 人们对谨像的研貪已经不再局限于彩色图像， 并且已经探入到对含有深度谓息的ＲＧＢ Ｄｅｐｔｈ（ ＲＧＢ－Ｄ》 图像的研究＊ＲＧＢ特征能够描述物体激色和纹理之类的外观偉息， 而深虞特征能够描述物体的三维几何翁息， 这种几何倩息報难在ＲＧＢ特怔中获取．３ 并且不＝会随光照的变化而改变． 如图１ 第２列所示， 将探度＇信息引人语义分割任务， 作为颜色信息的补充， 更有利于截分图像中易混淆的Ｅ域， 从而提升语义分割精度？ 为了充分利用颜色會息和深度儐息， 寻我一种有效的多模态特怔融合方法至关重翼Ｉ近年来， 很多研究将颜色信息和深度信息结合起来甩于锫义分割任务．一些方法［「７］简单地将ＲＧＢ特征和深度特征拼接起来， 作为ＣＮＮ的Ｍ通道输人， 有效提蠤了语义分割的准确性？ 这些方法通常在特征输入网络之前截合ＲＧＢ債違和深度鲁息，属于前期融合方法？Ｗａｎｇ等人 进一步将深度笸息编码为ＨＨＡ（ 水平视差， 对地裔度ｆ 表面法向量的角度）特征， 然后将颜色特征和ＨＨＡ释征输人到两个并联的ＣＲＮ中， 分别预测出两个塔义分割概率裡、 并在最后一爵将它们Ｍ合作为鑲終的分割结皋． Ｃｈｅｎｇ 等人？在解码器最：后一层：使用Ｈ苌融合单元学习ＲＧＢ特舞和深度特征对于语义分割任务的重要程度， 然后利用德合特征预测最终的分割概率Ｓ， 这些方法通常在网络最踣一层进行特征融合ｓ 扁于后期融合方法， 此外，一些算法Ｍ使用双分支ＣＮＮ作为编码器， 分别从ＲＧＢＷ象和探度圈像中提取特征｜ 并将多个阶段的ＲＧＢ特征与深度特征融合， 然后对融会特征解码上采样得到最终分割、结果．， 属于多级融合方法，ＲＧＢ图像深度图像语义标签＿１ 室：内驗Ｔ的语义分劊胁上述方法虽然在ＲＧＢ－Ｄ语义分割任务中取得了不错的效屎， 但仍存在一些不足＊ 貧先， 以往研究大多将ＲＧＢ特征和探度特征筒单地通过等．权值拼接或求和的方式进行１４合［６＾１ ３］． 未能有效地挖掘并利用ＲＧＢ特征与深度特征在空间上的互补信息，并且这种简傘驗融佥方法还可龍会抑制模＿＿＂部的特有倩息． 另一方面， 卷积神经网络裔层特征中的每个通道都会编码某个特： 定类别的语义信息ｓ 现有方法均末：考虑到不同摟态高唐特征之间语义詹息的湘关性， ． 而语． 义信息对于捂义分割这种细粒度分类任务来说很重要．针对上述两个问题， 本文提出一种基于注窵力感知和语义感知的ＲＧＢ－Ｄ、图像语义分割方法， 图２为本文网鱗＿爾的整体： 结构， Ｍ络叢体上； ：慕＾个猶码－解码架构， 其中包含两个创新性的多模态特征融＃截块： 聲意力感知多傷态融＃模块和语义感知多模态徽合模块？ 其中灌倉力感知多模态融合模块： 充分利用两种模态特征在空间上的差： 异， 分别计算两种樓态的空Ｍ注意力掩模， 多模态特征通过炷篇力掩瘼相互指导和优化， 从而堤取富貧空间位餐瘴息的特征？ 语． 义感知多模态融合糢块利用两种模态特征之间语义信息的相关性． 采用＿局部策略建模多模态费征之间的长距离语义依赖关系， 通过融合语义相关的多模。 态＃征逋＿道增强特征的语义表示能力． 本文将这两个融合填块整合到一个带有跳跃连接的编码－解码结构中，其冲编码器由两个相同的ＣＮＮ分支构成， 分别用来提取ＲＧＢ特征和探度特征． 根据ＣＮＮ提取的特？征尺寸可以将其分为五个阶段， 其中， 前四个阶段的特征分别送人四个注意力感知多黎态融含模块， 最后一个阶段的高层次待征送入语义感知多模态融合模块＊ 然后将其输出送人解码器， 使用连续的上采祥操作恢复图＂像分＿象通过上述结构设计， 本文网络由浅入深地提取并融合多层次的ＲＧＢ特征和深度＃征， 并且充分利用多模２７８ 计 算机 学 报 ２０２１年态特征的空间差异和语义依赖关系， 有效促进多模态特征的协同交互， 从而提高最终的语义分割效果．本文的主要贡献可以概括如下：（１） 提出了一种端到端的基于注意力感知和语义感知的多模态融合网络ＡＳＮｅｔ ， 用来解决ＲＧＢ Ｄ室内场景语义分割问题．（２） 提出两种多模态特征融合方法． 其中， 在注意力感知多模态融合模块中， 本文设计出一种跨模态注意力机制， ＲＧＢ特征和深度特征利用注意力掩模协同优化， 提取富含空间细节信息的特征． 另一方面， 语义感知多模态融合模块将非局部策略整合到多模态卷积神经网络中， 融合语义相关的多模态特征通道， 编码更具判别性的语义信息．（３） 实验证明本文提出的ＲＧＢ Ｄ语义分割网络能够准确地处理复杂场景下的室内图像， 在公共的ＲＧＢ Ｄ语义分割数据集ＳＵＮＲＧＢ Ｄ和ＮＹＵＤｅｐｔｈｖ２ 上取得了优于其他方法的语义分割结果．２ 相关工作２． １ 基于卷积神经网络的单模态语义分割近年来， 卷积神经网络被广泛应用于图像的语义分割任务． Ｌｏｎｇ等人于２０１４ 年［ ４］提出了一种全卷积网络， 通过把分类网络中的全连接层改为卷积层， 创新性地将用于图像分类的ＣＮＮ扩展到语义分割任务． 然而， ＣＮＮ也存在一定的局限性， 经过网络中的卷积和池化操作， 原始图像的尺寸会大大降低， 而低分辨率的特征表示会导致图像细节信息的丢失， 从而降低分割准确度． 为了改善上述问题，Ｚｈａｏ等人［ １ ４］设计了一个金字塔池化模块， 通过整合不同区域的上下文信息对全局上下文信息进行建模． Ｃｈｅｎ等人［１ ５］设计出一种空洞卷积， 在不损失分辨率和不增加计算量的前提下指数级地扩大网络的感受野． 〇６叩１ ＆１３１２［ １ ６ ］算法根据空间金字塔的思想，提出空洞空间金字塔池化（ＡｔｒｏｕｓＳｐａｔｉａｌＰｙｒａｍｉ ｄＰｏｏｌ ｉ ｎｇ， 简称ＡＳＰＰ） ， 使用多个不同采样率的空洞卷积来整合多尺度特征． 随后的〇６叩１＾１３ ￥３［ １ ７ ］进一步改进了ＡＳＰＰ模块， 以级联和并行的方式将４ 个不同采样率的空洞卷积组合在一起， 编码不同尺度的上下文信息． Ｕ等人［ １ ８ ］提出一种两路并行网络， 分别提取图像轮廓特征和多尺度细节特征， 最后融合两类特征改善分割精度． 另外一些研究＃２ ２］则使用编码解码结构， 在编码过程中进行下采样操作，逐步减少特征图的分辨率， 在解码过程中连续上采样逐步恢复图像尺寸， 最终实现高分辨率语义分割．２．２ 基于多模态融合的ＲＧＢ－Ｄ图像语义分割随着深度传感器的广泛应用， 我们能够更方便的获取场景的深度信息， 人们对图像的研究不再局限于ＲＧＢ图像， 对于ＲＧＢ Ｄ图像的研究也取得了不错的进展． 有效的ＲＧＢ特征与深度特征融合方法可以提高语义分割的精度． 目前的ＲＧＢ Ｄ特征融合方法根据融合时期的不同可分为三类： 前期融合、后期融合和多级融合． Ｃｏｕｐｎｅ 等人［ ７ ］提出了一种前期融合方法， 简单地将图像的ＲＧＢ通道和深度通道拼接起来作为卷积神经网络的四通道输人． Ｗａｎｇ等人［ ８ ］将深度信息编码为ＨＨＡ特征， 并将ＲＧＢ特征和ＨＨＡ特征分别输人到两个ＣＮＮ中进行预测， 在网络的最后阶段进行融合， 这种方法属于后期融合． Ｈａａｒｂａｓ 等人［ ２ ３ ］提出了一种编码解码网络，使用双分支ＣＮＮ编码器分别从ＲＧＢ图像和深度图像中提取特征， 并将不同层次的深度特征选择性的融合到相应的ＲＧＢ特征中去， 这种方法为多级融合． 卷积神经网络提取的低层特征编码更多的空间位置信息， 而高层特征编码更多的类别语义信息， 网络提取的每一层特征都有利于最终的预测， 因此多级融合方法能更有效地利用中间层特征的信息．上述研究大多简单使用等权的拼接或求和操作来融合ＲＧＢ特征和深度特征， 没有考虑到不同模态之间互补信息的有效利用． 近年来，一些研究提出了更有效的ＲＧＢ Ｄ特征融合策略． Ｕ等人［ ２ ４］使用级联的垂直和水平ＬＳＴＭＣ ＬｏｎｇＳｈｏｒｔＴｅｒｍＭｅｍ〇ｒｙ）［ ２ ５ ］层多方向扫描特征图， 从ＲＧＢ特征和深度特征中分别提取上下文信息并融合． Ｈｏｃｈｍｔ ｅｒ等人［ ２ ６ ］提出了一种特征转换网络， 通过特征转换模块同时提取两种模态之间的共有特征和特有特征．Ｌｅｅ 等人［ １ °］将Ｒｅｆｉ ｎｅＮｅｔ［ ２ ２ ］扩展到ＲＧＢ Ｄ语义分割任务， 在一个深层网络中重复使用残差模块， 提取和融合多层次的ＲＧＢ Ｄ特征， 其将残差模块进行重复叠加， 未考虑到两种模态之间互补信息的交互．一些研究％２ ８ ］使用超像素方法建模图像的上下文结构信息， 并将其引人神经网络， 然后利用深度信息进行多分支预测， 但是超像素的计算需要消耗大量时间． Ｃｈｅｎｇ等人［ ９ ］设计了一种后期融合方法， 在网络的最后一层使用门控融合单元， 通过反向传播自适应学习ＲＧＢ特征和深度特征对于最终分割任务的贡献程度， 但其仅融合了最后一层特征， 未充分利用卷积网络提取的中间层特征．等： 基響法＿： ＃緯舛和儀黑感如的Ｓ６ＳｒＤ３ｊ＞ｉ庫偉霉龙分餐筹＿ ２７ ９ ２撰２． ３注意力机制近年来， 注意力机制被广泛应用于计算机视觉等领域？Ｗａｎｇ等：Ａ？］在图像分类模型中使用空闾注龛力， 通过卷积神Ｍ网络的反向传播．．自适应学习空甸注意力掩模， 指导特怔关在？像的重讓区域＊显箸提升了图像分类任务的准确率ＨＵ等人［３°］提出一种通道注意力机制， 通过神经网： ： 络自适庞学习每个特征逋： 道的重要截度， Ｗ〇〇等人［ ３ １］将： 空间注意力和通道法鮝力以级联和并行的方式整合， 进一步提升特征提取能九Ｗａｎｇ等人［ 扣受非局部均值 和自注意力的启． 发， 提。出了一种非局部模块． 通过计算：相似矩阵捕莸特■征图申＇像素点同的长距离依赖关系． ＦＵ等人 将该方法扩展到语义分割任务， 在全卷积网络的顶层接人两个并行模块， 存空间维度和通道维度编码特怔图时上下文信息？ 现有的注糞力机制在单模态特征提取中嚴示出巨太潜力， 为了有效利用多模态数据的互补信息，本文提壯一种跨模态注意力机制， 分别计箅ＲＧＢ特征和深度特征的空间注意力掩模． 多模态特征通过注意力掩模协同优化， 学习富含空间位耸倩息的＃征？另外， 聋非局部思想的启发， 本文将非＝局部操作整合到多模态融合卷积神经网络中， 建模多模态特怔之间的长距离语义依赖． 关系？３ 本文方法本节雷先介绍本文语义分割网络ＡＳＮｔ的整体结构， 然ｅ分别详细阐述所设计的两个多模态特征韻合隹块： 澤意力感知多模态融合隹块和语＇义感知多模态融合模块ｒ最菽介销模型训练所使用的损失函数．３． １ 网络模型的整体结构圏２雇示了网鉻摸型的整体结构． 本＇文： 网齡整体为编码－解码架构，同时使用跳跃连接传递编码层和解码Ｍ之间的ｉ償息？ 其中ｒ编码器为一个双分支全卷积网络． 分别甩来提取ＲＧＢ特征和深度特征． 本文采用两个预训练的ＲｅｓＮｅｔ［３ ５］作为编码器的两个分支， 并且去掉Ｒｅｓｉｓｔ 最病的全黯平均池化篇和全连接层？ 另一方面， 解码器连续对特征进行上采样， 遂步恢篡图像分辨率．ＲＧＢ图像下采样层 上采样层篛勰鼷语？Ｉ模态 跳跃连接ｌａ 靈于建＝蠢金論細、和齋Ｘ感＿的ＫＧＢ－Ｐ舊复分割网絡穩滅ＡＳＮｅｔ 齒整体結輪本文网络模型弓］ 入了两个多模态特征融合模块：注意力感知多傷态融参獲抉和＿义感知多繼态論，摸抉． 具体来说， 将ＲｅｓＮｅｔ 编码器的前四个多级ＲＧＢｆ奢鋒（ Ｒｅｓ「ｒ Ｉ？Ｒ機，ｒ４， ） 和深處棒征（Ｒｅ＆￣ｄｌＲｆｉｓ－■祖） 输人注意力感知多模态敵合模块， 利用ＲＧＢ特征和探度特征中的互补信息协同优化， 从而学习到富含空间位置信息的特征表：示， 另外， 将ＲｅｓｓＮ ｅｔ 编條器的最后一层货进特征（ Ｒｅｓ－ｔｆ） 和深度特怔（Ｒｅｓ－ｄ５） 输人到语义感知多模态融合模块，用来整合ＲＧＢ特征和深度特征之间的语义相关通道？ 然后４等语义感知多模态融合模块的输出特征输人到解码端， 通过６个连续的上采样层遂步恢复图像分謙攀， 靠中每个上靡样崖： 隹，爾个３＇，３着积层和一个 ３．转：置卷积晨＞ 每个卷积层后都带有批标准化和ＲｅＬＵ撒活操作． 每个上．采样层将＃征尺寸增大为原来的２？倍逋道个数减少为原来的一來ＡＭＦ４２８０ 计導机攀报： ＿１苹此外，注意力多模态融合模块输出的多级编码特征通过跳跃连接与具有相詞尺寸的解码特征融合， 举文使用对应位置元素求和拇作来实现跳跃连接． 为了优化训练过程ｆ 本文采：用深昆监督策略训维网络，以减轻梯度＇撒失丨句題． 具体来说， 本文网路在苴个不苘层次的解码特征上进行监督学习， 对五个上采样雇的输出特征分别使用１／１ 卷积操怍４等特征逋３１个数减少为釕３并使用Ｓｏｆｔｍａｘ函数进行像素级分类－解码器最后一ｇ的输出为网络最幾的语义分割结舉？接下来两小节将分别对本网絡模型中盼注蠶力感知多律态融食模块和语叉感知多撰态融會犧块迸行律细介缉．３． ２ 注意力感知多模态融合模块像上不同美别的相邻物体具有相似的外观时， 算法很难区分它们的类别． 此外ｒ受光鹿影响？ 物体的边界轮廓易和背景融为一体，箅法难以准确识别物体的边 Ｅ别于颜色偉息， 捧度償息不会随光照的变化而改变１因此可以根据深度． 值对它们进行？分．卷积神绎网络提取的浅层特征可以编码菌像中物体的？边缘翁ｉ償息、 画３ 麗示了乘： ＳＲｅｓＳｓｔ码器第２层提取的Ｉｆ息． 其中， 第１ 列为ＲＧＢ图像编码分支（Ｒｔｏｒ２）提取的信息！ 第２列为深度图像编码分支（ Ｒｅｓ ｄ２） 提取的信息， 观察第（２）行和第００行■■受环境光照的彰响？ 由ＲＧＢ圈像提取的特征未能编码出西像中阴蝽处椅子的轮、暉情息， 而深． 度待征未受光照影晌， 准确编码出了椅子整体的轮廓信息． 第（ ４） 行展示了由本文注黧力感知多模态融合模抉计算出的两个模态的注：意力掩模．， 可以看出ｓＲＧＢ特征倾南于关注图像中顏色和纹霉发生变化的区域， 而振度特征则倾向予关ｆｃ探度値发生变化的区域， 两种■态特征的编码信息互为补充，Ｄｅｐｔｈ庫ｇＲＧ？臀＿、馨： 縻特征邾讓费■特，６｜可观化对比考虑以上问题， 本立撻出一种跨模态往意力机制， 同时计算两种樓态特征的空间注意力掩樓，ＲＧＢ特怔和深度特怔通过注意力掩模相互指导和优化？图２第（５＞ 行展示了餘过此融合填块提取的融合特征， 可以看出Ｈ善到的融合＇特征不仅关柱到颜色和纹理发生变化的区域， Ｗ时关法到深度值发生变化的Ｅ域， 帮助网．络吏精确地判别物体的边界轮廓． 下面将对该模块进行详细介绍．注拿力感知多模态融合模块（ ＡＭＦ） 的结构如图４所示ｓ＿中ＪＴｆ？£ Ｒ１—＾＇和尤ｆ［ｗ分别ｃ 乂 ｈ乂ｗ图４ 注意力感知多模态融合模块段立娟等： 基于注意力感知和语义感知的ＲＧＢ Ｄ室内图像语义分割算法 ２８１２ 期表示来自ＲｅｓＮｅｔ 编码器第ｚ 个阶段的ＲＧＢ特征和深度特征， 特征的通道个数和尺寸分别为ｃ 和／ｉ Ｘ将同一阶段的ＲＧＢ特征和深度特征作为注意力感知多模态融合模块的输人． 首先分别对两个特征图进行第一组非线性映射操作：Ｘｆｆ＝ＲｅＬＵ（ ＢＮ（／３ Ｘ３（ＸｆＧＢ） ）（１）ＸＤｅｐｔｈ ＝ＲｅＬＵ（ ＢＮ（／３ ｘ３（ｘｆｅｐｌｈ） ）（２）其中，／３ Ｘ３为标准卷积操作， 卷积核大小为３Ｘ３ ， 采样步长为１， 在卷积操作前对特征图外侧进行尺度为１的全〇 填充， 卷积操作不改变特征图的尺寸和通道个数， ＢＮ为批标准化操作， ＲｅＬＵ为线性整流激活函数， Ｘｆｆ和 为经过第一组非线性映射提取的特征， 接下来对其进行第二组非线性映射操作：Ｘ＝Ｂ＝ＢＮ（／３ Ｘ３（Ｘｆｆ） ）（３）〇ＢＮ （／３ ｘ３（＃广） ）⑷其中，／３ Ｘ３为标准卷积操作， 卷积核大小为３Ｘ３ ， 采样步长为１， 同样对特征图进行尺度为１ 的全〇 填充， 不改变特征图尺寸和通道个数， ＢＮ为批标准化操作． 与第一组非线性映射操作不同， 第二组非线性映射操作不使用ＲｅＬＵ激活函数．然后， 对 和Ｘｇｅ２ｐｌｈ使用Ｓｉｇｍｏｉ ｄ激活函数，将所有的特征值归一化到〇 和１ 之间， 得到跨模态注意力掩模ＭｆｅＢ和Ｍ？ｐｌ ｈ：ＭｆＧＢ＝——ｙ ＾（５）ｌ＋ｅｘｐ（ Ｘ，？）＇ｌ＋ｅｘｐ（ Ｘ°ｒｈ＞其中， ＭｆＧＢｅ为颜色注意力掩模， ｅ为深度注意力掩模．使用注意力掩模让ＲＧＢ特征和深度特征相互指导． 其中， 深度注意力掩模 来指导ＲＧＢ特征， 颜色注意力掩模ＭＴＢ用来指导深度特征：［／ ｆＧＢ＝Ｂ？ Ｍｆｐｌｈ ？ＸｆＧＢ（７）［／ 产ｌｈ＝Ｘ严１ｈ？ＭｆＧＢ？Ｘ严１ｈ（８）其中， Ｃ／ｆｅＢ为更新后的ＲＧＢ特征， 为更新后深度特征， ？表示对应位置元素相乘， 十表示对应位置元素相加． 因此， 最终更新后的特征相当于原始特征的恒等残差映射（ ｒｅｓｉ ｄｕａｌｉ ｄｅｎｔｉ ｔｙｍａｐｐｉ ｎｇ）［３ ５］，ＭｆｅＢ和Ｍ？ｐｌｈ中的元素取值范围为０ 到１ 之间，当某个位置的权值趋向于〇 时， 更新后的特征Ｇ在该位置的取值近似等同于原始特征Ｘ，，当权值趋向于１ 时， 特征Ｇ在该位置的取值将会增加， 权值越大意味着该位置将会受到更多的关注．因此， 经过该融合模块， ＲＧＢ特征和深度特征自适应协同优化， 同时保留了原始模态的特有信息， 有利于网络学习更鲁棒的特征表亦．进一步地， 注意力多模态融合模块的输出特征昃ｅ通过以下计算获得：Ｆ，＝／ｌ ｘｌ（ｃｏｎｃａｔ（［／ｆＧＢ， Ｕ＾ｅｐｌｈ） ）（ ９）其中， ｃｏｎｃａｔ 表示在通道维度的拼接操作，／ｌ ｘｌ表示一组非线性映射操作， 包括采样步长为１ 的１ Ｘ１ 卷积、批标准化和ＲｅＬＵ激活函数， 经过此操作， 特征的尺寸不变， 通道个数减少为原来的一半．３． ３ 语义感知多模态融合模块卷积神经网络高层特征的每个通道都编码特定类别的语义信息． 为了充分利用多模态特征中的语义相关信息， 本文提出语义感知多模态融合模块（ ＳＭＦ） ， 受现有文献［３２］ 中非局部思想的启发， 将非局部策略扩展到多模态特征融合任务， 通过整合语义相关的ＲＧＢ特征通道和深度特征通道， 使得编码相同语义信息的特征互相增强．基于非局部思想的非局部均值滤波算法［ ３３ ］被成功用于图像去噪任务， 可将其看作局部滤波方法的扩展， 局部滤波方法仅考虑局部搜索空间位置之间的关系， 非局部滤波方法则通过计算目标位置与全局搜索空间位置响应的相关程度， 更新目标位置的响应为所有位置响应的加权和， 从而建模全局响应间的长距离上下文关系． 本文将其用于编码两种模态特征通道间的长距离语义依赖关系． 为方便地将非局部操作引人本文多模态ＣＮＮ， 本模块将其整合到一个残差单元内， 定义非局部操作为ｙ， ＝－＼－ｘ， （１０）Ｖｚ其中，ｚ 枚举所有搜索空间位置，：ｒ， 为ｚ 位置的响应，６为＿； 位置的原始输人响应，％为＿； 位置更新后的输出响应， 二元函数／计算响应：ｃ， 和：ｒ， 之间的相关程度， Ｃ（：ｒ）＝Ｉ；／（ｕ， ） 为归一化函数？式（１０） 中的二元函数／有多种可选形式， 比如向量间的欧氏距离或点积相似性， 考虑到卷积神经网络提取的特征为三维张量， 点积操作在本文算法框架下可以更方便地实现． 参考非局部均值滤波算法［ ３ ３ ］， 定义二元函数／为高斯函数：？ｘｊ）（ １１）因此， 式（１０） 中的＾ｙ／（Ａ， 即为计算对应位置的Ｓｏｆｔｍａｘ． 如图５ 所示， 语义感知多模态融合模块的２８２ 计 算机 学 报 ２０２１年Ｒｅｓｈａｐｅ２ｃＸｈｗＲｅｓｈａｐｅ＆ ｔｒａｎｓｐｏｓｅｍｈｗＸ２ｃＲｅｓｈａｐｅ２ｃＸｈｗ ４＞ＡＪ？凡Ｆｕｓｉ ｏｎＲｅｓｈａｐｅｃＸｋＸｚｏ２ｃＸｈＸｗｃＸｈＸｗ２ｃＸｈＸｗ庫ｓ 看黑感知：＿撰靈爾脅＃ｆｃ输人为Ｒｅｓｌｆｅｔ 编码器第５ 盼段的颜色特征ｉｔ— ＿Ａ＇和深．處＃征ｙ９８＊ｅｉｔ７１ ＿＇鲁征的逋道个数和尺寸分别为ｒ和／以规， 首先将它们在通道维度拼接， 得到融合特征 ｅＲｍ， 调整齋合特征叉＊＾＿的尺寸为ｉ＃ｕｓ ｌ ？ｅＲｍ，將嫉阵Ｈ＊＊－１和＿翁蜜． 矩阵做矩阵乘法运算， 然后使用Ｓｏｆｔｍａｘ函数对其归一化， 计算得到语义相关矩阵ＡｅＲ＆＿２％ａＪｌ＝－＾—ｆｉＨ］， Ｈｌ）＝２ ｆＸＰ（Ｋ）＜１２）ｉ－ｌ其中七为语义相关矩阵Ａ在位置Ｇｗ．） 处时值， 甩来衡營特征 第？ 个特怔通道与第厂个特征通道之间的语义相关程度，迸一歩的， 将语义相关矩阵Ａ与ｉｆＳｕ＿做矩阵乘法运： ＃， 并将输出矩阵的尺寸丨周整为ｉｆＦｄ＿ｅＲｍ， 然后使用？鳥部操作更蕾 ， 瘍． 到语义零强特簡■ｙｆｍｔｍ＝（Ｍ］ｉ Ｈｆ？） ＋ｘ｜ｕｓ ， ｏｎ＜１３）ｉ－ｌ其中， Ｘｆ“为 的第 个通道， 打＾为＇更新后的谮义増强特征Ｐｕ＇■的第ｉ＇个通道－， 经过上述＿梟部操作， 语义增强特征 中的每个通道都是原始特征中和其语义相关的通道加权整合的铕果，与翁前通遺语义相近的通道：在顰合时会被赋予更大的杖童， 受益于恢操作的恭局部特性， 该模块不仅整嗆了專个模态内语义相关的通道，同对可以建模多模态特征通道之间的长鉅离谱义依赖关系ｋ从而融合ＲＧＢ特征和深度特征之间的语义相关通道＊进一步增强特怔的语义表示．力＊帮助网络爭习更具判别性的语义儔息．最后，使用１／１ 卷积、 批标准化和ＲｅＬＵ激活操作， 將谣夂增強待征 的通道个数减少为；Ｍ来的一半４１韻最终输出 本文使用ｐ１ 卷积实现特征的跨通道信息整含和降维， 可以看作上采榉前的一个瓶颈层， 更有效、 直观地进行数据的训练和特征提取． 同时减少接Ｔ来上采样操作的计算量？ 另一方面． 最． 过该降维操作＊ 语义感知＿合模块的输人特征和输出特怔拥有相同的通道维数，提高了模块的易用性和可移植性， 可以方便地将该模块整合到萁他多模态两络架构中？３． ４ 损失函数本文网络在五个不同层次的解码铮征上迸行．监膂学习． 我们使用最近邻插值的方式对语义标签图下来＃Ｖ将尺寸分别调整厲？■０，§４０、 ＭＱ，３甜、１２０Ｘ１Ｓ０、Ｖ８ＯＸ８０ 和加Ｘ４＆； ｆ 用乘迸行深．层避餐＇训练？ 对五个上舉样层的输出特征分别使用１Ｚ１ 卷积和Ｓｏｆｔｍａｘ函数计算每个像素的分类概拿． 第＾层的损失涵数Ｌ， 为像素级交叉熵掼失＾Ｌ，＝Ｘ） ＹＣｐ；，） ｌｏｇ（ ￥＊（ ＾．ｑ＂））（１４）其中， Ｍ为第＊＇层的？偉素个数， ＾（？ 为像泰位置ｙ为输出的分类概率Ｊ齿标签类别．将五个解码层的像素级交叉熵损失相加， 作为本文网络最终的损失函数ｆ５ｉ－ｌｐｌａｌ ￣ＤＬ，Ｈ Ｓｉｉ ｌ通过优化上述损失函数Ｔ 本文的网络模塑能够端到端地进行训练． 链过一次训练卽可得到蕞终的分割Ｉｌｆ．巣． 同时，由于本文使用跳跃连接策略将注意力感知融含模块的倩息传递到獬碍眉， 因此， 在反向传搐阶段， 辅助掘失产生的禅度可以容易地传递到对应的多模态融合模块， 进而传递到柑虫的编码层，从而有教的避免网络的梯度消失问题，提升模型整体的參数更新能力．３． ５ 与现有方法的联系和区别本文所揭出的两个多儀态威合糧块均涉萬表倉力机制？ 首Ｈ猶于？文献［群］和文献［３４］中的＿篇部４彙力＾本戈浅倉力虜知參镇态截舍養块中的跨模态ｆｔ意力的本质为特征图盼空间注意力， 通过网段立娟等： 基于注意力感知和语义感知的ＲＧＢ Ｄ室内图像语义分割算法 ２８３２ 期络的非线性运算和反向传播得到特征图的空间注意力权重， 利用多模态特征在空间注意力上的差异进行跨模态协同优化． 而文献［３２］和文献［３４］中的注意力本质为非局部思想和自注意力机制， 通过矩阵乘法运算得到注意力权重， 并且用于建模单一模态特征内部的上下文关系． 另一方面， 文献［３２］通过非局部策略建模特征图空间像素点间的全局上下文关系， 文献［３４］将其同时用于特征空间维度和通道维度． 它们均成功地将非局部策略用于提取单模态特征图在空间或通道维度的上下文信息， 受此启发， 本文的语义感知多模态融合模块将非局部策略扩展到多模态特征融合任务， 充分利用非局部思想能够建模长距离信息的优越性， 对ＲＧＢ特征和深度特征之间的语义相关通道进行融合， 学习更具判别性语义信息的融合特征． 实验结果表明， 语义感知多模态融合方法充分利用了多模态特征之间的语义相关信息， 有效提升了最终的语义分类效果．４ 实验结果与分析本节首先介绍实验使用的数据集， 评估指标和网络参数设置， 然后与现有的ＲＧＢ Ｄ语义分割算法进行对比， 最后对网络模型内各个模块的作用进行实验分析．４． １ 实验数据集与评估指标４．１．１ 数据集本文使用常用的公共ＲＧＢ Ｄ语义分割数据集ＳＵＮＲＧＢ Ｄ［ ３ ７ ］和ＮＹＵＤｅｐｔｈｖ２［ ３ ８ ］评估所提出的网络模型． ＳＵＮＲＧＢ Ｄ数据集是常用的大规模ＲＧＢ Ｄ室内场景语义分割数据集， 共包含１０３３５ 张成对的ＲＧＢ Ｄ图像和标签， 其中深度图像的缺失值均使用邻近帧估计的方法进行了填充和去噪处理． 所有图像都被精细标注， 每个像素被分配一个语义类别标签， 共划分为３７ 个语义类别， 包含了室内场景中常见的物体类别． 除了新采集的数据外，ＳＵＮＲＧＢ Ｄ数据集同时包含了ＮＹＵＤｅｐｔｈｖ２、Ｂｅｒｋｅｌ ｅｙＢ３ＤＯ［ ３ ９ ］、 ＳＵＮ３Ｄ［ ４０］中的数据． 本文采用与Ｓｏｎｇ等人［ ３ ７］相同的数据划分方法， 在实验评估中使用５２８５ 个实例进行训练，５０５０ 个实例进行测试． ＮＹＵＤｅｐｔｈｖ２ 数据集由１４４９ 张来自室内场景的ＲＧＢ Ｄ图像组成， 数据使用Ｍｉ ｃｒｏｓｏｆｔＫｉ ｎｅｃｔ 采集， 并对深度图的缺失值进行了填充． 语义标签共划分为４０ 类． 在实验中， 本文根据标准划分方法， 使用７９５ 个实例用于训练， ６５４ 个实例用于测试．４．１．２ 评估指标本文使用三种常用的语义分割评估指标来验证算法性能， 分别为像素精度（ｐｉ ｘｅｌａｃｃｕｒａｃｙ）、平均精度（ｍｅａｎａｃｃｕｒａｃｙ） 和平均交并比（ｍｅａｎｌｏＵ）？４．２网络参数设置本文在开源的深度学习框架ＰｙＴｏｒｃｈ？上实现并训练了所提出的网络模型． 首先使用随机尺度调整、 随机裁剪和随机翻转等方法对训练数据进行扩增， 然后将所有ＲＧＢ图像、 深度图像的大小调整为４８０ Ｘ６４０ 作为网络输人， 并且进一步把语义标签图的尺寸调整为４８０Ｘ６４０ 、２４０Ｘ３２０、１２０Ｘ１６０、６０Ｘ８０ 和３０ Ｘ４０， 用来进行深层监督训练． 将五个解码层的输出和标签间的像素级交叉熵损失相加，作为网络最终的损失函数． 本文使用在ＩｍａｇｅＮｅｔ分类数据集［ ４１ ］上预训练的ＲｅｓＮｅｔ 来初始化编码器权重参数， 其余不在ＲｅｓＮｅｔ 上的层使用均值为０，方差为ｌ〇ｉ的正态分布进行参数初始化． 我们在两个ＮＶＩＤＩＡＧｅＦｏｒｃｅＧＴＸ１０８０Ｔｉ ＧＰＵ上使用带动量的随机梯度下降优化算法训练本文网络， 训练时批处理大小设置为５， 初始学习率设置为０．００４，并且每５０ 次迭代乘以０．８ 来减少学习率， 动量和权重衰减分别为〇．９ 和０．０００１．４． ３ 实验结果分析４．３． １ 与其他算法的对比结果（ １） 在ＳＵＮＲＧＢＤ数据集上的对比结果本文首先将所提算法与现有算法在ＳＵＮＲＧＢＤ数据集上进行对比实验． 如表１ 所示， 本文算法在三种评估指标上均优于现有方法． 具体来说， 本文以ＲｅｓＮｅｔ １０１ 为编码器的网络ＡＳＮｅｔ １０１ 在ＳＵＮＲＧＢＤ测试集上的语义分割像素精度、平均精度和平表１与其他算法在ＳＵＮ－ＲＧＢＤ数据集上的分割像素精度、平均精度以及平均交并比的比较结果 （单位： ％）算法ＬＳＴＭＣＦ［２４］￣ＤＦＣＮＤＣＲＦ［４２］ＦｕｓｅＳＦ５［２３ ］Ｃｏｎｔ ｅｘｔ ＣＲＦ［４３］ＬＳＤ ＧＦ［ ９］ＣＦＮ１５２［２ ７］ＲＤＦ１５２００ＲｅｄＮｅｔ。１］ＳＣＮ１５２［２８］ＡＳＮｅｔ １０１ＡＳＮｅｔ １５２ｐｉｘｅｌａｃｃ． ｍｅａｎａｃｃ．８１． ９６０．５８２． ６６２． ７ｍｅａｎＩｏＵ４２４８ ．７５１ ． １（ＤＡｕｔｏｍａｔ ｉｃｄｉｆｆｅｒｅｎｔ ｉａｔｉｏｎｉｎｐｙｔｏｒｃｈ． ｈｔ ｔｐｓ ： ／／ｏ ｐｅｎｒｅｖｉｅｗ．ｎｅｔ／ｆｏｒｕｍ？ｉｄ＝ＢＪＪｓｒｍｆＣＺ２８４ 计 算机 学 报 ２０２１年均交并比分别为８１．９％、６０．５％和４８．７％； 相比于ＬＳＤ ＧＦ算法， 本文方法的平均精度提高了２．５％；相比于ＲＤＦ１５２ 算法， 本文方法的像素精度、平均精度和平均交并比分别提高了０．４％、０．４％和１．０％．上述算法均使用双分支编码解码架构， 需要指出的是， 本文的ＡＳＮｅｔ１０１网络使用１０１ 层ＲｅｓＮｅｔ 作为编码器， 其性能已经优于使用１５２ 层ＲｅｓＮｅｔ 作为编码器的ＣＦＮ１５２ 算法和ＲＤＦ１５２ 算法， 这归功于精心设计的网络结构以及多模态融合模块， 本文的方法不需要使用很深层的网络即可取得更优的分割结果．本文进一步验证了使用ＲｅｓＮｅｔ １５２ 作为编码器的网络性能． 如表１ 所示， 使用更深的编码器进一步提高了网络的分割性能， 相比同样使用ＲｅｓＮｅｔ１５２作为编码器的ＣＦＮ１５２ 算法和ＳＣＮ１５２ 算法， 本文算法ＡＳＮｅｔ １５２ 的平均交并比分别提升３．０％和〇．４％， 这两种算法需要额外消耗大量时间计算超像素并进行多分支预测．另一方面， 相比于同样使用双分支编码解码架构的ＲｅｄＮｅｔ 和ＲＤＦ１５２， 本文算法在三个指标上均取得更优结果． 这两种算法的性能提升主要归功于使用了更复杂的解码器， 其中，ＲＤＦ１５２ 算法的解码上采样层重复使用嵌套的残差单元， 包含大量的卷积和池化计算操作， ＲｅｄＮｅｔ算法则设计了包含约３５ 层３ Ｘ３ 卷积的解码器， 而本文网络的解码上采样阶段仅包含１５ 层３ Ｘ３ 卷积， 所使用的解码器更加轻量化．（２） 在ＮＹＵＤｅｐｔｈｖ２ 数据集上的对比结果本文进一步将所提算法与现有算法在ＮＹＵＤｅｐｔｈｖ２ 数据集上进行对比实验？ＮＹＵＤｅｐｔｈｖ２ 数据集的语义标签共划分为４０ 类． 如表２ 所示， 本文以ＲｅｓＮｅｔ １０１ 为编码器的网络ＲｅｓＮｅｔ １０１ 在ＮＹＵＤｅｐｔｈｖ２ 测试集上的语义分割像素精度、 平均精度和平均交并比分别比ＲＤＦ１０１ 算法提高了１．２％、１．０ ％和０．４％， 以ＲｅｓＮｅｔ １５２ 为编码器的网络表２ 与其他算法在ＮＹＵＤｅｐｔｈｖ２ 数据集上的分割像素精度、平均精度以及平均交并比的比较结果（单位： ％）算法 ｐｉｘｅｌａｃｃ． ｍｅａｎａｃｃ． ｍｅａｎＩｏＵＬＳＴＭＣＦ［２４］４ ９． ４Ｃｏｎｔ ｅｘｔ ＣＲＦ［４ ３ ］７ ０． ０ ５３． ６ ４０． ６ＬＳＤ ＧＦ［９］７ １． ９ ６０． ７ ４５． ９ＣＦＮ１５２［２ ７］４８． １ＲＤＦｌＯｌＷ］７ ５． ６ ６２． ２ ４９． １ＲＤＦ１５２＾０］７ ６． ０ ６２． ８ ５０． １ＳＣＮ１５２［２８ ］４９． ６ＡＳＮｅｔ １０１ ７６．４ ６３．２ ４９． ５ＡＳＮｅｔ １５２ ７７． ６ ６４． ７ ５１． ３ＡＳＮｅｔ １５２ 的平均交并比分另ＩＪ 比ＣＦＮ１５２ 算法和ＳＣＮ１５２算法提高了３．２％和１．７％， 比ＲＤＦ １５２算法的像素精度、平均精度和平均交并比分别提高了１．６％、１．９％和１．２ ％． 相比于现有尺０８ ０语义分割算法， 本文算法在ＮＹＵＤｅｐｔｈｖ２ 数据集上取得了最优的分割准确率． 这表明本文算法在不同数据集上均可以学习到具有判别性的特征表示， 能够有效适应数据中类别和场景的多样性．（ ３） 语义分类结果分析为了更清楚地了解本文方法在各个语义类别上的分类情况， 本文进一步分析所提方法在ＳＵＮＲＧＢＤ数据集３７ 个语义类别上的像素精度， 分别将本文网络与现有的ＲＧＢ Ｄ语义分割网络ＦｕＳｅ ＳＦ５［ ２ ３ ］以及ＬＳＤ ＧＦ？进行了比较． 如表３ 所示， 本文方法在２５ 个类别的像素精度上超过了另外两个算法． 具体来说， 本文网络进一步提高了高频类别和易区分类别的分割准确率， 比如“墙面”、“地板”和“天花板”等． 而对于形状复杂的类别和低频类别， 本文算法也提升了相当可观的分割精度， 例如“电冰箱”、“淋浴器”、“人”等． 这归功于以下两个因素： （ １） 多层次特征融合的网络结构使得本文网络更充分地利用多模态特征的互补信息４２） 两种多模态融合模块有效挖掘并利用多模态特征的空间互补信息和语义相关信息， 得到更精细的边缘分割效果和更准确的语义分类结果． 因此， 本文算法在多数类别上都取得了更优的结果， 但也存在一些类别的分类精度低于所对比算法的情况． 如图６ 混淆矩阵所示， 本文算法容易将书桌床头柜错误地识别为桌子． 由于这些类别在外观和属性上非常相似， 难以根据物体内部语义信息对它们进行区分， 而ＬＳＤ ＧＦ算法采用双分支上采样和局部敏感反池化操作， 为解码反池化阶段提供更丰富的局部上下文线索， 从而利用物体邻近上下文信息更准确地区分这些类别（ 比如床头柜通常在床的旁边） ． 同时， 这些局部外观和几何线索使得网络在反池化恢复图像尺寸过程中对体积较小且外观变化剧烈的物体有更强的适应能力， 比如毛巾、包袋等． 进一步观察图６ 混淆矩阵， 可以看出， 本文网络在多数类别上都取得较好的分类结果， 但是仍有一些外观和属性比较相似的物体在分类时被混淆， 比如“书桌（ｄｅｓｋ）”、“桌子（ ｔａｂｌ ｅ）”和“床头柜（ ｍｇｈｔｓｔａｎｄ）”． 还有少数类别因为出现频率较低而难以被网络准确识别， 例如“沐浴器（ｓｈｏｗｅｒ）”、“地毯（ｆｌ ｏｏｒｍａｔ）”和“架子（ ｓｈｅｌ ｖｅｓ）”．等： 基響法＿： ＃緯舛和儀黑感如的Ｓ６ＳｒＤ３ｊ＞ｉ庫偉霉龙分餐筹＿ ２８５１０１ 分别减少了＆７％和５．４１这说明本文提出的多模态融合模块显著提升了最终的语义分割准确率？迸一步地， 本文评估了网络在分别去除注蠢力感知多模态融合模块和语义感知多模态融合模块情况下的性能． 我们同样采用等权值拼接的操作来代替相应模块， 同时保持网络其他的参数设養相同． 下一节分别讨论所提出的两个＃镔态融合嗔． 块对网铬性能的影垧．（Ｉ）注意力感知多模态融合楱块我们去除了ＡＳＮｅｔ－１０１中所有的注意力感知多糢态融会模块， 改为筒单盼等权値拼接两个模态的特征． 如表４第２轩所示， 在去餘注意力感知多模态融合模块后， 调络的平均精度和平均交并比分别降低了＇１．＃〇／命＿２．８％．图７ 展示了本文：网絡中间特征图的可．视化， 第２ 列为羟过ＲｅｓＮｅｔ 第２、 层撵取的原始ＲＧＢ特征图和探度特征Ｍ，第３ 列为计算出的注意力掩■．可以看出４Ｓ始ＲＧＢ特证难以准确编码光线较暗处物体的细节轮廓信息， 而深度特征未爱光照影响． 准确编码出了这些餘置的信Ｉ息， 弁且在深度值变化的ｆｔ置产生垔高的响座： ． 另一方面， 对于那些深度值相同而类别不同的区域， 两种模态特征值的响麼倩况相反，比如地毯和地板，墙面和窗户． 第４列为该融合模块提取的融合特征图， 可以看出？ 逋过注：意力协同优化， 融合特征整费了两种模态互补信息的优勢， 准确编码出樣層．商所有物体＿位錢軟廓：會息？省徽适斑复杂的环境条件？＿３廯３Ｔ使用或去除注意， 力感知多模态融合模块的分割结． 果． 对比虚线区域内的分割效果＃ 可以看比， 使用段意力感知多模态融合的网络对物体轮廓的分割更加精细， 比如空间上相邻且因为光照融像素精度／％虜６： 本：ｉ；餘＿：＃§１件： ＲＧＢＤ数据？．类上的像素．＿德果渴灘歲障庸讀綫为等个＿§！！； 梅參囊輕度（Ｊｆａｌ ａｃｃ（ 沿》４．ａ．２ 两种多瘼态融合模块的性能分析本节讨论本文听提出的注意力感知多模态融合模块（ＡＭＦ） 和语义感知多襟态融合模块ＸＳＭＦ）在网络擦：製中的作用． 我们通过替换网络模型中的两个多模态融＃模块来验证它们对于屬兹分割性能的篸响？ 实验结果如表４所示，本文首先坪估了网络在圭． 除所有多模态融合模块情况下的性能， 我们采用等权值拼接的操作来代替所有的多模态融含模块，同时保持网络其他的训缘参数相同， 本文在表４中用ＣｏｎＣａｔ表示此网：络ｓ其分割的平均精度和乎均交并比为分别为Ｓ４８％和仏 ， 比本文网络ＡＳ！％ｔ－表４ 两种多模态融合模块对网络性能的影响网络模型 ＡＭＦ ＳＭＦ ｐｉｘｅｌａｃｃ． ｍｅａｎａｃｃ． ｍｅａｎＩｏＵＣｏｎｅａｔ ｍ． ｍ ７８．７ ５４．８ ４３．３ＡＳＮｅｔ－１０１ ＿ ８０．４ ５８．７４５． ９ＡＳＮｅｔ－１０１ ｍ ８０．１ ５８．２ ４６．７ＡＳＮｅｔ－１０１ ８１． ９ ６０． ５ ４８．７２撰表３ 在§１ ＰＮ－ＲＧＢ－Ｄ数据集３７个类的像素分类精度的比较结果ｍｍ 墙稱 她面 娜 床 捭予 錄 齡 门 儀户 书架Ｆｕｓｅ－ＳＦ５［２ ３］ＬＳＤ－ＧＦ［９ ］９１． Ｊ９４．！９４．＇６１． Ｊ６１．ｆ７７．：８２． ：７８．ｆ８７． Ｊ６６．！６２． ；６５．＾４６．Ｊ４７． ！６２．４６８． ０３４．＾４８．＾ＡＳＮｅｔ－１０１ ９２． １照片９５． １７１．７８４． ２ ８７． ７ ７０．７ ７１． １ ６４．４柜台 百叶窗 书桌 架子 窗帘 梳妆台 枕头６５．＼镜子４８． （地毯Ｆｕｓｅ－ＳＦ５［２ ３］ＬＳＤ－ＧＦ［９］６７．：６９． ：４０．：４９． ＾４３．＾５１． ：２５．（３５．（２０．：２４． （６５．！６８．，４４．０６０． ５５４．２６６．５５２．＾５７． （ＡＳＮｅｔ－１０１ ７４．ｆ衣服５４．＜５４． １ ２７．！ ２５． ｉ ７６． １ ５７．＼ ６６．：天花板 书 电冰箱 电视 纸张 毛巾 沐浴器５８． （箱子 木板Ｆｕｓｅ－ＳＦ５［２ ３］ＬＳＤ－ＧＦ［９］２５． ）４４．８４．＇８８． ；４５． ２６１． ５３４． ！５ １． ＾３４．８７１． ７２４． （３７． ：２１． ０５１． ４２１． ＾４６． （５７， Ｊ５４． ＼ＡＳＮｅｔ－１０１４８．５人８９．５６０． ：６８． ３ ６９． ＼ ４６． １ ４７．（ ９． ８床头柜 马桶 水槽 灯 浴缸 包袋４４．＾６２． ３Ｆｕｓｅ－ＳＦ５［２ ３］ＬＳＤ－ＧＦ［９ ］ＡＳＮｅｔ－１０１￣￣１９． （４９． ：７２． （３７．１４４．６２９．６７６． ７８２． ２８３．５６８． ：７４． ：７６．ｆ６４． ７６３．５７３．２７７． ０８８．５１２．６４７． ６３１．１邊甚ｌｌｌｌｐｐｓｌｐｌｌｆ２８６ 计 算机 学 报 ２０２１年原始图像特征图注意力掩摸融合特征图图７ 注意力多模态融合模块的特征可视化ＲＧＢ图像语义标签不使用注意力使用注意力多模态融合多模态融合图８ 注意力感知多模态融合模块的对比结果为一体的“沙发”和“地毯”， 形状复杂的“书桌”和“椅子 这说明通过跨模态特征的协同交互， 优化后的特征能够关注到仅靠单一模态难以关注的区域， 提取富含空间位置信息的特征表示， 有效增强了网络识别物体边界信息的能力， 从而得到更精细的轮廓分割绪果（ ２）语义感知多模态融合模块本文使用同样的方法去． 除了：网络中时语义感知多輟态磁含模块？ 如表４第３ 行所示， 去除每义感知多模态融合模块后，算法的平均精度和平均交并比分别降低了２．３％和２．０５４圈０廣示了使用或去除语义感知多模态敲合模块的分割结果． 通过对比可以着出， 使用语义感知多ＩＩ态融合模块的网络可以芷确的Ｋ分外观相似．、容易：混淆的物体， 例如 桌子”和“椅子”、＆面片°和“窗户５５等？．这说明语义感知多模态融合模块有效地整合了语义相关的ＲＧＥ特征和深度特征＊ 帮助网络提取到更：加具有判别性的谙义信息．本文进一步对比了德用本同的＃征雜合方式对网络性能的影响． 我们保持网络其ｔ：结构和参数设覺不变， 分别使用以下方式替换举文的语义感知多模态融合獏块： ＜：１） 简单拼接多模态特征；等： 基響法＿： ＃緯舛和儀黑感如的Ｓ６ＳｒＤ３ｊ＞ｉ庫偉霉龙分餐筹＿ ２８７ ２： 期ＲＧＢ图像 语义标签 不使用语义感知使用语义感知多模态融合多模态融合图９—Ｊ４感 多揍翁 象放对ｔｓｌ＃Ｃ２）Ｒｅｄ胃Ｅｔ［ １ １ ］零■法中的求和：操作．， 筒■举＊ｆ： 多學藤特征进行相加； （； ０ＬＳＴＭ－ＣＦｔＭ算法中的记忆上下文融合方法， 使用ＬＳＴＭ昆多方向扫描ＲＧＢ特征和深度特征并融合， 编码面像聋间像素之间的上下文关系；（４）ＬＳＤ－ＧＦ？箕法中的门控融合单元， 通过春积和门控操作自适座学３ＲＧＢ费征和深度特征对于最终分割的寅歡程度以§）Ｗａ呢等人［３ ２］的空间非舄部往意力， 通过计算相似矩阵捕获特‘怔图＇傳寒点间的长距离依赖关系， 我们将多模态特怔拼接后使用此注意力进行特征提取－如表５ 所示， 可以出ｓ 这些方法从不同角度懈诀多模态＃征的融合问题， 相比于筒率的多模态特征拼接或求和操作ｓ 均一定程度地提升了最终的分割准确率， 但是仍然没有傭决语义分割任务中关键的语义判别问题． 本文的语义感知融合方法从特征的语义Ｍ面考虚， 增强了多模态融合特征的语义籠能力， 有效解决了錢像素被蠢中错误分类的问题； 相比现有多模态特征｜｜合方：猶＞提升效巣：變加＇長著？表５ 不同融合方式的性能对比融合方式ｐｉｘｅｌ潑ｃ岛 辑時維龜働 趙备酿￣ＳＳＳｉ Ｔｌｉｉ？２ｉｉ７７隶和ｍＳ５７．７４６．５ｉＢＫ上下文融合ｉ〇． ｓａｓ， ｓｐｊｊｆｌ控齋餘额．ｓ５９． ３＊？， ， ｓ空： 间非 部注意力８０． ６５９＾４７． １￣ＳＸｄｉ＃＃８ｌＴ９６〇７１４８？ ７４． ａ． ３＃他影响囟素分析本节迸一步分析其他可餌影响本文柯络摟盡性能的因素＊分别讨论了深度鲁息、特征融含崖数和深屢监督策略对网络最终分割性能产生： 的影响？本文曹先验怔了在不使用探度信息的情况下网络模型的性能．我们去除了编码器提取深度特怔的分支以及所有的多模态融合模块＊ 保留＇ＲＧＲ特征编码分支和其他部件， 旦编码薇酸后一个阶段的ＲＧＢ特征直接送人解码器进行上采样．同对， 多层次的ＲＧＢ编码特征与对应的解码特征通过跳跃连接相加融合、如表６ 第１ 行所示》由于缺少额外的全间几何信息，分割精度： 和平均交并比太幅降低？ 这说明仅靠ＲＧＢ特征所包含的外观信息，网络难以对环揸复杂的宣内场景进行精确分割．因此， 使用包含空间几何信息的深度数据， 同时利用ＲＧＢ特征和深度特征来进行推理， 是解决复条环攙下场景理解问题的有数方法，表６ 其他因素对网络性能的影响影响因素 ｐｉｘｅｌａｃｃ． ｍｅａｎａｃｃ． ｍｅａｎＩｏＵ不使用深度信息 ７７． ３５２．２ ４ １．９不融合Ｒｅｓ－１ 和Ｒｅｓ－２ 层 ８０． ２ ５９．１ ４ ６．５不融合Ｒｅｓ＿３ 和Ｒｅｓ－４ 层 ８０． ５ ５８．８ ４ ６．３不使用深层监督策略 ８１．１ ５９．４ ４８．１ＡＳＮｅｔ－１０１ ８１． ９ ６０．５ ４８．７为了骖怔多层漱＃征威合的效桌．， 我们逋过去除ＡＳＩｆｅｔ－１０１中的某些融合层， 对阿络的性能迸行评估． 如＿６ 的第２＃和第３ 行所示， 去掉任何阶段的特征融含ｇ姆杳降低网络最． 终的分割性能． 卷积神经网络提取的深层特征和浅层特征都有利于两络最终的推理预测， 本文网絡融合多个层次的ＲＧＢ特征和深度特怔， 腾个樓态的特征由稱人深的协同指导和优化． 更充分的和用多个层次的多模态互补信息， 从而学习到更鲁棒的多模态特征表示．本文最后验怔了薇层Ｍ督策略对于网络性能的影响？ 如表６ 所示， 使用深层监臂輦略后， 网络的平均精度和乎均交并比分别提高１．１舛和〇？＜？％？身于本文使用跳跃连接．中甸篇辅助损失的梯度可以通过跳跃连接更容易地传递到对应的特征融合模块，２８８ 计導机攀报： ＿１苹有效避免了樣度Ｉｆ失问题， 使得本文． 网络在训练时更容１收敛， 从而产生更好的拟合结果．４． ４ 结果可视化虜１０Ｍ示了．本文算法隹ＳＵＮ－ＲＧＢＤ数据集上的可视化对比结某３ 第６ 列为本文两络ＡＳＮｆｅｔ－１， ０１的分割结：暴． 可以？看ｉｔＵ本文＃法在；各种复杂的螯内场景下都取得了精确的分割效果＞我们将所提方法和Ｉ除所有多模态融合模块的Ｃｍｉｍｔ 模． 型以及ＲＤＦＮ＃ｔ＃？Ｍ的分割结果进行了可视化比较． 可以看出，Ｃｏｎｃａｔ模谨的分割结果中． 存在大量误分像素点， 并且物体边缘分顧结果较， 为粗糙？ＲＤＥＮｅｔ 算法的分割效果相对较好，钽是Ｍ对难以Ｋ分的类别缺乏足够的语义判别能力， 导致易混淆像素点被集：中分类错误， 比如地毯‘镜子”等、 相比ＲＤＦＮｅｔ算法ｆ：本文算法可以在准确识别难分物体的同时得到更精细的边廉分割结果．如第６ 列所示， 通过使用注意力感知多模态融合模块 椅子”、“灯”和“人”等形犹复杂物体的分割轮廓宽加■精姻． 晃一方面：，通过使用篑义感知多模态磁食模块＜本文网络现在能够将难以区分的傳素蟲正确分类， 比如第２行尤商积的“镜子”、第３行床头旁边的小“镜子”以及第Ｓ 行的“‘床头柜ＣｏｎｃａｔＲＤＦＮｅｔ－１５２［ｕ，（１）（２）ＲＧＢ图像深度图像－１０１⑷（５）尊Ｉｆ癱Ｅｄｆｍｆｇｍｉ（６）（７）ｎａ＾３图Ｍ 本： 文 薇在ＳｔｆＮＲＧＳＤ翁藤義上的分劃鑛暴可讓ｆｔ对比（ 不同歡色代表不同ｇ１養細＞．段立娟等： 基于注意力感知和语义感知的ＲＧＢ Ｄ室内图像语义分割算法 ２８９２ 期５ 总 结本文提出一种ＲＧＢ Ｄ室内场景语义分割方法， 其中包含两种多模态特征融合模块： 注意力感知多模态融合模块和语义感知多模态融合模块． 本文将它们集成到一个双分支编码解码网络中， 有效地融合多层次的ＲＧＢ特征和深度特征． 其中， 注意力感知多模态融合模块充分利用多模态特征在空间上的互补信息， 提升了模型的边缘分割效果． 语义感知多模态融合模块通过整合多模态特征的语义相关通道， 提取更具判别性的语义特征表示， 有效提升了网络模型的语义判别能力． 本文证实了融合多个层次的特征能够有效提升网络最终的分割精度， 使用深层监督策略可以有效减轻梯度消失问题， 提升模型的训练效果． 实验表明， 本文方法能够有效处理各种复杂的室内场景， 在多个具有挑战性的ＲＧＢ Ｄ语义分割数据集上的分割性能均优于现有算法， 所提出的多模态特征融合方法可以应用于其它多模态计算机视觉任务， 例如多模态动作识别、 场景识别和目标检测等．ＲＧＢ Ｄ室内语义分割任务的准确率还有进一步地提升空间， 考虑解决类别不均衡问题， 提升低频类别的分割精度， 或者结合多任务训练策略进一步利用深度信息提升语义分割精度等， 都是我们未来的研究方向．参 考 文 献［１］ＴｉａｎＸｕａｎ，ＷａｎｇＬｉａｎｇ，ＤｉｎｇＱｉ． Ｒｅｖｉｅｗｏｆ ｉｍａｇｅｓｅｍａｎｔｉ ｃｓｅｇｍｅｎｔａｔ ｉｏｎｂａｓｅｄｏｎｄｅｅｐｌ ｅａｒｎｉｎｇ． ＪｏｕｒｎａｌｏｆＳｏｆ ｔ ｗａｒｅ ＾２０１９ ，３ ０（２） ： ４４０４ ６８（ｉｎＣｈｉｎｅｓｅ）（ 田萱， 王亮， 丁琪． 基于深度学习的图像语义分割方法综述． 软件学报， ２０１９ ，３０ （ ２ ）： ４４０ ４ ６８）［２］ＬｅＣｕｎＹ， Ｂｏｔ ｔｏｕＬ，ＢｅｎｇｉｏＹ，Ｉ ｌ ａｆ ｆｎｅｒＰ． Ｇｒａｄｉｅｎｔｂａｓｅｄｌｅａｒｎｉ ｎｇａｐｐｌｉｅｄｔｏｄｏｃｕｍｅｎｔ ｒｅｃｏｇｎｉ ｔｉｏｎ． ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ， １９９８ ，８６（１１） ： ２２７８ ２３２４［３］ＺｈａｎｇＳｈｕｎ，ＧｏｎｇＹｉ １ ｌｏｎｇ， ＷａｎｇＪｉｎＪｕｎ． Ｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｄｅｅｐｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｕｒａｌｎｅｔ ｗｏｒｋｓａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｏｎｃｏｍｐｕｔ ｅｒｖｉｓｉｏｎ． ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔ ｅｒｓ？ ２０１９？４２（３） ：４５３ ４ ８２ （ ｉｎＣｈｉｎｅｓｅ）（ 张顺， 龚怡宏， 王进军． 深度卷积神经网络的发展及其在计算机视觉领域的应用． 计算机学报，２０１９， ４２（ ３） ： ４５３４８２）［４］ＬｏｎｇＪ， ＳｈｅｌｈａｍｅｒＥ， ＤａｒｒｅｌｌＴ． Ｆｕｌｌｙｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｔ ｗｏｒｋｓｆ ｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｂｏｓｔｏｎ， ＵＳＡ， ２０１５： ３４３１ ３４４０［５］ＺｈａｎｇＺＹ． ＭｉｃｒｏｓｏｆｔＫｉ ｎｅｃｔｓｅｎｓｏｒａｎｄｉ ｔｓｅｆ ｆｅｃｔ ． ＩＥＥＥＭｕｌｔ ｉｍｅｄｉ ａ，２０１２，１９（２） ： ４ １０［６］ＨｅＹ，ＣｈｉｕＷＣ， ＫｅｕｐｅｒＭ，Ｆｒｉ ｔｚＭ． ＲＧＢＤｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔ ａｔｉｏｎｕｓｉｎｇｓｐａｔｉｏｔ ｅｍｐｏｒａｌｄａｔａｄｒｉｖｅｎｐｏｏｌｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉ ｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉｉ，ＵＳＡ，２０１７： ７１５８ ７ １６７［７］ＣｏｕｐｒｉｅＣ， ＦａｒａｂｅｔＣ， ＮａｊｍａｎＬ？ ＬｅＣｕｎＹ． Ｉ ｎｄｏｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔ ａｔｉｏｎｕｓｉｎｇｄｅｐｔ ｈｉｎｆ ｏｒｍａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔ ｈｅＩｎｔｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔ ｉｏｎｓ．Ｓｃｏｔ ｔ ｓｄａｌｅ， ＵＳＡ，２０１３： ８０ ８８［８］Ｇｕｐｔ ａＳ，Ｇｉ ｒｓｈｉｃｋＲ，Ａｒｂｅｌ ａｅｚＰ， ＭａｌｉｋＪ． Ｌｅａｒｎｉｎｇｒｉｃｈｆｅａｔ ｕｒｅｓｆｒｏｍＲＧＢ Ｄｉｍａｇｅｓｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔ ｉｏｎａｎｄｓｅｇｍｅｎｔ ａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＥｕｒｏｐｅａｎＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ｈａｗａｉｉ ，ＵＳＡ，２ ０１４： ３４５ ３６０［９］ＣｈｅｎｇＹ，ＣａｉＲ，ＬｉＲ，ｅｔａｌ． ＬｏｃａｌｉｔｙＳｅｎｓｉｔｉｖｅｄｅｃｏｎｖｏｌｕｔｉｏｎｎｅｔ ｗｏｒｋｓｗｉｔｈｇａｔ ｅｄｆｕｓｉｏｎｆ ｏｒＲＧＢ Ｄｉｎｄｏｏｒｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔ ａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉ ｉ ？ＵＳＡ，２０ １７： １４７５ １４ ８３［１０］ＬｅｅＳ，ＰａｒｋＳ， ＨｏｎｇＫ， ＲＤＦＮｅｔ； ＲＧＢ Ｄｍｕｌｔ ｉｌｅｖｅｌｒｅｓｉｄｕａｌｆｅａｔ ｕｒｅｆｕｓｉｏｎｆ ｏｒｉｎｄｏｏｒｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔ ａｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔ ｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ，Ｉｔａｌｙ，２０１７： ４９９０ ４９９９［１１］ＪｉａｎｇＪＤ，ＺｈｅｎｇＬＮ， ＬｕｏＦ，ＺｈａｎｇＺＪ． ＲｅｄＮｅｔ： Ｒｅｓｉｄｕａｌｅｎｃｏｄｅｒｄｅｃｏｄｅｒｎｅｔ ｗｏｒｋｆ ｏｒｉｎｄｏｏｒＲＧＢ Ｄｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔ ａｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １８０６．０１０５４，２０１８［１２］ＥｉｇｅｎＤ， ＦｅｒｇｕｓＲ． Ｐｒｅｄｉ ｃｔ ｉｎｇｄｅｐｔ ｈ， ｓｕｒｆ ａｃｅｎｏｒｍａｌｓａｎｄｓｅｍａｎｔ ｉｃｌａｂｅｌｓｗｉｔｈａｃｏｍｍｏｎｍｕｌｔ ｉｓｃａｌｅｃｏｎｖｏｌｕｔｉｏｎａｌａｒｃｈｉｔ ｅｃｔｕｒｅ／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＩＥＥＥ Ｉｎｔ ｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｓａｎｔｉ ａｇｏ ，Ｃｈｉｌｅ，２０１５； ２６５０２６５８［１３］ＷａｎｇＡ，ＬｕＪＷ，ＷａｎｇＧ，ｅｔａｌ． Ｍｕｌ ｔｉ ｍｏｄａｌｕｎｓｕｐｅｒｖｉｓｅｄｆｅａｔ ｕｒｅｌｅａｒｎｉｎｇｆｏｒＲＧＢ Ｄｓｃｅｎｅｌ ａｂｅｌｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｈａｗａｉｉ ， ＵＳＡ，２０ １４： ４５３ ４ ６７［１４］ＺｈａｏＩ ＩＳ，ＳｈｉＪＰ， ＱｉＸ， ｅｔ ａｌ． Ｐｙｒａｍｉｄｓｃｅｎｅｐａｒｓｉｎｇｎｅｔ ｗｏｒｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ． Ｈａｗａｉｉ ，ＵＳＡ， ２０１７： ６２３０６２３ ９［１５］ＣｈｅｎＬＣ，ＰａｐａｎｄｒｅｏｕＧ？ ＫｏｋｋｉｎｏｓＩ ， ｅｔ ａｌ ． Ｓｅｍａｎｔｉｃ ｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎｗｉｔ ｈｄｅｅｐｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｔｓａｎｄｆｕｌｌｙｃｏｎｎｅｃｔ ｅｄＣＲＦｓ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １４１２． ７０６２，２０ １４［１６］ＣｈｅｎＬＣ，ＰａｐａｎｄｒｅｏｕＧ，Ｋｏｋｋｉ ｎｏｓＩ ，ｅｔ ａｌ． ＤｅｅｐＬａｂ：Ｓｅｍａｎｔ ｉｃｉｍａｇｅｓｅｇｍｅｎｔ ａｔ ｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｔｓ，Ａｔｒｏｕｓｃｏｎｖｏｌｕｔ ｉｏｎ， ａｎｄｆｕｌｌｙｃｏｎｎｅｃｔｅｄＣＲＦｓ． ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＰａｔ ｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔ ｅｌ ｌｉｇｅｎｃｅ＾２０ １８， ４０（８） ： ８３４ ８４８［１７］ＣｈｅｎＬＣ，ＰａｐａｎｄｒｅｏｕＧ？Ｓｃｈｒｏｆｆ Ｆ？ＡｄａｍＩ Ｉ． Ｒｅｔｈｉｎｋｉｎｇａｔ ｒｏｕｓｃｏｎｖｏｌｕｔ ｉｏｎｆｏｒｓｅｍａｎｔ ｉｃｉｍａｇｅｓｅｇｍｅｎｔ ａｔ ｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １７０６．０５５８ ７，２０１７［１８］ＬｉＢａｏ Ｑｉ， Ｉ ｌ ｅ ＹｕＹａｏ， ＨｅＬｉｎｇＪｉａｏ ，ＱｉａｎｇＷｅｉ． Ａｓｙｍｍｅｔ ｒｉｃｐａｒａｌｌｅｌｓｅｍａｎｔｉｃｓｅｇｍｅｎｔ ａｔｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｆｕｌｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ． Ａｃｔ ａＥｌｅｃｔｒｏｎｉｃａＳｉｎｉｃａ？２０ １９ ， ４７ （ ５）：１０５８ １０６４（ ｉｎＣｈｉｎｅｓｅ）２９０ 计 算机 学 报 ２０２１年（ 李宝奇， 贺昱曜， 何灵蛟， 强伟．基于全卷积神经网络的非对称并行语义分割模型． 电子学报，２０１９ ，４ ７（５） ： １０５８１０６４）［１９］Ｂａｄｒｉ ｎａｒａｙａｎａｎＶ， ＫｅｎｄａｌｌＡ， ＣｉｐｏｌｌａＲ． ＳｅｇＮｅｔ： Ａｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｅｎｃｏｄｅｒｄｅｃｏｄｅｒａｒｃｈｉｔｅｃｔ ｕｒｅｆ ｏｒｉｍａｇｅｓｅｇｍｅｎｔ ａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＰａｔ ｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔ ｅｌｌｉｇｅｎｃｅ， ２０１７ ， ３ ９（１２） ： ２４８１ ２４９５［２０］ＲｏｎｎｅｂｅｒｇｅｒＯ，ＦｉｓｃｈｅｒＰ，ＢｒｏｘＴ． ＵＮｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆ ｏｒｂｉｏｍｅｄｉ ｃａｌｉｍａｇｅｓｅｇｍｅｎｔ ａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＭｅｄｉ ｃａｌＩ ｍａｇｅＣｏｍｐｕｔｉ ｎｇａｎｄＣｏｍｐｕｔｅｒ ＡｓｓｉｓｔｅｄＩｎｔ ｅｒｖｅｎｔｉｏｎ． Ｍｕｎｉｃｈ， Ｇｅｒｍａｎｙ？２０１５： ２ ３４ ２４１［２１］ＪｅｇｏｕＳ？ ＤｒｏｚｄｚａｌＭ， ＶａｚｑｕｅｚＤ，ｅｔａｌ． Ｔｈｅｏｎｅｈｕｎｄｒｅｄｌａｙｅｒｓｔ ｉｒａｍｉｓｕ： Ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎａｌｄｅｎｓｅｎｅｔｓｆ ｏｒｓｅｍａｎｔｉ ｃｓｅｇｍｅｎｔａｔ ｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １６１１． ０ ９３２ ６， ２０１６［２２］ＬｉｎＧＳ，ＭｉｌａｎＡ，ＳｈｅｎＣＩ Ｉ，ＲｅｉｄＩ ． ＲｅｆｉｎｅＮｅｔ； Ｍｕｌｔ ｉｐａｔｈｒｅｆｉ ｎｅｍｅｎｔｎｅｔ ｗｏｒｋｓｆｏｒｈｉｇｈｒｅｓｏｌｕｔ ｉｏｎｓｅｍａｎｔｉｃｓｅｇｍｅｎｔ ａｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉｉ， ＵＳＡ，２０１７； ５１６８ ５１７７［２３］Ｉ ｌ ａｚｉｒｂａｓＣ， ＭａＬ， ＤｏｍｏｋｏｓＣ， ＣｒｅｍｅｒｓＤ． ＦｕｓｅＮｅｔ：Ｉｎｃｏｒｐｏｒａｔ ｉｎｇｄｅｐｔｈｉｎｔｏｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔａｔ ｉｏｎｖｉａｆｕｓｉｏｎｂａｓｅｄＣＮＮａｒｃｈｉｔｅｃｔ ｕｒｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＡｓｉａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｔａｉｐｅｉ ， Ｃｈｉｎａ， ２０１６ ： ２１３ ２２８［２４］ＬｉＺ， ＧａｎＹＫ， Ｌｉ ａｎｇＸＤ， ｅｔａｌ ． ＬＳＴＭＣＦ； Ｕｎｉｆｙｉ ｎｇｃｏｎｔ ｅｘｔｍｏｄｅｌｉｎｇａｎｄｆ ｕｓｉｏ ｎｗｉｔ ｈＬＳＴＭｓｆ ｏｒＲＧＢ Ｄｓｃｅｎｅｌａｂｅｌｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ａｍｓｔｅｒｄａｍ，ＴｈｅＮｅｔ ｈｅｒｌａｎｄｓ？２０１６： ５４１ ５５７［２５］Ｉ ｌｏｃｈｒｅｉｔ ｅｒＳ， ＳｃｈｍｉｄｈｕｂｅｒＪ． Ｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙ．Ｎｅｕｒａｌ ｃｏｍｐｕｔ ａｔｉｏｎ， １９９７ ， ９（８）； １７３５ １７８０［２６］ＷａｎｇＪＩ Ｉ ， ＷａｎｇＺＩ Ｉ ， ＴａｏＤＣ，ｅｔ ａｌ． Ｌｅａｒｎｉｎｇｃｏｍｍｏｎａｎｄｓｐｅｃｉｆｉｃｆｅａｔ ｕｒｅｓｆｏｒＲＧＢ Ｄｓｅｍａｎｔｉ ｃｓｅｇｍｅｎｔａｔ ｉｏｎｗｉ ｔｈｄｅｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｔｗｏｒｋｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ａｍｓｔ ｅｒｄａｍ＾ ＴｈｅＮｅｔｈｅｒｌａｎｄｓ＾２０１６； ６６４ ６７９［２７］ＬｉｎＤ， ＣｈｅｎＧＹ， Ｃｏｈｅｎ 〇ｒＤ，ｅｔａｌ． Ｃａｓｃａｄｅｄｆｅａｔ ｕｒｅｎｅｔｗｏｒｋｆｏｒｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔ ａｔ ｉｏｎｏｆＲＧＢ Ｄｉｍａｇｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＩＥＥＥＩ ｎｔｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ， Ｉｔ ａｌｙ， ２０１７： １３２０１３２８［２８］ＬｉｎＤ，ＺｈａｎｇＲＭ，ＪｉＹＦ，ｅｔ ａｌ ． ＳＣＮ： Ｓｗｉｔ ｃｈａｂｌｅｃｏｎｔｅｘｔｎｅｔｗｏｒｋｆｏｒｓｅｍａｎｔ ｉｃｓｅｇｍｅｎｔａｔ ｉｏｎｏｆ ＲＧＢ Ｄｉｍａｇｅｓ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｙｂｅｒｎｅｔｉ ｃｓ，２０２ ０ ， ５０（３） ： １１２０ １１３１［２９］ＷａｎｇＦ， ＪｉａｎｇＭＱ， ＱｉａｎＣ， ｅｔ ａｌ ． Ｒｅｓｉｄｕａｌａｔｔ ｅｎｔｉ ｏｎｎｅｔｗｏｒｋｆｏｒｉｍａｇｅｃｌａｓｓｉｆｉ ｃａｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏ ｎ．Ｈａｗａｉｉ，ＵＳＡ，２０１７： ６４５０６４５８［３０］Ｉ Ｉ ｕＪ，ＳｈｅｎＬ，ＳｕｎＧ． Ｓｑｕｅｅｚｅ ａｎｄｅｘｃｉｔａｔ ｉｏｎｎｅｔｗｏｒｋｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＳａｌｔＬａｋｅＣｉｔｙ， ＵＳＡ， ２０１８： ７１３２ ７１４１［３１］ＷｏｏＳ， ＰａｒｋＪ ， ＬｅｅＪ Ｙ， ＫｗｅｏｎＳ． ＣＢＡＭ； Ｃｏｎｖｏｌｕｔｉｏｎａｌｂｌｏｃｋａｔ ｔｅｎｔｉｏｎｍｏｄｕｌｅ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，２０ １８： ３ １９［３２］ＷａｎｇＸＬ，ＧｉｒｓｈｉｃｋＲ，Ｇｕｐｔ ａＡ，ＨｅＫＭ． Ｎｏｎｌｏｃａｌｎｅｕｒａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏ ｆｔｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＳａｌｔＬａｋｅＣｉ ｔｙ， ＵＳＡ，２０ １８； １１５３ １１６５［３３］ＢｕａｄｅｓＡ， ＣｏｌｌＢ， ＭｏｒｅｌＪ Ｍ． Ａｎｏｎｌｏｃａｌａｌｇｏｒｉｔｈｍｆｏｒｉｍａｇｅｄｅｎｏｉｓｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＳａｎＤｉｅｇｏ， ＵＳＡ，２００５； ６０ ６５［３４］ＦｕＪ， ＬｉｕＪ ， ＴｉａｎＩ ＩＪ ，ｅｔａｌ． Ｄｕａｌａｔ ｔ ｅｎｔ ｉｏｎｎｅｔ ｗｏｒｋｆｏｒｓｃｅｎｅｓｅｇｍｅｎｔ ａｔ ｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １８０ ９． ０２９８３ ， ２０ １８［３５］ｌ ｉ ｅＫＭ，ＺｈａｎｇＸＹ， ＲｅｎＳＱ， ＳｕｎＪ． Ｄｅｅｐｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇｆｏｒｉｍａｇｅｒｅｃｏｇｎｉｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＬａｓＶｅｇａｓ？ＵＳＡ， ２０１６；７７０７７８［３６］ｌ ｉ ｅＫＭ，ＺｈａｎｇＸＹ， ＲｅｎＳＱ， ＳｕｎＪ． Ｉ ｄｅｎｔ ｉｔｙｍａｐｐｉｎｇｓｉｎｄｅｅｐｒｅｓｉｄｕａｌｎｅｔ ｗｏｒｋｓ／ ／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ａｍｓｔ ｅｒｄａｍ， ＴｈｅＮｅｔｈｅｒｌａｎｄｓ，２０１６； ６３０６４５［３７］ＳｏｎｇＳ， Ｌｉｃｈｔ ｅｎｂｅｒｇＳＰ，ＸｉａｏＪＸ． ＳＵＮＲＧＢＤ； ＡＲＧＢ Ｄｓｃｅｎｅｕｎｄｅｒｓｔ ａｎｄｉｎｇｂｅｎｃｈｍａｒｋｓｕｉｔｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ．Ｂｏｓｔｏｎ， ＵＳＡ，２０１５；５６７ ５７ ６［３８］ＳｉｌｂｅｒｍａｎＮ， Ｉ ｌｏｉｅｍＤ，ＫｏｈｌｉＰ，ＦｅｒｇｕｓＲ． Ｉｎｄｏｏｒｓｅｇｍｅｎｔａｔ ｉｏｎａｎｄｓｕｐｐｏｒｔ ｉｎｆ ｅｒｅｎｃｅｆ ｒｏｍＲＧＢ Ｄｉｍａｇｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｆｌｏｒｅｎｃｅ，Ｉｔ ａｌｙ，２０１２： ７４６ ７６０［３９］ＪａｎｏｃｈＡ， ＫａｒａｙｅｖＳ， ＪｉａＹ，ｅｔａｌ． Ａｃａｔ ｅｇｏｒｙｌｅｖｅｌ３Ｄｏｂｊｅｃｔｄａｔａｓｅｔ： Ｐｕｔ ｔｉ ｎｇｔｈｅＫｉｎｅｃｔ ｔｏｗｏｒｋ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎＷｏｒｋｓｈｏｐｓ． Ｂａｒｃｅｌｏｎａ， Ｓｐａｉ ｎ，２０１１： １１６８ １１７４［４０］ＸｉａｏＪＸ， ＯｗｅｎｓＡ， ＴｏｒｒａｌｂａＡ． ＳＵＮ３Ｄ： Ａ ｄａｔ ａｂａｓｅｏｆ ｂｉｇｓｐａｃｅｓｒｅｃｏｎｓｔ ｒｕｃｔ ｅｄｕｓｉｎｇＳＦＭａｎｄｏｂｊｅｃｔｌａｂｅｌｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＩＥＥＥＩｎｔ ｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ．Ｓｙｄｎｅｙ， Ａｕｓｔ ｒａｌｉａ，２０１３ ： １６２５ １６３２［４１］ＫｒｉｚｈｅｖｓｋｙＡ，ＳｕｔｓｋｅｖｅｒＩ， ＨｉｎｔｏｎＧＥ． Ｉ ｍａｇｅＮｅｔｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩｎｔ ｅｒｎａｔｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬａｋｅＴａｈｏｅ， ＵＳＡ，２０ １２； １０９７ １１０ ５［４２］ＪｉａｎｇＪＤ？ＺｈａｎｇＺＪ， ＨｕａｎｇＹＱ？ＺｈｅｎｇＬＮ． Ｉｎｃｏｒｐｏｒａｔｉｎｇｄｅｐｔｈｉｎｔ ｏｂｏｔ ｈＣＮＮａｎｄＣＲＦ ｆｏｒｉｎｄｏｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔ ａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＳｏｆｔ ｗａｒｅＥｎｇｉｎｅｅｒｉｎｇａｎｄＳｅｒｖｉｃｅＳｃｉｅｎｃｅ． Ｂｅｉｊｉｎｇ？ Ｃｈｉｎａ？２０ １７： ５２５ ５ ３０［４３］Ｌｉ ｎＧＳ，ＳｈｅｎＣＩ Ｉ ，ｖａｎｄｅｎＩ ｌ ｅｎｇｅｌＡ，ＲｅｉｄＩ． Ｅｘｐｌｏｒｉｎｇｃｏｎｔ ｅｘｔｗｉｔｈｄｅｅｐｓｔ ｒｕｃｔ ｕｒｅｄｍｏｄｅｌ ｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ．ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＰａｔｔ ｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉ ｎｅＩｎｔｅｌｌｉｇｅｎｃｅ ，２０ １８ ，４０（６） ： １３５２ １３６６段立娟等： 基于注意力感知和语义感知的ＲＧＢ－Ｄ室内图像语义分割算法 ２９ １ ２ 期ＤＵＡＮＬｉ－Ｊｕａｎ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．ｓｕｐｅｒｖｉ ｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｍａｃｈｉｎｅｌ ｅａｒｎｉｎｇ．ＢａｃｋｇｒｏｕｎｄＳｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｉｓｏｎｅｏｆｔｈｅｍｏｓｔｐｏｐｕｌａｒｔａｓｋｓｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．Ａｓｔｈｅｆｕｎｄａｍｅｎｔａｌ ｏｆｓｃｅｎｅｕｎｄｅｒｓｔａｎｄｉｎｇ，ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｈａｓａｗｉｄｅｒａｐｐｌｉｃａｔｉｏｎｉｎａｕｔｏｍａｔｉｃｄｒｉｖｉｎｇａｎｄｒｏｂｏｔｓｅｎｓｉｎｇ．Ｒｅｃｅｎｔｌｙ， Ｍｏｓｔｓｔｕｄｉｅｓｈａｖｅｅｍｐｌｏｙｅｄｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌｎｅｔｗｏｒｋ（ＣＮＮ）ｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｔａｓｋ．Ｈｏｗｅｖｅｒ，ｉｎｄｏｏｒｓｅｍａｎｔｉｃｓ ｅｇｍｅｎｔａｔｉｏｎｉｓｓｔｉｌ ｌａｃｈａｌ ｌｅｎｇｉｎｇｔａｓｋｄｕｅｔｏｔｈｅｃｏｍｐｌｅｘｉｔｙｏｆｉｎｄｏｏｒｓｃｅｎｅｓ．Ｒｅｃｅｎｔｌｙ，ｍａｎｙｒｅｓｅａｒｃｈｅｓｈａｖｅｉｍｐｒｏｖｅｄｔｈｅｉｎｄｏｏｒｓｅｇｍｅｎｔａｔｉｏｎａｃｃｕｒａｃｙｂｙｉｎｔｒｏｄｕｃｉｎｇｄｅｐｔｈｉ ｎｆｏｒｍａｔｉｏｎ．Ｈｏｗｅｖｅｒ，ｔｈｅｃｕｒｒｅｎｔａｌｇｏｒｉｔｈｍｓｓｔｉｌ ｌｆａｉｌｔｏｍａｋｅｅｆｆｅｃｔｉｖｅｕｓｅｏｆｃｏｍｐｌｅｍｅｎｔａｒｙｉｎｆｏｒｍａｔｉｏｎａｎｄｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎｂｅｔｗｅｅｎＲＧＢｆｅａｔｕｒｅａｎｄｄｅｐｔｈｆｅａｔｕｒｅ．ＭｏｓｔｓｔｕｄｉｅｓｓｉｍｐｌｙｆｕｓｅＲＧＢａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓｗｉｔｈｅｑｕａｌ－ｗｅｉｇｈｔｃｏｎｃａｔｅｎａｔｉｎｇｏｒｓｕｍｍｉｎｇ，ｗｈｉｃｈｍａｙｓｕｐｐｒｅｓｓｔｈｅｍｏｄａｌｉｔｙｓｐｅｃｉｆｉｃＳＵＮＱｉ－Ｃｈａｏ，Ｍ．Ｓ．ｃａｎｄｉ ｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｄｅｅｐｌ ｅａｒｎｉｎｇ．ＱＩＡＯＹｕａｎ－Ｈｕａ，Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ， Ｐｈ．Ｄ．ｓｕｐｅｒｖｉｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｉｓｍａｃｈｉｎｅｌ ｅａｒｎｉｎｇ．ＣＨＥＮＪｕｎ－Ｃｈｅｎｇ，Ｐｈ．Ｄ． ， ｌ ｅｃｔｕｒｅｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇａｎｄｂｉｇｄａｔａａｎａｌｙｓｉｓ．ＣＵＩＧｕｏ－Ｑｉ ｎ，Ｍ．Ｓ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｉ ｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎａｎｄｉｎｔｅｌ ｌ ｉｇｅｎｔｖｉ ｄｅｏａｎａｌｙｓｉｓ．ｉｎｆｏｒｍａｔｉｏｎ．Ｉｎｔｈｉｓｗｏｒｋ，ｗｅｄｅｓｉｇｎａｍｏｒｅｅｆｆｅｃｔｉｖｅＲＧＢ－Ｄｆｕｓｉｏｎｍｅｔｈｏｄｗｈｉｃｈｆｕｌｌｙｅｘｐｌｏｉｔｓｔｈｅｃｏｍｐｌｅｍｅｎｔａｒｙｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｓｅｍａｎｔｉｃｉｎｔｅｒｄｅｐｅｎｄｅｎｃｉｅｓｂｅｔｗｅｅｎｍｕｔｉｌ－ｌｅｖｅｌＲＧＢａｎｄｄｅｐｔｈｆｅａｔｕｒｅｓ．Ｔｈｅｅｘｐｅｒｉ ｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｏｕｒｍｅｔｈｏｄｙｉ ｅｌｄｂｅｔｔｅｒｓｅｇｍｅｎｔａｔｉｏｎｒｅｓｕｌｔｓｉｎｖａｒｉｏｕｓｃｏｍｐｌ ｅｘｉｎｄｏｏｒｓｃｅｎｅｓ．ＴｈｉｓｗｏｒｋｉｓｓｕｐｐｏｒｔｅｄｂｙｔｈｅＮａｔｉｏｎａｌＫｅｙＲ＆ＤＰｒｏｇｒａｍｏｆＣｈｉｎａ（Ｎｏ．２０１７ＹＦＣ０８０３７０５） ，ｔｈｅＫｅｙＰｒｏｊｅｃｔｏｆＢｅｉｊｉｎｇＭｕｎｉ ｃｉｐａｌＥｄｕｃａｔｉｏｎＣｏｍｍｉｓｓｉｏｎ（ Ｎｏ．ＫＺ２０１ ９１ ０００５００８） ，ｔｈｅＭａｊｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＩｎｎｏｖａｔｉｏｎＰｒｏｊｅｃｔｏｆＨａｎｇｚｈｏｕ（Ｎｏ．２０１ ８２０１４Ｂ０９），ｔｈｅｐｒｏｊｅｃｔｓｄｅｖｏｔｅｔｏｍｕｌｔｉ－ｍｅｄｉａｐｅｒｃｅｐｔｉｏｎａｎｄｃｏｇｎｉｔｉｏｎ．Ａｎｄｓｏｍｅｗｏｒｋｏｆｔｈｅｒｅｓｅａｒｃｈｈａｓｂｅｅｎｐｕｂｌｉｓｈｅｄｉｎｔｈｅｉｎｔｅｒｎａｔｉｏｎａｌｊｏｕｒｎａｌ ｓａｎｄｃｏｎｆｅｒｅｎｃｅｓ． |
| [返回] |
下一篇：融合语义信息与问题关键信息的多阶段注意力答案选取模型_张仰森