第４５卷　第８期２０２２年８月计　　算　　机　　学　　报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ．４５Ｎｏ．８Ａｕｇ．２０２２收稿日期：２０２１０４２３；在线发布日期：２０２２０１２０．本课题得到国家重点研发计划课题（２０１８ＹＦＥ０２０５５０３）、国家自然科学基金重点国际合作项目（６１７２０１０６００７）、高等学校学科创新引智基地（Ｂ１８００８）资助．赵鸿儒，博士研究生，主要研究方向为计算机视觉、同步定位与地图构建．Ｅｍａｉｌ：ｚｈａｏｈｏｎｇｒｕ＠ｂｕｐｔ．ｅｄｕ．ｃｎ．乔秀全（通信作者），博士，教授，中国计算机学会（ＣＣＦ）会员，主要研究领域为未来网络架构、网络服务智能化、分布式神经网络和ＷｅｂＡＲ／ＶＲ研究．Ｅｍａｉｌ：ｑｉａｏｘｑ＠ｂｕｐｔ．ｅｄｕ．ｃｎ．谭志杰，硕士研究生，主要研究方向为计算机视觉、ＷｅｂＡＲ／ＶＲ研究、同步定位与地图构建．李　研，正高级工程师，主要研究方向为结构分析与技术咨询、ＢＩＭ技术开发与应用．孙　恒，正高级工程师，主要研究方向为结构分析与技术咨询、ＢＩＭ技术开发与应用．基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计赵鸿儒１）　乔秀全１） 谭志杰１） 李　研２） 孙　恒２）１）（北京邮电大学网络与交换技术国家重点实验室　北京　１００８７６）２）（山西省交通规划勘察设计院有限公司ＢＩＭ研发中心　太原　０３００１２）摘　要　传统的松耦合视觉惯性里程计需要标定噪声和偏置等参数，而端到端学习的方法耦合性高、普适性低．因此，本文提出了一种由长短期记忆网络融合的端到端松耦合视觉惯性里程计ＥＥＬＣＶＩＯ（ＥｎｄｔｏＥｎｄＬｏｏｓｅｌｙＣｏｕｐｌｅｄＶｉｓｕａｌＩｎｅｒｔｉａｌＯｄｏｍｅｔｒｙ）．首先，在相机位姿和ＩＭＵ融合部分，构建了一个时序缓存器和由一维卷积神经网络和长短期记忆网络相结合的融合网络；其次，为了解决现有单目深度视觉里程计难以利用长序列时域信息的问题，通过使用相邻图像对和帧间密集光流作为输入，设计了一种基于时空双流卷积的视觉里程计ＴＳＶＯ（ＶｉｓｕａｌＯｄｏｍｅｔｒｙｗｉｔｈＳｐａｔｉａｌＴｅｍｐｏｒａｌＴｗｏＳｔｒｅａｍＮｅｔｗｏｒｋｓ）．与ＤｅｅｐＶＯ最多只能利用５帧图像信息相比，本文提出的视觉里程计可以利用连续１０帧图像的时序信息．在ＫＩＴＴＩ和ＥＵＲＯＣ数据集上的定性和定量实验表明，ＴＳＶＯ在平移和旋转方面超过了ＤｅｅｐＶＯ的４４．６％和４３．３％，同时，在传感器数据没有紧密同步的情况下，本文的视觉惯性里程计ＥＥＬＣＶＩＯ优于传统单目ＯＫＶＩＳ（ＯｐｅｎＫｅｙｆｒａｍｅｂａｓｅｄＶｉｓｕａｌＩｎｅｒｔｉａｌＳＬＡＭ）的７８．７％和３１．３％，鲁棒性高．与现有单目深度视觉惯性里程计ＶＩＮｅｔ相比，ＥＥＬＣＶＩＯ获得了可接受的位姿精度，耦合性低，无需标定任何参数．关键词　视觉惯性里程计；双流融合；长短期记忆网络；松耦合；时序缓存器中图法分类号ＴＰ３９１　　　犇犗犐号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０２２．０１６７４犔狅狅狊犲犾狔犆狅狌狆犾犲犱犞犻狊狌犪犾犐狀犲狉狋犻犪犾犗犱狅犿犲狋狉狔犅犪狊犲犱狅狀犛狆犪狋犻犪犾犜犲犿狆狅狉犪犾犜狑狅犛狋狉犲犪犿犆狅狀狏狅犾狌狋犻狅狀犪狀犱犔狅狀犵犛犺狅狉狋犜犲狉犿犕犲犿狅狉狔犖犲狋狑狅狉犽狊ＺＨＡＯＨｏｎｇＲｕ１）　ＱＩＡＯＸｉｕＱｕａｎ１）　ＴＡＮＺｈｉＪｉｅ１）　ＬＩＹａｎ２）　ＳＵＮＨｅｎｇ２）１）（犛狋犪狋犲犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犖犲狋狑狅狉犽犻狀犵犪狀犱犛狑犻狋犮犺犻狀犵犜犲犮犺狀狅犾狅犵狔，犅犲犻犼犻狀犵犝狀犻狏犲狉狊犻狋狔狅犳犘狅狊狋犪狀犱犜犲犾犲犮狅犿犿狌狀犻犮犪狋犻狅狀狊，犅犲犻犼犻狀犵　１００８７６）２）（犛犺犪狀狓犻犜狉犪狀狊狆狅狉狋犪狋犻狅狀犘犾犪狀狀犻狀犵犛狌狉狏犲狔犪狀犱犇犲狊犻犵狀犐狀狊狋犻狋狌狋犲犅犐犕犚牔犇犆犲狀狋犲狉，犜犪犻狔狌犪狀　０３００１２）犃犫狊狋狉犪犮狋　ＶｉｓｕａｌＯｄｏｍｅｔｒｙ（ＶＯ）ｏｒＶｉｓｕａｌＩｎｅｒｔｉａｌＯｄｏｍｅｔｒｙ（ＶＩＯ）ａｉｍｓｔｏｐｒｅｄｉｃｔｓｉｘｄｅｇｒｅｅｓｏｆｆｒｅｅｄｏｍ（６ＤＯＦ）ｐｏｓｅｓｆｒｏｍｍｏｔｉｏｎｓｅｎｓｏｒｓ，ｗｈｉｃｈｉｓａｆｕｎｄａｍｅｎｔａｌｐｒｅｒｅｑｕｉｓｉｔｅｆｏｒｎｕｍｅｒｏｕｓａｐｐｌｉｃａｔｉｏｎｓｉｎｒｏｂｏｔｉｃｓ，ｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ（ＳＬＡＭ），ａｕｔｏｍａｔｉｃｎａｖｉｇａｔｉｏｎ，ａｎｄａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ（ＡＲ）．Ｔｈｅｙｈａｖｅａｔｔｒａｃｔｅｄｍｕｃｈａｔｔｅｎｔｉｏｎｏｖｅｒｒｅｃｅｎｔｙｅａｒｓｄｕｅｔｏｔｈｅｌｏｗｃｏｓｔａｎｄｅａｓｙｓｅｔｕｐｏｆｃａｍｅｒａｓａｎｄｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ（ＩＭＵ）ｓｅｎｓｏｒｓ．ＶＩＯｉｓｃｈａｌｌｅｎｇｉｎｇｄｕｅｔｏｔｈｅｄｉｆｆｉｃｕｌｔｉｅｓｏｆｍｏｄｅｌｉｎｇｔｈｅｃｏｍｐｌｅｘｉｔｙａｎｄｄｉｖｅｒｓｉｔｙｏｆｒｅａｌｗｏｒｌｄｓｃｅｎａｒｉｏｓｆｒｏｍａｌｉｍｉｔｅｄｎｕｍｂｅｒｏｆｏｎｂｏａｒｄｓｅｎｓｏｒｓ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｓｉｎｃｅｏｄｏｍｅｔｒｙｉｓｅｓｓｅｎｔｉａｌｌｙａｔｉｍｅｓｅｒｉｅｓｐｒｅｄｉｃｔｉｏｎｐｒｏｂｌｅｍ，ｈｏｗｔｏｐｒｏｐｅｒｌｙｈａｎｄｌｅｔｉｍｅｄｅｐｅｎｄｅｎｃｙａｎｄｅｎｖｉｒｏｎｍｅｎｔｄｙｎａｍｉｃｓｐｒｅｓｅｎｔｓｆｕｒｔｈｅｒｃｈａｌｌｅｎｇｅｓ．Ｃｕｒｒｅｎｔｌｙ，ｔｙｐｅｓｏｆＶＩＯｓｏｌｕｔｉｏｎｓａｒｅｃａｔｅｇｏｒｉｚｅｄｉｎｔｏｃｌａｓｓｉｃａｌａｎｄｌｅａｒｎｉｎｇｂａｓｅｄｍｅｔｈｏｄｓ．Ｔｈｅｃｌａｓｓｉｃａｌｌｏｏｓｅｌｙｃｏｕｐｌｅｄｖｉｓｕａｌｉｎｅｒｔｉａｌｏｄｏｍｅｔｒｙｕｓｕａｌｌｙｎｅｅｄｓｔｏｃａｌｉｂｒａｔｅｐａｒａｍｅｔｅｒｓｓｕｃｈａｓｎｏｉｓｅａｎｄｂｉａｓ，ｗｈｉｌｅｔｈｅｅｎｄｔｏｅｎｄｌｅａｒｎｉｎｇｂａｓｅｄｍｅｔｈｏｄｈａｓｔｉｇｈｔｃｏｕｐｌｉｎｇａｎｄｌｏｗｕｎｉｖｅｒｓａｌｉｔｙ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎＥＥＬＣＶＩＯ（ＥｎｄｔｏＥｎｄＬｏｏｓｅｌｙＣｏｕｐｌｅｄＶｉｓｕａｌＩｎｅｒｔｉａｌＯｄｏｍｅｔｒｙ），ｗｈｉｃｈｉｓｉｎｔｅｇｒａｔｅｄｂｙｌｏｎｇａｎｄｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙｎｅｔｗｏｒｋｓ．Ｆｉｒｓｔｌｙ，ｃｏｎｓｉｄｅｒｉｎｇｔｈｅｆｕｓｉｏｎｏｆｃａｍｅｒａｐｏｓｅａｎｄＩＭＵ，ａｓｅｑｕｅｎｔｉａｌｃａｃｈｅａｎｄａｆｕｓｉｏｎｎｅｔｗｏｒｋｃｏｍｂｉｎｅｄｂｙｏｎｅｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙｎｅｔｗｏｒｋｓａｒｅｃｏｎｓｔｒｕｃｔｅｄ．Ｓｅｃｏｎｄｌｙ，ｔｈｅｅｘｉｓｔｉｎｇｌｅａｒｎｉｎｇｂａｓｅｄｍｏｎｏｃｕｌａｒｖｉｓｕａｌｏｄｏｍｅｔｒｙｉｓｌｉｍｉｔｅｄｂｙｒｅｍｅｍｂｅｒｉｎｇｈｉｓｔｏｒｙｋｎｏｗｌｅｄｇｅｆｏｒｌｏｎｇｔｉｍｅ．Ｔｏａｄｄｒｅｓｓｔｈｉｓｄｉｌｅｍｍａ，ｗｅｐｒｏｐｏｓｅａＴＳＶＯ（ＶｉｓｕａｌＯｄｏｍｅｔｒｙｗｉｔｈＳｐａｔｉａｌＴｅｍｐｏｒａｌＴｗｏＳｔｒｅａｍＮｅｔｗｏｒｋｓ）ｕｓｉｎｇｔｈｅａｄｊａｃｅｎｔｉｍａｇｅｐａｉｒｓａｎｄｉｎｔｅｒｆｒａｍｅｄｅｎｓｅｏｐｔｉｃａｌｆｌｏｗａｓｉｎｐｕｔｓ．ＣｏｍｐａｒｅｄｗｉｔｈＤｅｅｐＶＯ，ｗｈｉｃｈｃａｎｌｅｖｅｒａｇｅｎｏｍｏｒｅｔｈａｎ５ｆｒａｍｅｓ，ｔｈｅｐｒｏｐｏｓｅｄｖｉｓｕａｌｏｄｏｍｅｔｒｙｃａｎｅｘｐｌｏｉｔｔｈｅｓｅｑｕｅｎｔｉａｌｉｎｆｏｒｍａｔｉｏｎｏｆ１０ｃｏｎｓｅｃｕｔｉｖｅｆｒａｍｅｓ．ＱｕａｌｉｔａｔｉｖｅａｎｄｑｕａｎｔｉｔａｔｉｖｅｅｘｐｅｒｉｍｅｎｔｓｏｎｔｈｅＫＩＴＴＩａｎｄＥＵＲＯＣｄａｔａｓｅｔｓｓｈｏｗｔｈａｔＴＳＶＯｅｘｃｅｅｄｓＤｅｅｐＶＯｂｙ４４．６％ａｎｄ４３．３％ｉｎｔｒａｎｓｌａｔｉｏｎａｎｄｒｏｔａｔｉｏｎｒｅｓｐｅｃｔｉｖｅｌｙ．Ｍｅａｎｗｈｉｌｅ，ｉｎｔｈｅｃａｓｅｏｆｗｉｔｈｏｕｔｔｉｇｈｔｌｙｓｙｎｃｈｒｏｎｉｚｅｄｓｅｎｓｏｒｄａｔａ，ＥＥＬＣＶＩＯｉｎｔｈｉｓｐａｐｅｒｓｕｒｐａｓｓｅｓｔｈｅｔｒａｄｉｔｉｏｎａｌｍｏｎｏｃｕｌａｒＯＫＶＩＳ（ＯｐｅｎＫｅｙｆｒａｍｅｂａｓｅｄＶｉｓｕａｌＩｎｅｒｔｉａｌＳＬＡＭ）ｂｙ７８．７％ａｎｄ３１．３％ｗｉｔｈｈｉｇｈｒｏｂｕｓｔｎｅｓｓ．ＥＥＬＣＶＩＯａｃｈｉｅｖｅｓａｎａｃｃｅｐｔａｂｌｅｐｏｓｅａｃｃｕｒａｃｙ，ｆｅｗｅｒｃａｌｉｂｒａｔｉｏｎｐａｒａｍｅｔｅｒｓａｎｄｌｏｗｅｒｃｏｕｐｌｉｎｇｔｈａｎＶＩＮｅｔ，ｗｈｉｃｈｉｓｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔｅｘｉｓｔｉｎｇｌｅａｒｎｉｎｇｂａｓｅｄｓｕｐｅｒｖｉｓｅｄｍｏｎｏｃｕｌａｒｖｉｓｕａｌｉｎｅｒｔｉａｌｏｄｏｍｅｔｒｙ．犓犲狔狑狅狉犱狊　ｖｉｓｕａｌｉｎｅｒｔｉａｌｏｄｏｍｅｔｒｙ；ｔｗｏｓｔｒｅａｍｆｕｓｉｏｎ；ｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙｎｅｔｗｏｒｋ；ｌｏｏｓｅｌｙｃｏｕｐｌｅｄ；ｓｅｑｕｅｎｔｉａｌｃａｃｈｅ１　引　言六自由度运动估计是增强现实［１］、机器人导航和自动驾驶领域的一个关键挑战．由于相机和惯性传感器（ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ，ＩＭＵ）成本低廉且易于安装，以此为基础的视觉里程计（ＶｉｓｕａｌＯｄｏｍｅｔｒｙ，ＶＯ）和视觉惯性里程计（ＶｉｓｕａｌＩｎｅｒｔｉａｌＯｄｏｍｅｔｒｙ，ＶＩＯ）得到了广泛应用．传统的视觉里程计主要利用手工特征或光度一致性匹配从单目图片序列中计算相机位姿，例如ＯＲＢＳＬＡＭ［２］（ＯｒｉｅｎｔｅｄＦＡＳＴａｎｄＲｏｔａｔｅｄＢＲＩＥＦ）和ＬＳＤＳＬＡＭ［３］（ＬａｒｇｅＳｃａｌｅＤｉｒｅｃｔＳＬＡＭ）．然而当它们被部署在纹理缺失或光照过强环境中时，这些方法无法有效工作．为了克服传统视觉里程计的不足，融合视觉和惯性信息的视觉惯性里程计（ＶＩＯ）吸引了许多学者的关注．在视觉惯性里程计中，ＩＭＵ不会受到低纹理、快速运动等条件影响而导致估计失败；此外，ＩＭＵ还可以提供高速率的惯性数据，在图像数据短时间缺失时也可以获得良好的位姿输出．依据是否把图像特征信息加入特征向量，当前的视觉惯性里程计可分为紧耦合和松耦合两种方式，例如ＶＩＮＳＭｏｎｏ［４］（ＶｉｓｕａｌＩｎｅｒｔｉａｌＮａｖｉｇａｔｉｏｎＳｙｓｔｅｍ）和Ｅｔｈｚａｓｌ＿ＭＳＦ［５］（ＭｕｌｔｉＳｅｎｓｏｒＦｕｓｉｏｎ）．尽管它们实现了非常高的估计精度，但是仍然严重依赖于传统的视觉里程计典型技术：特征检测、特征匹配和离群值剔除，容易出现特征丢失、跟踪失败等问题．同时传统的视觉惯性里程计需要精确的传感器数据同步工作，增加了算法的开发成本和调试周期．近年来，鉴于神经网络具有强大的非线性拟合以及高层特征表达能力，已有研究人员通过深度学习来解决传统里程计面临的问题．ＤｅｅｐＶＯ［６］使用深度循环卷积神经网络直接从图片序列中估计出相对位姿，而无需任何先验特征和参数信息．与此同时，文献［７］提出了第一个无需ＩＭＵ和相机间手动同步和校准的端到端视觉惯性里程计网络ＶＩＮｅｔ．在ＤｅｅｐＶＯ的基础上，使用一个小型ＬＳＴＭ（ＬｏｎｇＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ）［８］网络处理两帧图像间的ＩＭＵ数据，然后将经过处理得到的图像特征和ＩＭＵ特征向量作为另一个较大ＬＳＴＭ网络的输入，最后通过全连接层将融合特征投影至犛犈（３）空间．为了进一步增强基于深度神经网络的视觉惯性里程计的抗噪性能，文献［９］提出了基于软注意力和硬注意力的选择性融合方法，这种方法优于ＶＩＮｅｔ，８期 赵鸿儒等：基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计 １６７５同时在数据损坏情况下更加鲁棒．虽然现有基于深度学习的视觉惯性里程计在精度和鲁棒性上与同类传统方法相比具有显著优势，但它们仍然存在一些基本问题：首先，现有基于深度学习的视觉惯性里程计通常将视觉特征和惯性特征融合得到位姿，增加了数据的耦合性和计算量；而传统的松耦合方法需要标定噪声、偏置等参数，不适用于多种设备间的位姿估计问题．其次，里程计本质上是一个时间序列预测问题，由于图像数据的高维特性和ＬＳＴＭ的结构缺陷，当输入图像序列长度超过５帧时，现有网络容易发生过拟合现象，限制了里程计的性能．除此之外，与图像相比，ＩＭＵ数据维度较低，同时含有噪声等因素，使用ＬＳＴＭ训练ＩＭＵ很难收敛．针对上述问题，本文提出了一种基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计．与单纯依赖深度学习从连续图像和ＩＭＵ序列中估计位姿不同，本文利用了行为识别任务中的双流卷积网络和传统的ＩＭＵ积分算法，将深度学习应用于视觉位姿与惯性里程计位姿融合部分，在保留两种传感器数据异质性的同时，整个框架可以自动优化位置和姿态分量，在数据退化条件下更加鲁棒．而且与现有的经典松耦合方法相比，基于深度学习的融合方法可以隐式学习ＩＭＵ位姿与ＶＯ估计间的标定参数，计算复杂度小．本文在公开可用的ＫＩＴＴＩ［１０］和ＥＵＲＯＣ［１１］数据集上进行了实验，此外还评估了基于时空双流卷积的视觉里程计的性能．实验表明，基于时空双流卷积的视觉里程计优于ＤｅｅｐＶＯ，同时与传统的松耦合方法———ＭＳＦ［５］相比，本文的视觉惯性里程计无需精确标定和校准参数．本文的主要贡献如下：（１）提出了一种由时空双流卷积ＶＯ模块、ＩＭＵ积分算法和长短期记忆网络组成的端到端松耦合视觉惯性里程计ＥＥＬＣＶＩＯ，在传感器数据没有紧密同步的情况下，本文的视觉惯性里程计ＥＥＬＣＶＩＯ优于传统的紧耦合单目ＶＩＯ系统，鲁棒性高．与现有基于深度学习的视觉惯性里程计ＶＩＮｅｔ相比，在获得可接受精度的同时，该里程计耦合性低；同时相比于传统的松耦合里程计，该里程计可以隐式学习ＩＭＵ位姿与ＶＯ估计间的联合标定参数，计算复杂度小．（２）受视频理解任务启发，本文设计了一种利用相邻图像帧和堆叠密集光流的时空双流视觉里程计ＴＳＶＯ，在扩展现有视觉里程计输入序列长度的同时提升了现有基于监督学习的视觉里程计（ＤｅｅｐＶＯ）的精度．（３）为了有效解决图片流和ＩＭＵ数据流速率不同导致的ＶＯ估计和ＩＭＵ积分位姿不同步问题，本文提出了一个时序缓存器以匹配ＶＯ和ＩＭＵ单独计算得到的位姿．本文第２节对现有视觉惯性里程计的相关工作进行回顾；第３节介绍整体网络框架、基于时空双流卷积的视觉里程计ＴＳＶＯ、ＩＭＵ积分算法、时序缓存器及融合网络、损失函数的设计；第４节提供在大型室外和室内公共数据集上实验结果和分析；最后在第５节总结本文的工作，并进行未来的展望．２　相关工作本节回顾了视觉惯性里程计的相关工作，讨论了各种算法的优缺点．从所采用的技术和框架上来看，主要有三种类型的算法：基于几何的视觉惯性里程计、基于深度学习的视觉惯性里程计和基于几何—深度学习混合的视觉惯性里程计．２１　基于几何的视觉惯性里程计依据是否将相机位姿信息与ＩＭＵ融合，视觉惯性里程计可以被分为松耦合和紧耦合两种类型．松耦合是指将相机位姿信息与ＩＭＵ的运动估计结果进行融合．如Ｅｔｈｚａｓｌ＿ＭＳＦ［５］接受ＶＯ模块的位姿估计结果，并通过扩展卡尔曼滤波（ＥｘｔｅｎｄｅｄＫａｌｍａｎＦｉｌｔｅｒ，ＥＫＦ）将其与ＩＭＵ传播的状态进行融合和位姿更新．除了估计位姿、速度和ＩＭＵ偏置外，它还保留了一个标量参数以估计单目ＶＯ的漂移比例．该方法虽然计算量较低，但仍需要手动初始化和测量参数以确保位姿尺度近似正确．紧耦合是指把将相机状态估计与ＩＭＵ的运动估计进行联合优化．如ＭＳＣＫＦ［１２］（ＭｕｌｔｉＳｔａｔｅＣｏｎｓｔｒａｉｎｅｄＫａｌｍａｎＦｉｌｔｅｒ）采用最小二乘优化方法对特征进行三角化，并在ＥＫＦ中进行融合；ＯＫＶＩＳ［１３］（ＯｐｅｎＫｅｙｆｒａｍｅｂａｓｅｄＶｉｓｕａｌＩｎｅｒｔｉａｌＳＬＡＭ）和ＶＩＮＳＭｏｎｏ［４］则通过迭代非线性最小二乘优化来完成融合．紧耦合虽然在精度方面优于松耦合，但是整个融合过程状态向量的维度较高，需要传感器数据紧密同步，计算量大．２２　基于深度学习的视觉惯性里程计与传统的方法相比，基于深度学习的方案在获得精确位姿的同时无需复杂的几何运算而受到大量关注．文献［６］使用递归卷积神经网络学习单目图片１６７６ 计　　算　　机　　学　　报 ２０２２年间的时间依赖关系，同时利用监督学习从大量图片中获取包含绝对尺度的相机轨迹．ＥＳＰＶＯ［１４］通过将基于最大似然的损失函数纳入不确定性估计扩展了这项工作，进而证明了深度学习方法可以适应快速运动、运动模糊、曝光变化等挑战，弥补了传统方图１　基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计法的不足．随后，文献［１５］提出了一个包含内存和细化模块的视觉里程计框架来解决累积误差引起的预测漂移．文献［８］第一个将ＶＩＯ建模为序列学习问题，它通过利用额外的ＬＳＴＭ网络来学习更好的特征表示，扩展了ＤｅｅｐＶＯ框架以融合ＩＭＵ数据，最终得到一个无需ＩＭＵ和相机间手动同步和校准的端到端视觉惯性里程计网络ＶＩＮｅｔ．文献［９］借助注意力机制研究了不同的传感器融合方法．除了监督学习外，不需要真实位姿数据参与训练的无监督学习（如文献［１６］）也有发展趋势，由于本文主要研究基于监督学习的视觉惯性里程计问题，因此不做讨论展开．尽管这些方法在准确率和鲁棒性方面具有竞争力，但与图像相比，ＩＭＵ数据维度较低，不受外界环境影响，同时由于ＩＭＵ数据含有噪声和偏置等特性，使用ＬＳＴＭ训练ＩＭＵ很难收敛，应用深度网络来处理ＩＭＵ数据是不必要的．２３　基于几何—深度学习混合的视觉惯性里程计与仅仅依靠深度神经网络从数据中回归位姿不同，基于几何—深度学习混合的视觉惯性里程计结合了传统的几何理论与深度学习的优点，预测位姿也更加精确．最近许多研究者已经提出了将经典状态估计与深度神经网络混合的视觉惯性里程计．ＬＳＮｅｔ［１７］使用ＬＳＴＭ网络学习非线性最小二乘优化更新密集地图重建．ＢａｃｋｐｒｏｐＫＦ［１８］通过以位姿和速度作为状态向量，构建一个端到端可训练的ＥＫＦ，并且使用由卷积和全连接层组成的深度网络获得的速度测量值进行状态更新，进而估计相机位姿．文献［１９］提出了一个仅使用ＩＭＵ的航迹推算系统与可学习的协方差用于伪测量ＥＫＦ更新．文献［２０］中提出了一种端到端可训练的直方图滤波器，并在简单的定位任务下证明了该滤波器的有效性．ＤＰＦ［２１］和ＰＦＮｅｔ［２２］同时提出了端到端学习运动和测量模型的粒子滤波网络．Ｌｉ等人［２３］首次提出了一个通过ＤｅｅｐＶＯ学习相对位姿和ＥＫＦ融合ＩＭＵ运动状态的端到端视觉惯性里程计，虽然整个系统的性能优于ＤｅｅｐＶＯ和传统的ＯＲＢ［２］＋ＭＳＦ［５］方法，但这种结构仍需标定噪声和偏置等参数，计算复杂度高．不同于上述方法，本文提出了一种基于深度学习的松耦合方法，它通过由ＣＮＮ和ＬＳＴＭ组成的深度神经网络对ＶＯ模块和ＩＭＵ积分输出的位姿进行融合得到优化后的位姿．３　犈犈犔犆犞犐犗结构３１　整体网络框架本文提出的视觉惯性里程计框架如图１所示，主要包含四个模块：基于时空双流卷积的视觉里程８期 赵鸿儒等：基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计 １６７７计ＴＳＶＯ、ＩＭＵ积分算法、时序缓存器和长短期记忆网络．具体地，相邻图像对犐狋－１与犐狋和经高效光流提取网络ＴＶＮｅｔ［２４］计算得到的帧间密集光流犉狋－犔…犉狋－１分别被输入到视觉里程计的空间流网络分支和时间流网络分支中提取运动特征和时序特征，然后将两种特征相继输入全连接层和犛犈（３）组合层得到视觉绝对位姿．同时对ＩＭＵ加速度和角速度测量值进行积分得到每个时刻的ＩＭＵ积分位姿，为了解决图片流和ＩＭＵ数据流速率不同导致的ＶＯ估计和ＩＭＵ积分位姿不同步问题，本文设计了一个时序缓存器以匹配位姿的位置向量和姿态向量，通过将固定大小和时间步长的滑动窗口组合的位姿数据依次输入到长短期记忆网络中得到每个时刻视觉惯性里程计的估计位姿．３２　犜犛犞犗在行为识别任务中，文献［２５］利用双流卷积网络结构（ＴｗｏＳｔｒｅａｍＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ）分别提取静止帧和帧间运动的信息，而视觉里程计问题本质是从一系列连续图片序列（可以看作一段视频）中提取图像帧几何和时序信息，进而回归出图像对间相对位姿．受行为识别任务的启发，本文的ＴＳＶＯ网络借鉴了双流网络将视频信息分解为空间流和时间流的设计思想，采用相邻图像帧和密集光流两路平行结构级联的方式，提出了一种将现有的仅依赖于单目图像序列输入的深度神经网络扩展为将相邻图像帧与堆叠的光流图作为网络输入的双流网络架构．如图１所示，空间流网络从相邻图像对中提取帧间几何特征，时间流网络使用ＲｅｓＮｅｔ５０从连续光流帧中建模运动特征的时序信息，然后将两路分支网络最后一个卷积层输出的两种特征进行融合得到由位移和欧拉角表示的六维帧间相对位姿，最终通过犛犈（３）组合层得到每个时刻的绝对位姿．３．２．１　空间流网络相比于图像识别等领域，视觉里程计问题中特征提取需要体现出几何匹配特性，因此本文参考ＦｌｏｗＮｅｔＳｉｍｐｌｅ［２６］的卷积层部分作为帧间特征提取器．空间流网络的输入为沿通道拼接起来的两张连续图像，网络参数如表１所示，该网络总共包含１０层卷积和一层最大池化层，为了能够有效地进行梯度下降以及反向传播，避免梯度爆炸和梯度消失，本文在每层均采用非线性激活函数（ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ，ＲｅＬＵ）．随着层数加深，卷积核的大小也从７×７逐渐减小至５×５，最后到３×３用以捕捉深层特征．表１　空间流网络参数列表网络层　感受野填充步长通道数Ｃｏｎｖ１ ７×７ ３ ２ 　６４Ｃｏｎｖ２ ５×５ ２ ２ １２８Ｃｏｎｖ３ ５×５ ２ ２ ２５６Ｃｏｎｖ３１ ３×３ １ １ ２５６Ｃｏｎｖ４ ３×３ １ ２ ５１２Ｃｏｎｖ４１ ３×３ １ １ ５１２Ｃｏｎｖ５ ３×３ １ ２ ５１２Ｃｏｎｖ５１ ３×３ １ １ ５１２Ｃｏｎｖ６ ３×３ １ ２ １０２４Ｃｏｖ６１ ３×３ １ １ １０２４ＭａｘＰｏｏｌ ２×２ ０ ２ －３．２．２　时间流网络时间流网络以连续堆叠的稠密光流帧作为输入提取光流图中相机运动的时间信息．在运动检测中，光流是连续帧犐狋－１与犐狋之间的一组像素位移矢量犱狋，矢量的水平分量和垂直分量分别是速度向量的两个通道，两者共同描述每个像素点位置的运动向量．为了学习多帧图像间的时序关系，本文将犔个连续帧的光流通道犱狓，狔狋堆叠起来形成２犔个输入通道．假设狑和犺是光流图的水平分量和垂直分量，因此犉τ∈!狑×犺×２犔表示犔个连续光流帧堆叠后的网络输入．为了将光流计算与时间流网络级联在一起，从而构成端到端的体系结构，同时不占用太多计算资源和存储成本，本文采用端到端ＴＶＮｅｔ网络提取密集光流．它在获得精确光流的同时，无需任何真实光流的额外训练．在前期数据处理过程中，通过线性变换将光流数据离散到［０，２５５］的取值范围上以保证和图像数据分布同区间．由于时间流网络的输入为连续堆叠的稠密光流帧，为了增强提取时序信息的能力，同时避免网络加深造成的梯度消失问题，选择合适的网络框架至关重要．本文分别对比了ＧｏｏｇｌｅＮｅｔ［２７］、ＲｅｓＮｅｔ５０［２８］和ＩｎｃｅｐｔｉｏｎＶ３［２９］三种常用的基本网络在输入图像分辨率为５１２×２５６条件下，平均平移和旋转准确率随堆叠光流帧数变化示意图及各自的模型大小、参数量和计算复杂度．由图２和表２可知，在这三个网络中，ＲｅｓＮｅｔ５０性能最优，而且训练得到的模型参数量较少，计算复杂度较低，因此本文选择经过预训练的ＲｅｓＮｅｔ５０提取时序特征．表２　模型大小、参数量和浮点运算量对比模型大小／ＭＢ参数量／Ｍ浮点运算量／ＧＦｌｏｗＮｅｔＳＲｅｓＮｅｔ５０ ２４７ ５８．０１ １２．２０ＦｌｏｗＮｅｔＳＧｏｏｇｌｅＮｅｔ １７３ ３５．４５ ９．５７ＦｌｏｗＮｅｔＳＩｎｃｅｐｔｉｏｎＶ３ ２５８ ５９．６１ １３．８１１６７８ 计　　算　　机　　学　　报 ２０２２年图２　不同数量堆叠光流帧（犔＝３，５，１０，１２）下ＧｏｏｇｌｅＮｅｔ、ＲｅｓＮｅｔ５０和ＩｎｃｅｐｔｉｏｎＶ３的平均平移和旋转误差３．２．３　犛犈（３）组合层将两路分支最后一层得到的空间特征和时间特征直接连接得到新的融合特征，然后通过两个全连接层进行特征压缩得到帧间相对位姿，全连接层隐藏单元数依次为５１２、６．由于姿态的数值有正有负，因此仅在第一个全连接层后添加非线性激活函数ＲｅＬＵ．为了恢复相机的运动轨迹，需要估计出每张图片的绝对位姿，即每张图片相对于初始位姿所定义的坐标系下的位姿．绝对位姿通常表示为欧式变换矩阵群犛犈（３）上的一个元素．犛犈（３）是定义在欧拉空间上的一个可微黎曼流形，它由旋转矩阵群犛犗（３）的旋转矩阵犚和一个平移分量狋组成．如式（１）所示：犜＝（犚狋） ０１犚∈犛犗（３），狋∈! ｛ ３｝ （１）由于旋转矩阵需要满足正交约束，为了便于计算犛犈（３），本文首先计算犛犈（３）的瞬时变换狊犲（３），然后再通过指数映射将狊犲（３）转换为犛犈（３）．狊犲（３）如式（２）所示：ξ ｄ狋＝［ω］×ν （）０１ω∈狊狅（３），ν∈!｛３｝（２）３３　犐犕犝积分算法ＩＭＵ传感器使用三轴加速度计和三轴陀螺仪获得物体的加速度和角速度，通过对加速度和角速度分别积分可以得到载体的位置、速度和姿态．本文忽略地球自转的影响，所用ＩＭＵ积分算法主要包含ＩＭＵ运动模型和运动方程两部分．３．３．１　ＩＭＵ运动模型ＩＭＵ运动模型的微分方程［３０］如式（３）所示：犚·犠犅＝犚犠犅（狑犅）"，狏·犠＝犪犠，狆·犠＝狏犠（３）式中，下标犅代表ＩＭＵ坐标系，下标犠代表世界坐标系．犚犠犅为世界坐标系下ＩＭＵ的旋转矩阵；犚·犠犅为世界坐标系下ＩＭＵ旋转矩阵的一阶导数；（狑犅）"为角速度的罗德格里斯公式；狆·犠为世界坐标系下位置的一阶导数；狏·犠为世界坐标系下速度的一阶导数．３．３．２　ＩＭＵ运动方程在ＩＭＵ的时间戳与图像帧的时间戳对齐的情况下，由于ＩＭＵ的采样频率远大于相机的采样频率，相邻两帧图像帧之间存在多组ＩＭＵ测量数据，因此需要使用离散时刻下的运动积分．假设ＩＭＵ时间间隔为Δ狋，对载体在狋到狋＋Δ狋内积分可以得到ＩＭＵ在世界坐标系下的位置狆、速度狏和旋转犚，运动方程［３０］为式（４）所示，其中犻和犼表示相邻时刻．犚犼＝犚犻Π犼－１犽＝犻ｅｘｐ（狑犽Δ狋），　　　狏犼＝狏犻＋Σ犼－１犽＝犻犪犽Δ狋，狆犼＝狆犻＋Σ犼－１犽＝犻狏犽Δ狋＋１２（ 犪犽Δ狋２） （４）３４　时序缓存器及融合网络准确的相机和ＩＭＵ空间位置关系是实现视觉里程计和ＩＭＵ融合的基础，由于二者的相对位置固定不变，仅相差各自坐标系下的旋转矩阵，因此可以通过位姿变换将ＩＭＵ积分得的位姿转化为相机坐标系下的位姿，如式（５）所示．其中，犘ＩＭＵ为ＩＭＵ坐标系下的位姿，犘ＩＭＵ为变换到相机坐标系后的位姿，犜ｃａｍＩＭＵ为相机和ＩＭＵ间的旋转矩阵．犘ＩＭＵ＝犜ｃａｍＩＭＵ犘ＩＭＵ （５）由于ＶＯ估计和ＩＭＵ积分速率不一致，进而导致两种数据不能紧密同步的问题，本文设计了一种时序缓存器以匹配两个模块产生的位姿，缓存器维度为犜×６（犖＋１）．如图３所示，犼时刻ＶＯ估计的８期 赵鸿儒等：基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计 １６７９位置分量（犞狓犼，犞狔犼，犞狕犼）与犼－１时刻到犼时刻间的犖个ＩＭＵ积分得到的位置分量（犐狓犼１，犐狔犼１，犐狕犼１，犐狓犼２，犐狔犼２，犐狕犼２，…，犐狓犼犖，犐狔犼犖，犐狕犼犖）被合并为１×３（犖＋１）维位置向量，犼时刻ＶＯ估计的姿态分量（犞犼，犞ψ犼，犞χ犼）与犼－１到犼时刻的犖个ＩＭＵ积分得到的姿态分量（犐犼１，犐ψ犼１，犐χ犼１，犐犼２，犐ψ犼２，犐χ犼２，…，犐犼犖，犐ψ犼犖，犐χ犼犖）被合并为１×３（犖＋１）维姿态向量，然后沿时间维度将长度为犜的所有位姿连接成犜×６（犖＋１）维向量后输入时序缓存器中．图３　时序缓存器结构示意图由于融合网络的输入为时序缓存器中依时间维度连接的位姿向量，一维卷积神经网络常用于时间序列数据的信息提取，而且位姿数据为时间连续分布序列．为了建模当前时刻位姿与之前若干时刻位姿间的依赖关系，本文的融合网络由一维卷积神经网络和ＬＳＴＭ结合而成．如图４所示，给定时序缓存器中存储的犜×６（犖＋１）维位姿向量，以大小为犕×６（犖＋１），步长为１的滑动窗口沿时间维度依次遍历时序缓存器中的所有位姿向量，每个时刻融合网络的输入为犕×３（犖＋１）维的位置分量和姿态分量．首先使用一维卷积分别对位置分量和姿态分量进行特征提取，卷积核的大小为１１×３（犖＋１），通道数为６４．在连续三个卷积层之后，使用大小为１×３的最大池化层聚合特征，然后将两路分支最大池化层的输出连接在一起并依次输入到ＬＳＴＭ网络中．为了进一步提高网络的表示能力及动态特性，实验中采用了两层ＬＳＴＭ，每层ＬＳＴＭ含有５１２个隐藏单元．由于来自ＣＮＮ的数据分布为［０，＋∞］，而ＬＳＴＭ固有的激活函数Ｓｉｇｍｏｉｄ会将输出限定在（－１，１），所以本文将激活函数改为ＲｅＬＵ．最后将每个时刻ＬＳＴＭ的输出经过两个全连接层（不添加ＲｅＬＵ）得到ＶＯ估计和ＩＭＵ积分融合后的绝对位姿（犞犐狓，犞犐狔，犞犐狕，犞犐，犞犐ψ，犞犐χ），全连接层的隐藏单元数分别为１２８和６．为了避免过拟合，在每层ＬＳＴＭ后都添加一个ｄｒｏｐｏｕｔ层．图４　融合网络结构示意图３５　损失函数位姿估计的关键挑战是设计一种能够同时学习位置和方向的损失函数．由于组成位姿的平移分量和旋转分量分别位于不同的欧式空间，因此通常将两种分量的损失函数加权求和为新的损失函数，如式（６）所示：犔ｐｏｓｅ＝α犔ｔｒａｎｓ＋β犔ｒｏｔ，犔ｔｒａｎｓ＝狆＾犽－狆犽γ，犔ｒｏｔ＝φ＾犽－φ犽γ （６）犔ｔｒａｎｓ和犔ｒｏｔ分别是平移误差和旋转误差，狆＾犽，φ＾犽为网络估计的平移量和由欧拉角表示的旋转量，狆犽，φ犽为对应的真实平移量和旋转量，α和β为平衡平移误差和旋转误差的尺度因子，γ是范数．在文献［６］中，作者通过实验发现当α∶β＝１∶１００时可以得到最佳的网络模型，但是在不同的环境中仍然需要手动调整才能得到最优的超参数α和β．文献［３１］提出了一种基于多任务同方差不确定性建模的损失函数，该损失函数鲁棒性高，无需手动调整尺度因子，可以不依赖于输入数据而对平移和旋转分量的不确定性进行测量，因此最终的损失函数如式（７）所示：犔ｐｏｓｅ＝犔ｔｒａｎｓｅｘｐ（－狊＾狋）＋狊＾狋＋犔ｒｏｔｅｘｐ（－狊＾狉）＋狊＾狉（７）在损失函数的狊＾狋，狊＾狉数值的选取问题上，本文采用和文献［３１］相同的数值，因为一般情况下，相机的平移误差较大，具有较大的同方差，同时由于本文的１６８０ 计　　算　　机　　学　　报 ２０２２年损失函数对多任务同方差不确定性值的初始化选择鲁棒性高，结合两种误差的数量级关系，最终选取狊＾狋＝０，狊＾狉＝－３．０．在视觉里程计实验过程中，本文发现使用犔２范数可有效避免过拟合现象的产生，同时由犔２范数构成的均方误差损失函数收敛更快，函数值震荡较小．因此本文中基于时空双流卷积的视觉里程计采用与文献［６］相同的均方误差函数作为平移分量和旋转分量各自的损失函数，最终犖对图片真实相对位姿狔犽＝（犘犽，φ犽）与估计相对位姿狔＾犽＝（狆＾犽，φ＾犽）的平移误差和旋转误差如式（８）所示：犔ｔｒａｎｓ＝１犖Σ犖犻＝１Σ３犽＝１狆＾犻犽－狆犻犽２２，犔ｒｏｔ＝１犖Σ犖犻＝１Σ３犽＝１φ＾犻犽－φ犻犽２２（８）其中，犘犽是平移分量，φ犽是由欧拉角表示的旋转分量，·２是犔２范数，犽是每对图片相对位姿的状态量，由于平移和旋转分量各包含三个状态量，所以犽的取值为１到３．（狆犻犽，φ犻犽）代表第犻对相邻图像帧的平移和转角．对于融合网络而言，本文通过实验发现使用犔１范数时网络性能表现最好，因为它不会随幅度二次增加，也不会过度衰减较大残差．因此犖＋１张图片真实位姿狔犿＝（犘犿，φ犿）与估计位姿狔＾犿（狆＾犿，φ＾犿）的平移误差和旋转误差如式（９）所示：犔ｔｒａｎｓ＝１犖＋１Σ犖＋１犻＝１Σ３犿＝１狆＾犻犿－狆犻犿１，犔ｒｏｔ＝１犖＋１Σ犖＋１犻＝１Σ３犿＝１φ＾犻犿－φ犻犿１ （９）其中犘犿和φ犿分别是平移分量和旋转分量，·１是犔２范数，犿是每张图片绝对位姿的状态量，犿的取值为１到３，（狆犻犿，φ犻犿）代表第犻帧图像的绝对位置和姿态．４　实验结果及分析本文在公开可用的室外自动驾驶ＫＩＴＴＩ数据集和室内飞行器ＥＵＲＯＣ数据集上测试了所提出的方法．为了增加样本多样性，除了采用如文献［３２］的两种数据增强技术：高斯模糊和椒盐噪声外，本文还使用了逆序图片对以训练基于时空双流卷积的视觉里程计网络．实验使用Ｐｙｔｏｒｃｈ深度学习框架，硬件环境为四核Ｉｎｔｅｌ（Ｒ）Ｘｅｏｎ（Ｒ）Ｇｏｌｄ５１１８ＣＰＵ＠２．３０ＧＨｚ，内存１２８ＧＢ，两张ＮＶＩＤＩＡＴｉｔａｎＸｐ，运行内存和显存均为１２ＧＢ，操作系统为Ｕｂｕｎｔｕ１８．０４．由于ＩＭＵ速率为相机速率的１０倍，因此选取犕＝６０，犖＝１０，滑动窗口维度为６０×６６．视觉里程计网络ｂａｔｃｈｓｉｚｅ为１６，融合网络ｂａｔｃｈｓｉｚｅ为３２，其他训练参数为：Ａｄａｍ优化器，初始学习率为１ｅ４（每２５个周期下降０．５），权重衰减为０．００５，ｄｒｏｐｏｕｔ系数为０．５．所有的估计轨迹均采用文献［２３］中提供的方法与真实轨迹对齐后进行评估．４１　犓犐犜犜犐数据集ＫＩＴＴＩＶＯ／ＳＬＡＭｂｅｎｃｈｍａｒｋ是评估ＶＯ和可视ＳＬＡＭ算法的最著名的公共室外汽车驾驶数据集之一．它提供了１０Ｈｚ的相机数据、１００Ｈｚ的ＩＭＵ数据和从激光扫描仪和车载ＧＰＳ装置中获得的１０Ｈｚ的汽车真实轨迹．虽然里程计数据集中包含２２个场景序列，但是只有００～０２，０４～１０序列提供了汽车的真实位姿和原始的ＩＭＵ测量值．本文仅将００、０１、０２、０４、０６、０８左相机序列作为训练集，训练完的模型在０５、０７、０９、１０左相机序列上进行测试．通过数据增强，样本数量由原来的１７９８７张变为５３９６１张，输入图片维度被调整为５１２×２５６以适应显卡内存．为了测试基于时空双流卷积的视觉里程计性能，犔被分别设为３、５、１０．目前在ＫＩＴＴＩＶＯ／ＳＬＡＭ数据集上常用的评估指标是：不同长度（１００ｍ～８００ｍ）子序列的平均平移和旋转误差、不同速度子序列的平均平移和旋转误差．为了便于与现有的主流方法对比，本文最终了选择不同长度（１００ｍ～８００ｍ）子序列的平移误差与旋转误差作为评估指标．本文将提出的模型与现有的主流ＶＯ和ＶＩＯ方法进行了对比，包括：基于学习的方法：ＤｅｅｐＶＯ［６］、通过几何感知课程学习的单目视觉里程计ＣＬＶＯ［３３］、基于３Ｄ卷积的单目视觉里程计３ＤＣＶＯ［３４］、基于动态注意力机制的单目视觉里程计ＤＡＶＯ［３５］和单目深度视觉惯性里程计ＶＩＮｅｔ［８］．传统的方法：ＶＩＳＯＳ［３６］、ＶＩＳＯＭ［３６］、ＯＲＢＳＬＡＭ２［２］、ＶＩＮＳＭｏｎｏ［４］、ＯＫＶＩＳ［１３］和ＥＫＦＶＩＯ［２３］．具体方法类型如表３所示．为了与本文模型进行客观比较，ＶＩＮＳＭｏｎｏ、ＯＫＶＩＳ和ＯＲＢＳＬＡＭ２均不包含闭环检测．表４总结了测试集上的定量对比结果．由于利用同一时刻左右相机的图片和相邻时刻前后帧图片分别估计尺度和相机姿态，ＶＩＳＯＳ８期 赵鸿儒等：基于时空双流卷积和长短期记忆网络的松耦合视觉惯性里程计 １６８１在各类算法中性能最优．但与基于深度学习的单目视觉里程计ＤｅｅｐＶＯ、ＣＬＶＯ、３ＤＣＶＯ、ＤＡＶＯ及ＯＲＢＳＬＡＭ２（无闭环检测）、ＶＩＳＩＯＭ相比，基于时空双流卷积的视觉里程计有更低的旋转误差和平移误差．在所有方法中，单独ＩＭＵ积分的结果具有最低的旋转误差，当融合了ＩＭＵ积分信息后，视觉惯性网络的精度进一步提高．可以看出，ＥＫＦＶＩＯ始终比本文的视觉惯性里程计ＥＥＬＣＶＩＯ有更低的平移误差和旋转误差，与ＶＩＮｅｔ相比，ＥＥＬＣＶＩＯ有几乎一致的旋转误差．表３　现有犞犗／犞犐犗方法类型总结方法传感器耦合性ＶＯＤｅｅｐＶＯ 单目相机ＯＲＢＳＬＡＭ２ 单目相机ＶＩＳＯＭ 单目相机ＶＩＳＯＳ 双目相机ＣＬＶＯ 单目相机３ＤＣＶＯ 单目相机ＤＡＶＯ 单目相机－ＶＩＯＶＩＮｅｔ 单目相机＋ＩＭＵ 紧耦合ＶＩＮＳＭｏｎｏ 单目相机＋ＩＭＵ 紧耦合ＥＫＦＶＩＯ 单目相机＋ＩＭＵ 松耦合ＯＫＶＩＳ 单目相机＋ＩＭＵ 紧耦合表４　测试序列上的泛化性能比较　　方法序列　　ＤｅｅｐＶＯ狋ｒｅｌ／％狉ｒｅｌ／（°）ＣＬＶＯ狋ｒｅｌ／％狉ｒｅｌ／（°）３ＤＣＶＯ狋ｒｅｌ／％狉ｒｅｌ／（°）ＤＡＶＯ狋ｒｅｌ／％狉ｒｅｌ／（°）ＶＩＳＯＭ狋ｒｅｌ／％狉ｒｅｌ／（°）ＶＩＳＯＳ狋ｒｅｌ／％狉ｒｅｌ／（°）ＯＲＢＳＬＡＭ２狋ｒｅｌ／％狉ｒｅｌ／（°）ＴＳＶＯ（犔＝３）狋ｒｅｌ／％狉ｒｅｌ／（°）０５ ２．６２３．６１ ５．７７２．００ ２．７０２．９５ ２．５４１．０９１９．２２１７．５８１．５３１．６０２６．０１１０．６２３．３５４．４１０７ ３．９１４．６０ ３．７９３．００ ３．０１３．５９ ２．７８１．９８２４．６１１９．１１１．４５１．９１２４．５３１０．８３３．５２３．６００９ ８．２９６．８８ ７．７３７．２９ ６．５４５．３２ ３．４８２．０６１４．０４１３．３２１．０９１．３９２４．４１２．０８５．８０４．０７１０ ８．１１８．８３ ８．０９７．９４ ６．７５４．９４ ５．３７１．６４２２．５６１２．９９１．１４１．３０１５．３９３．２０７．４４６．６５Ａｖｇ ５．７３５．９８ ６．３５５．０６ ４．７５４．２０ ３．５４１．６９２０．１１１５．７５１．３０１．５５２２．５９６．６８５．０３４．６８　　方法序列　　ＴＳＶＯ（犔＝５）狋ｒｅｌ／％狉ｒｅｌ／（°）ＴＳＶＯ（犔＝１０）狋ｒｅｌ／％狉ｒｅｌ／（°）ＩＭＵＯｎｌｙ狋ｒｅｌ／％狉ｒｅｌ／（°）ＶＩＮＳＭｏｎｏ狋ｒｅｌ／％狉ｒｅｌ／（°）ＯＫＶＩＳ狋ｒｅｌ／％