第 期年 月电 子 学 报收稿日期: ; 修回日期: ; 责任编辑: 李勇锋基金项 目: 国家自然科学基金( ， ， ) ; 江西省优势科技创新团队计划( ，) ; 江西省青年科学基金( ) ; 中国博士后科学基金( )基于语义分割的双目场景流估计陈 震，马 龙，张聪炫，，黎 明，吴俊劼，江少锋( 南昌航空大学无损检测技术教育部重点实验室，江西南昌 ; 中国科学院自动化研究所，北京 )摘 要: 针对现有场景流计算方法在复杂场景大位移和运动遮挡等情况下易产生运动边缘模糊的问题，提出一种基于语义分割的双目场景流估计方法 首 先，根据图像中的语义信息类别，通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域; 针对不同语义类别的图像区域分别进行运动建模，利 用 语 义 知 识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息 然 后，对输入图像进行超像素分割，通过最小二乘法耦合光流和视差信息，分别求解每个超像素块的运动参数 最 后，在优化能量函数中添加语义分割边界的约束信息，通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果采用 标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析 实 验结果表明，本文方法具有较高的精度和鲁棒性，尤其对于复杂场景 运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用关键词: 语义分割; 场景流; 深度学习; 双目立体匹配; 最小二乘法; 超像素分割; 运动遮挡; 边缘保护中图分类号: 文献标识码: 文章编号: ( )电子学报 : : :， ，，， ， ，( ( ) ， ， ， ， ;， ， ， ): ，， ，，，，，， ，: ; ; ; ; ;; ;电 子 学 报 年引言场景流最初由 等人［］提出，根据光流将其定义为图像 序 列 中 像 素 点 的 三 维 运 动 矢 量，从 而 建 立了场景流计算基本模型随后，针对场景流计算模型的优化方法不 断 涌 现针对复杂场景下物体运动的不连续性问题， 等 人［］首 次 提 出 基 于 变 分 理 论 的 双目场景流模 型，该模型通过多分辨率算法求解偏微分方程，能较好克服运动的不连续性问题 针对大位移运动场景流估计问题， 等人［］提出通过三维点云表示场景流，并采用金字塔分层策略，能够有效解决大位移运动下 场 景 流 估 计 问 题 针对运动边缘模糊问题，等人［，］提出联合光流与视差的场景流模型，通过稀疏匹 配 和 边 缘 信 息 的 稠 密 插 值 操 作，能 够 有 效保护运动边缘 等人［］提出分段刚性场景流模型，该模型将场 景 表 示 为 有 限 数 量 的 刚 性 移 动 平 面，通 过优化平面运动参数获取最终场景流结果现阶段，分段 刚 性 场 景 流 模 型 已 经 成 为 求 解 场 景流的基本方法，但是该方法在复杂场景 大位移运动和运动遮挡等 情 况 下 易 产 生 运 动 边 缘 模 糊 问 题本 文 提出一种基于 语 义 分 割 的 双 目 场 景 流 计 算 方 法，能 够 有效提高复杂 场 景大位移运动和运动遮挡情况下场景流估计精度图像语义分割语义分 割 是 计 算 机 视 觉 领 域 的 研 究 热 点 之 一 语义分割是根 据 语 义 对 像 素 点 进 行 分 类，将 图 像 中 的 场景分割为若干个目标区域，并最终得到语义标签图像，如图 所示卷积神经网 络 能 够 较 好 地 实 现 图 像 分 类，为 增 强语义分割结果中图像特征的表达性能，本文采用语义分割模型［］，结合深度卷积神经网络和条件随机场，采用多个卷积核实现多尺度图像语义分割语义分割模型的输出为带有不同语义标签类别的图像区域，本文使用分层模型［］将其分为物体平面和其他三类对三种不同的图像区域分别进行运动建模，通过融合算法［］组合三种图像区域的运动得到最终的语义光流语义分割场景流估计模型初始场景流运动模型动态场景可表示为有限数量刚性移动的平面区域，通过超像素分割得到平面区域的运动边界，每一个超像素块表示一个刚性运动的 平面 ( ，，) ，旋转矩阵 和平移向量表示平面的运动参数，法向量表示平面的空间位置参数如图 所示，由于双目图像存在四个视图，为更高效地求解运动参数，本文将 时刻左目图像表示为参考图像，其 他 视 图 可 通 过 参 考 图 像 转 换 得 到 转 换 关系为:( )( )( ( ) ){( )其中 分别表示参考图像到右目第一帧图像左目第二帧图像右目第二帧图像的单应性转换矩阵，符号 和 分别表示摄像机投影矩阵与标定参数矩阵本文通过最小二乘法耦合语义光流和视差信息，对每个超像 素 块 的 深 度 和 运 动 进 行 推 理首 先 通 过 最小二乘法求得初始解，然后通过洛伦兹惩罚函数 ( )( ) 对误差进行优化，公式如下:( ) ( ) ( )( ) ( )，( )其中，超像素块 中 像 素 与 转 换 视 图 中 像 素 相 对应，代表投影算子优化能量函数模型为优化初始场景流运动参数，首 先 定 义 两 种 映 射关系 和 表示像素到超像素块的映射，表示超像素块到移动平面的映射定 义 场 景 流 优 化 能 量 函 数如下:( ，) ( ，) ( ，) ( ) ( )其中，( ，) 为数据项，表示为:( ，) ( )式( ) 中， 分别表示当前帧和下一帧的立体匹配第 期 陈 震: 基于语义分割的双目场景流估计项， 分别表示左右目的光流数据项:( ， ) ， ， ( )， ( ) ， ， ( ){( )数据项通过汉明距离来评估不同视图的外观一致性，汉明距离越小，两个视图的外观相似程度则越高( ，) 为正则化项，表示为:( ，) ( ，) ( ，) ( )式( ) 中，( ，) 为几何正则化项，表示为:( ，)( ，)， ， ( )( )( ，)，(， ) ( )式( ) 中，，为边界长度系数，( ) 表示惩罚函数像素和共享相同边界，边界端点 和 投影至三维平面得到 四个三维端点，端点距离差分别为和 ，通过 ( ) 表示边界在三维空间的距离由于空间表面存在曲率，需考虑三维端点 沿 法 向 量 方 向 移 动 后 的 距 离两 个 三 维 平面的法向量分别为 和 ，法向量差为 ，因此距离函数定义为:( ，) ( ) ( ) ( )( )式( ) 中，为边界距离系数，为 法 向 量 系 数，为 调节曲率和边界距离的权重系数( ，) 为运动正则化 项 其 中， 分 别更新为 ，和 分别更新为 和 三维端点的距离差为和 ，法向量之差为 ( ) ( ) ，则运动正则化项表示为:( ，)( ，)，( ，) ( )( ) 为语义分割项，表示为:( ) ( ) ( ) ( )( ) 为语义项，像素 和像素 为语义标签内两个相邻的像 素为了避免过度分割并在空间上保持运动一致性，对语义标签内的像素进行优化，因此语义项表示为:( )( ，) ，( ) ( )( ) ( )( ，)( )( )式( ) 中 表 示 图 像 中 的 语 义 标 签 区 域，( ) 和( ) 分别表示像素 和像素 的灰度值，表示灰度梯度系数，表示标准差调节范围( ) 为限制项，避免在映射关系 更新过程中超像素块尺寸过大导致场景过于简化限制项表示为:( )， :，{( )式( ) 中，表示超像素块的中心点 像 素，表 示 超 像素块区域，表示限制超像素块大小的尺寸计算步骤: 通过将图像划分为带有语义标签的区域: 以语义标签作为先验知识计算光流信息: 采用半全局匹配算法计算视差信息: 通过最小二乘法 耦 合 语 义 光 流 和 视 差 信 息求得初始运动参数，可得到映射关系: 固定映射，更新映射: 固定映射，更新映射经过能量函数优化后，两种映射关系 和 为 最优，即求得更新后每个超像素块的运动参数实验与分析评估指标本文采用异常值百分比评估场景流:( )( )其中， 和 分 别 表 示 场 景 流 和 视 差 异 常值百分比，式中 表示光流端点误差大于 个像素的像素个数，表示视差端点误差大于 个像素的像素个数， 表示像素总个数对比方法为验证本文方法的精度以及对运动边缘的保护作用，选 取［］ ［］ ［］［］ ［］等 方 法 与 本 文 方 法 进 行 定 性 分 析和量化对比其中 算法是变分框架场景流估计的经典方法; 算法使用双线性插值的策略进行估计; 算法首先预测自身运动，然后通过校正步骤来改进结果; 算法通过最小二乘法解决非线性问题实现更好 的 优 化; 算 法 通 过 判 断与相机运动不一致的区域估计场景流参数设置本文设置参数主要为语义分割项系数 本 文 以序列和 序列为例，设定语义分割项系数为 ， ， ， ， ， ，对测试图像误差结果进行定性分析由图 看出当参数取 时误差最小，因此本文选取 为本文 根据文献介绍设置各对比方法的关键参数如电 子 学 报 年下: 算 法 中 平 滑 项 权 重 ，视 差 范 围; 算法中数据项权重 ，平滑项权重 ; 算法中分辨率尺度系数，迭代次数 算法中标准偏差 ，视差最大距离 ; 算法中掩膜参数 ，截断阈值数据集实验本文采用 数据库提供的双目可见光图像测试序列 验证本文方法场景流估计效果与鲁棒性 图分别展示了 数据集 和 四组双目图像序列，其中 序列存在复杂边缘结构的车辆信息， 序列场景中存在大位移运动， 序列和 序列存在遮挡问题和运动不连续图 展 示 了 本 文 方 法 与等 对 比 算 法 的 场 景 流 误 差图，红色表示误差较大区域由图 可以看出本文方法红色误差区域最少，场景流估计效果最好 为验证本文方法综合性能，表 列出了本文方法和各对比算法在组 测试图像的误差结果和时间消耗情况，其中 和 分别对应背景误差值和前景误差值 由表可以看出，本文方法各项误差均最小，说明本文方法具有较好的估计精度表 场景流估计误差和时间消耗对比对比方法 时间( )本文方法在时间消耗方面， 算法时间消耗最少，源于该算法采用物体与相机运动相融合的统一框架计算策略 算法时间消耗最大，主要因为该方法使用的变分计算框架优化需要进行大量迭代操作本 文 方 法时间消耗主要源于语义标签生成语义光流计算初始运动参数计算以及优化迭代等过程为更好展示本文方法在图像边缘的保护作用，图分别展示了本文方法与各对比算法的视差估计结果第 期 陈 震: 基于语义分割的双目场景流估计图中黑框区域为包含复杂结构信 息 和 遮 挡 的 区 域，如车辆信号灯等处从图中可以看出，在车辆边缘信号灯边缘和标志牌轮廓细节上，本文 方 法 通 过 语 义 分 割能提供更准确的分割信息为了进一步验证本文 方 法 的 估 计 精 度，表 分 别列出了本文方法与各对比算法的 视 差 误 差 结 果从 表中可以看出，本文方法各项误差均最小，说明本文方法在复杂场景大位移遮 挡 等 情 况 下，针对立体匹配估计同样具有较高的精度和鲁棒性表 视差估计误差方法本文方法结论本文提出一种基于语义分割的双目场景流估计模型首先对场景进行语义分割，根据语义标签进行运动建模，然后通过最小二乘法耦合光流和视差信息获取初始运动参数，最后添加语义分割约束条件优化运动参数得场景流结果本文通过获取场景语义信息优化图像分割，针对复杂场景和运动遮挡具有很好的边缘保护作用参考文献［］ ， ， ，［］［］ : ，［］ ，［］［］ :，［］ ， ，: ［］， ，( ) :［］ ， ， ，:［］［］ : ，［］ ， ， ，［］［］ : ，［］ ， ，［］［］ : ，［］ ， ， ， :，， ［］，，( ) :［］ ， ， ，［］［］: ，［］ ， ， :电 子 学 报 年［］［］ : ，［］ ， ， ，［］［］ : ，［］ ， ， ，［］ ［］: ，［］ ， ，［］［］ :，作者简介陈 震 男， 年 月生，江西九江人分别于 和 年在西北工业大学获得学士硕士和博士学位现为南昌航空大学教授，博士生导 师，主 要 研 究 方 向 为 计 算 机 视 觉图像处理与模式识别:马 龙 男， 年 月出生于河南 省 鹤壁市现为南昌航空大学测试与光电工程学院硕士研究生主要研究方向为图像检测与智能识别:张聪炫( 通讯作者) 男， 年 月出生于河南省焦作市分别于 年和 年在南昌航空大学和南京航空航天大学获得学士和博士学位现为南昌航空大学副教授，硕 士 生 导师，中国科学院自动化研究所博士后 主要研究方向为图像检测与智能识别: