摘 要 针对现有的动态场景深度恢复方法普遍需要较多数目的同步摄像机才能获得理想深度估计的问题提 出 一个 能 够 从 个手持摄像机所拍摄的同步视频序列中自动地恢复出高质量的深度图序列的鲁棒 便捷的动态场景稠密深度恢复方法 首先对不同序列同一时刻的图像帧进行匹配以完成每帧的深度初始化然后采用一种新的双层分割方法在手持摄像机自由移动的情况下将像素进行静动态分类并对静态和动态像素点采用不同的方式进行时空一致性的深度优化 特 别 地文中采用了一个基于多帧统计信息迭代式的优化框架 使得深度优化与双层分割在该优化框架之下交替迭代地进行最终实现高质量的动态场景的分割和深度恢复 最后通过各种动态场景实例证明了文中方法的鲁棒性和有效性

关 键 词 动 态 场 景时空一致性深度恢复 双 层 分 割

三维重建作为计算机视觉领域的经典问题 经过几十年的 发 展 已 经 涌 现 出 了 很 多 优 秀 的 重建算法 但其中大部分方法主要针对静态场景由于现实复杂场 景 还 有 很 多 动 态 元 素 因 此 从 拍 摄的场景视频中准确地恢复动态物体的稠密深度信息是一个非常具有 挑 战 性 的 问 题直接将静态场景的重 建 方 法 应 用 到 动 态 场 景 中 难 以 得 到 理 想 的 结果特别是时空一致性难以保证因 此最 近 几 年 一些针对动态场景的 重建方法相继被提出来大部分

现有 的 动 态 场 景 重 建 方 法 需 要 基 线较窄的固定摄 像 机 阵 列 并且其中许多方法 都要求较多数目的 摄 像 机 来 保 证 重 建 质 量 对 于 数 据捕获设备和环境的较高要求使得这些方法仅适用于实验室环境下严格拍摄的数据 为此本文提出了一种利用多目手持摄像机来实现动态场景的稠密深度恢复方法不但允许每个摄像机可 以独立自由地移动而且仅需 个摄像机就能获得高质量的深度恢复与传统基于多个固定摄像机的深度恢复方法相比本文方法不但改善了数据捕获的便携性和适用范围还有效地提高了深度恢复的质量对 于 含 有 动 态 物 体 的 场 景由 于 静 态 和 动 态 像素在时域上具有 不 同 的 特 性因此有必要先对像素进行静动态分类 然后对静态和动态像素进行各自不同的时空一致 性 深 度 优 化本文方法的主要思想是先根据颜色和几何一致性将静动态像素分离出来然后对于静态和动态像素利用不同时空一致性约束进行深度优化 特别需要指出的是 本文提出的双层分割方法即使在手持摄像机自由运动的情况下也可有效地将视频中的动态物体分割出来而大多数现有的方法 并 没 有 进 行 静 动 态 分 割 而 是 对 于所有像素采用相 同 的 策 略 进 行 优 化 虽 然 一 些 方 法如文献 也进行了双层 分 割 但往往需要已知背景信息而 且 要 求 摄 像 机 的 位 置 固 定 局 限 性 较大相比而言本文的双层分割方法利用了多帧上的对应关系在摄像机自由运动的情 况下亦能可靠地区分出前景和背 景 由于优化后的深度图可以用来进一步改善静动 态 分 割 结 果本文还提出了一种基于多帧统计的迭 代 优 化 框 架通过对分割结果和深度图进行交替迭 代 的 优 化 最终获得精确的深度图和静动态分割结果相关工作现有的许多方法都是利用多个固定的摄像机来重建动态场景下面简要地介绍其中具有代表性的方法文献 方法提出同时恢复场景流和 结构从而为每个图 像 区 域 拟 合 一 个 仿 射 模 型等 针对视角插值问题提出一种基于视频分割的视角相关 重建方法 引入深度流的 概 念 在实时立体重建过程中加强时域上的深度一致性等 利用一种基于区域树的立体匹配方法对固定的摄像机阵列拍摄的多目视频恢复时空一致性深度图还有一些方法通过在时域上平滑对应像素点的深度从而 对 动 态 像 素 点 的 位 置 进 行 优 化等 用 面片模拟每个图像分割区域并 通 过 匹配相邻时序帧 上 的 投 影 来 重 建 面 片 等利用一种改进的置信度传递算法加强多视频流中连续帧之间的时序深度一致性 然而简单的时域平滑容易造成过平滑 等 瑕 疵 而且对深度噪声和对应点跟踪 错 误 很 敏 感 等 在 集 束 优 化 的 框 架上做了扩展使之能够处理动态场景 该方法比简单的时域平滑法效果要好最 近 等 提 出 一 个针对三目摄像机的时空一致性深度恢复方法 但 要求摄像机之间的相对姿态不变 而且基线比较窄 总的来说这些方法普遍要求摄像机之间的基线较窄或摄像机数目较多 以鲁棒地处理遮挡还有一些方法在 重 建 过 程 中 利 用 了 与 本 文方 法 类 似 的 双 层 分 割 等 的 方 法 以 及等 的方法均在假设已知背景颜色和深度的条件下同时求解深度估计和层次分割 这 种方法都需要固定的摄像机以方便预先采集或者估计背景的颜色和深 度 然后通过背景差异法来实现双层分割相比而言本文实现了在摄像机移动条件下的双层分割 等 提 出 了 一 种 鲁 棒 的 基 于 稠密深度和运动估计的双层分割方法能 够 较 好 地 处理摄像机移动条件下的双层分割但是该方法需要预先通过人工标记的方式学习前景颜色概率模型等 对于前 景 的 颜 色 及 位 置 信 息 进 行 学 习 能够实现运动幅度较小的物体的双层分割 然 而 此 方法须假设视频序列的背景区域保持仿射变换 以 便实现关键帧的初始分割 等 提 出 了模型来同时模拟局部颜色分布和时域一致性约束并以此实现渐进 式 的 双 层 分 割此方法仅允许摄像机缓慢连续地移 动 而且要求第一帧提供正确的分割结果最近 等 提 出 一 种 多 摄 像 机 自 由 移动条件下的动态场景深度恢复方法将 深 度 估 计 和双层分割利用统一的能量优化函数进行联合求解其中双层分割只是为了更好地辅助深度优化 并 不计算机辅助设计与图形学学报 第 卷能精确地区分静 态 和 动 态 像 素 点这种联合优化方法的确能够处理较复杂 通用的情况例如前景运动幅度比较小的情况 然而由于其分割项没有显示地结合颜色分割和 时 域 光 流 等 信 息因此静动态分割结果会在不连续 边 界 上 产 生 少 量 的 噪 声 从 而 影 响深度恢复的质量 相比而言本文提出的显示双层分割方法结 合 了 分割和时序对应信息来加强边界分割的 准 确 性 和 时 空 一 致 性 因 此 生 成 的深度图结果能够保持更加清晰的边界算法目标和系统概述给定一组由 个 摄 像 机 拍 摄 的 同 步 视 频 序 列其 中 每 个 序 列 包 含 帧记为 其 对 应 的 深 度 图 序 列 为和 用 来 表 示 在 序列 第 帧 中 像 素 点 的 颜 色 和 深 度定义为 的视差待恢复的视差序列图为 了 简 化 表 示 本 文用 来表示假 设 所 有 序 列 每 一 帧 的 摄 像 机 参 数 都 已 知 本文实验中先利用文献 的方法来跟踪视频中的特征点然后使用文献 的方法恢复相机参数 为保证算法的鲁棒性 摄像机内部参数都是预先标定并在拍摄数据过程 中 固 定 不 变本文方法的整体框架如图 所 示首 先 利 用 时 刻 个 序 列 的 同 步 帧来 初 始 化 视 差 图有了 初 始 深 度 图 之 后 先 进 行 双 层 分 割然后运用时空一致性优化方法来对深度图进一步求精对于静态和动态像素点利用不同的方法进行优化采用本文方法对深度和分割结果进行迭代地优化最终实现高质量的 重建图 本文方法整体框架深度初始化假设视差值的范围为 将其等分 为个候选视差层第 层其中本文的深度初 始 化 环 节 与 文 献 类 似即 利用每个 时刻不同序列的同步视频帧来估计初始深度图其能量优化函数定义为其中 为数据项 为平滑项 定义为其中 表 示 像 素 点 的 相 邻 点 集 为 平 滑 权重实验中取为 为不连续视差截断值通常取为与文 献 类 似本 文 在 数 据 项 中 使 用描述符 实现 宽 基 线 摄 像 机 之 间 的 鲁 棒 立体 匹 配 基 于 描述符相似度的深度度量函数定义为其中 表示 的 描 述 符 是 利 用其视差 和摄相机参数投影得到 的 对 应 点由 此 定义数据项式 的求解采用松弛置信度传递算法 图所示为深度图初始化结果 可以看出在遮挡区域仍然存在一些明显问题 为解决此问题本文通过估计同步帧之间的可见性图来处理遮挡不可见点的深度推断定义序列 关于 的可视性图为其中 表示像素点 在 中是否可见表示可见 表示不可见 代 表 视 差 一 致 性 阈 值表示 根据 其 深 度 反 投 影 至 空 间 然第 期 姜 翰 青 等基于多个手持摄像机的动态场景时空一致性深度恢复后投影至 中 的 深 度 定 义 为 的总 体可 见 性 如 果 在 所 有 其 余 同 步 帧 中 均 不 可 见否则 图 所示为图 关于图 的可视性图可以 将 可 视 性 图 引 入 式 以改进初始化深度图 仅对那些总体可见性的像素点计算 数 据 惩 罚 值 对 于 的 像素点利用 相 邻 点 的 深 度 来 进 行 填 补 而 不 是 利 用式 计算数据惩罚值首先 利 用 对 每 帧 进 行 过 分 割 并为每个分割区域利用其中可见的像素点来拟合参数 为 的 平 面其 余 不 可 见 点的视差计算方法为 然后用计算不可 见 点 的 数 据 惩 罚 值 其 中 控 制 数 据 项 对于拟合平面视差 差 异 的 敏 感 度可以引入不可见点的数据惩罚值进 行 能 量 优 化从而改进初始化深度图并利用改进的深度图来重新计算可见性图 因此可对深度图和可见性图迭代地进行计算 在 实 验 中通常经过 次迭代就足以获得较可靠的初始化结果图 展示了改进后的初始化深度图图 深度初始化示意图双层分割深 度 初 始 化 之 后 本 文 将 每 帧 的 像 素 点 分 为 静态和动态 类使得不同类像素点的深度可以用不同的时空一致性 约 束 来 进 行 优 化以实现高质量的重建初始化分割利用初始深度估计可以将像素点投影至相邻帧验证颜色和深度一致性 利用计算每个像素点为动态的概率值其 中 为在所有 个序 列 中 的 相 邻 帧 集 为一个启发式函数 根据 在 帧 中 投 影 点的 颜色和深度来决定 是否为动态比较 和的深度如果 远 大 于 即 投 影至 后面 则 很 可 能 属于静态背景区域并在帧中被 遮 挡如 果 远 小 于投影至 前方 则 必定是 动 态 前 景 点 并 且遮挡住其他像素点 如果两者深度相近 则比较其颜色如果 和 亦 相 似则 认 为 为 静态否则为动态对于不可 见 的 像 素 点 由 于 通 过平面拟合初始化的深度并不完全可靠 因 此 不 能 用于投影验证对于这些像素点 可利用类似文献的方法统计局部窗口内从其余帧映射得到的背景颜色并创建高斯混 合 模 型 然后统计最大的高斯分布颜色概率作为被遮挡像素的动态概率值利用式 可以为每帧计算动态概率图 图所示为图 对 应 的 动 态 概 率 图 其 中 包 含 了 很 多噪声为 改 进 分 割 结 果 本 文 用 分 割 对动态概率图进行 规 整 化 对于每个分割区域统计动态概率大于 实 验 中 取 的 像 素 点 所 占 百 分比如果此百分 比 大 于 实 验 中 取 则 认 为 整个分割区域均为动态 否则为静态经过规整化后可以获得初始的静动态分割 如图 所示图 静动态分割示意图时序优化双 层 分 割 初 始 化 完 毕 后 通 过 统 计 多 个 相 邻 帧上的分割信息来优化当前帧分割对于每个序列利用文献 算法计算向前帧和向后帧的光流 并 通计算机辅助设计与图形学学报 第 卷过反向验 证 摒 弃 不 准 确 的 光 流 信 息 假 设 利 用光流 跟 踪 至 对 应 点 将 利 用 反向光流 跟踪至第 帧并用计算光流误差如果 实 验 中 取 个 像素单位 则认为 光 流 不 准 确 并 且 停 止 跟 踪 对 于 每个像素点验证其在相邻时序帧上对应点的分割标记由此计算当前点的时序动态概率其中 是 的 相 邻 时 刻 集 表 示 帧中 的静动态标记简言 之 统 计 时 序 对 应 点集中标记为动态像素点的比例下面定义能量函数求解分割问题其中 为 数 据 项 为 平 滑 项定义为其中使得分割边界与颜色变化更为一致定义为利用图切割算法 求 解 式 从 而 得 到 更 为 一致的静动态分割 图 所 示 为 优 化 后 的 分 割 结 果其中少数几处分 割 边 界 仍 存 在 噪 声 为 了 更 进 一 步改进分割边界对目前的分割结果进行腐蚀和膨胀实验中腐蚀和膨胀半径 均为 从 而 创 建并利用 算法 优 化 分 割 结 果 经优化后边界噪声被进一步消除 如图 所示时空一致性深度优化给 定 静 态 和 动 态 像 素 点 的 分 割 之 后 对 于 静 动态像素点利用不 同 的 方 法 进 行 深 度 优 化 对 于 静 态像素点可 以 利 用 技 术 有 效地进行深 度 优 化 对 于 动 态 像 素 点 采 用 类 似 文 献的方法即利用多个相邻时刻的视频帧来加强颜色几何一致性统计的鲁棒性假设候选视 差 为 参 考 相 机 为 可 以 在时刻将 从相机 投 影 至 投 影 点 记 为 为提高动态像素点深 度 求 解 的 鲁 棒 性估 计 和在相邻帧上对应点的颜色和几何一致性 如 图 所示利用光流将 和 跟 踪 至 时刻得到对应点和 如果光流跟踪准确 则计算 和 的 颜色和几何一致性其中 用于衡量 和 的 颜 色 一 致 性定义为控制颜色差 异 的 敏 感 度 为 几 何 一 致性定义为为 和 之 间 的 对 称 投 影 误 差 将 投 影 至帧并计算投影点与 的 距 离同 样 将 投影至 帧 并 计 算 与 的 距 离 为 两 者 的 平均距离图 时空一致性优化方法示意图假设相邻时刻帧的深度是正确的如 果 是 真实深度则 会 很 大否 则 便 会 很 小 如 同文献 本文累积相邻时刻帧 最邻近 帧的颜色和几何一致性 由此重新定义动态像素点的数据项定义为其中 表 示 最 邻 近 帧 的 集 合 利 用 多 个 相 邻时刻帧统计的颜色和几何一致性能够很好地推断正确的深度值从而大大提高了本文优化方法的鲁棒性将式 代入 式 并重新求解以优化每帧的深度图值得注意的是在优化当前帧深度图时保持其余帧的深度不变 经过优化之后静态和动态深度值的准确性将会大大提高 而且在时序上会更加一致许多现有的方法 只是 简 单 地 对 相 邻 时 刻 帧上对应像素的深度值采用线性插值或曲线拟合的方式进行平滑以此加强深度的时空一致性 然而此类优化方法并不鲁棒如图 所 示 因 为 简 单 的 平 滑第 期 姜 翰 青 等基于多个手持摄像机的动态场景时空一致性深度恢复处理并不能从本 质 上 推 断 真 实 的 深 度 值 而 且 对 于错误的初始深度和不准确的光流估计比较敏感 需要指出的是文献 由于计算复杂性时只添加了前一时刻的一致 性 约 束 因而对于较少数目宽基线的摄像机序列不能够保证鲁棒性并且不可见区域的深度无法利用较少数目的摄像机进行有效估计如图 所 示图 所 示 为 本 文 方 法 的 一 些 中 间 结果以及与这些方法的结果比较图 时空一致性深度优化结果图 棕 熊序列的时空一致性深度优化结果利用时空一致性优化后的深度值结合第 节所述的方法可以进一步优化静动态分割 与 第 节 略有不同此时在优化分割的过程中不考虑遮挡问题因为经过优化之后被遮挡像素点的深度值亦可以用来计算动态概率 本 文 交 替 迭 代 地 执 行 如 图 所 示的 个优化步骤从而获得最终优化后的深度图和静动态分割结果 在 实 验 中 通 常 经 过 次 迭 代 就 足以达到收敛实验及结果分析本文对由 个手持摄像机拍摄的视频序列进行了实验拍摄开始时在视域范围内放置一个闪烁光源并在实验数据处理时利用闪光时刻作为标记来同步不同序 列 之 间 的 视 频 帧所有实验都是在主频为 的 核 上 运 行 的对 于 分 辨率为 的 序 列静动态分割平均每帧需要初始化每帧耗时 深 度 优 化 每 帧 耗 时比现有的许多方法 更 为 高 效 图 所 示 为 一 组捕获一只爬行的 棕 熊 的 实 例并通过与其他方法的比较展现本文时空一致性深度优化方法的鲁棒性如图 所示本文方法 能 够 有 效 地 纠 正 棕 熊 背部的错误初始深 度 并精确地重建出棕熊的复杂运动图 所示为女孩序列的结果通过时空一致性约束迭代优化之 后 能够获得高质量的动态深度图结果以及准确的静动态 分 割 如 图 所 示本 文 方法有效地还原了女孩的身体运动和裙子摆荡的动态深度细节本文的方法还能够处理多个动态物体如图 所示的一个很有挑战性的例子中总共有 个视频序列场景中含 有 位 行 人可 以 看 出 本 文 方 法同时恢复出了静态区域和每个动态行人的准确深度值图 所示为一组 个摄像机拍摄的序列 可以看出本文方法在运动较快的条件下亦能够产生高质量的重建结果计算机辅助设计与图形学学报 第 卷图 种方法的结果比较本文还对微软研究院的街舞数据 进行了实验图 所示为本文方法与文献 的 比 较结果如方框标记的 区 域 所 示 文 献 重 建 的 地面和文献 重建的舞蹈者身体部分均有明显的第 期 姜 翰 青 等基于多个手持摄像机的动态场景时空一致性深度恢复问题文献 的深度结果在不连续边界附近存在少量噪声相比之下本文的深度恢复结果在不连续边界附近更加准确

结 语

本文提出一种新的基于多目手持摄像机的动态场景稠密深度恢 复 方 法 首先利用多序列同步帧计算初始深度然后根据多帧上的颜色和几何一致性统计将像素点分为 静 态 和 动 态 类并 进 行 各 自 不同的深度优化分割结果和深度优化迭代地进行最终实现高质量的深度恢复如 果 运 动 物 体 和 背 景 的 颜 色 非 常 相 似 本 文 的双层分割方法可能无法准确地区分出静态和动态像素这也是双层分割方法普遍存在的问题如果动态物体出现严重的 自 遮 挡 情 况本文的双层分割对于自遮挡区域像素 点 的 静 动 态 判 断 并 不 可 靠 如 何 消除这些歧义性以获得更准确的双层分割结果 还 需要进一步研究和改进 此外如何更有效地避免错误光流的干扰并把光流结合深度和分割进行整体求解也是我们未来的一个研究方向

参考文献孔 相 澧 章 国 锋 华 炜基 于 全 局 优 化 的 保 细 节 分 层 多 视图 立 体 匹 配 计算机辅助设计与图形学学报计算机辅助设计与图形学学报 第 卷第 期 姜 翰 青 等基于多个手持摄像机的动态场景时空一致性深度恢复