欢迎访问一起赢论文辅导网
本站动态
联系我们
 
 
 
 
 
 
 
 
 
 
 
QQ:3949358033

工作时间:9:00-24:00
博士论文
当前位置:首页 > 博士论文
基于深度学习的单目深度估计方法综述
来源:一起赢论文网     日期:2023-12-07     浏览数:152     【 字体:

 引言深度估计是场景感知中重要的一环, 测量与物体间的距离是所有生物赖以生存的技能. 在计算机视觉领域中, 深度估计也扮演着类似的角色, 是许多高层任务的基石, 其结果可广泛应用于三维立体重建[1]、障碍物检测[2]、视觉导航[3] 等方向. 近年来, 深度估计方法作为底层视觉任务受到了广泛关注和深人研究. 传统方法使用激光雷达获取深度信息, 但是由于获得稠密而准确的深度图的成本过高, 无法得到广泛应用. 相比之下, 基于图像的深度估计方法根据输人的R G B 图像直接估计场景深度信息, 无须价格高昂的设备, 应用空间更为广阔. 基于图像的深度估计方法根据要求输人图片的多少可分为多目深度估计与单目深度估计. 其中, 多目深度估计方法根据观测得到的多张图像, 估计出深度信息, 比较经典的有: 从运动中恢复( S t r u c t u r e  f r o mM o t i o n ,  S F M ) 、使用单目摄像机捕获的图像序列估计深度[ 4 ]、多视图重建( M u l t i v i e w S y s t e m , M V S )[5 6]、三角测量法( T r i a n g u l a t i o n )[ 7 8 ] 等. 这些方法大多需要成对图像或图像序列作为输人、要求相机信息已知, 对输人有较强的限制且预测结果受特征选择和匹配的影响较大. 相比之下, 仅通过单张图像估计深度的单目深度估计方法更为灵活. 但由于缺乏深度线索, 它是一个不适定性问题( I l l po s e d P r o b l e m )?, 早期的方法从不同角度提取深度线索进行深度估计, 常见的手段有: 从阴影中恢复( S h a p e  f r o mS h a d m g )[1 °]、从对焦或离焦中获取深度( D e p t hf r o mF o c u so rD e p t h  f r o mD e f o c u s )[1 1 1 2] 等. 表 1 总结了早期的深度估计方法.随着深度学习的迅速发展, 深度神经网络在图像分类[ 1 3 ]、自然语言处理[ 1 3 ]、语音识别[ 1 4 ]、医疗影像处理[1 5] 等方向展现了极佳的性能. 鉴于深度神经网络强大的特征提取能力, 学者们将深度学习技术引人深度估计领域, 希望借助神经网络充分提取图像的深度特征并给出更准确的深度估计结果. 近年来, 基于深度学习的单目深度估计方法发展迅速, 根据训练方式的不同可以划分为有监督方法、无监督方法和半监督方法.1 2 7 8计導机攀报:#§_ 竿表1 早期方法总结方法 类型 主要思想双目视觉法( B i n o c u l a r  S t e r e o  Vi s i o n , B S V)多目模拟人类利用双眼感知图像视差而获取深度信息, 依赖于图片像素匹配,可以使用模板比对或者对极几何法等匹配方法立体视觉法( M u l t i p l e Vi e w S t e r e o , M VS )多目由双目视觉法发展而来, 将多个相机设置于视点,或用单目相机在多个不同的视点拍摄图像, 增加了算法的稳健性从运动中恢复形状( S t r u c t u r e  f r o mMo t i o n , S F M)多目 _ 用二梟捭嫌序对间綠特■关1 , 估砝德铒:的'运澈拳翁与场屬身三角测量法( Tr i a n g u l a t i o n )多目 借由测量目标点与固定基准线的已知端点的角度, 测量目标距离从阴影中恢复形状( S h a p e  f r o m S h a d i n g , S FS )单目 利用图像中物体表面的明暗变化来恢复表面形状纹理恢复形状法( S h a p e  f r o mTe x t u r e , S FT)单目 通过纹理在经过透视等变形后在图像上的变化来逆向计算深度数据从对焦中获取深度( De p t h  f r o m F o c u s i n g , DF F )单目 利用图像中像素的聚焦信息结合摄像机的参数计算图像深度从离焦中获取深度( De p t h  f r o m De f o c u s i n g , DFD)单目 利用图像中像素的离焦信息结合摄像机的参数计算图像深度本文对茵内外近五年来基于深度# 习的单目深麗估骨友法迸行筆述, 如W1 , 丰文_ 雜如下; 擊2节首先介绍探度估计问题的定义、常用数据集、模型评价指标和相关应用* 第3 、4 、5 节详细分析近年来基于深度学习的深度估计方法. 将有监-鲁改进方法分为改进网络结构的方法、引人辅助信息的方法、改进损失涵数的方法、基于分类的方法、使用条件随机场的方法、使用生成式对抗网络的方法和基于部分深度:鲁息的方法七种; 将无监督方法分为使用_ 像对训练的方法、使a 视频训练的方法两类, 将改进方法分方基于可解释性掩膜的方法、基子宣接视觉测距的方法.、引人辅助偉息的方法、使用生成式对抗:M 络的方法和酉向时与:_覺_; 翁方法五种: 将半监■督方法分为使甩M 像对训练的方法、使用视频训练的方法两a , 将改进方法分为彳吏js 生成式对抗网絡的方法、引人辅助倩息的方法两种* 第6节讨论了该领域存在的难题, 总结了未来可能的发機#向?2 . 1 问?g义2 . 2 麵集2 . 3 滞指标2 . 4 咖4 . 1 使用图像对训练的方法4 . 2 使用视频训练的方法4 . 3 基于可解释掩膜的方法4 . 4 基于视觉里程计的方法4 . 5 引入辅助信息的方法4 . 6 使用生成式对抗网络的方法4 . 7 面向实时与轻量级的方法4 . 8 无监督施小结( 1 ) 模型优化、超雛估计( 2 ) 多任务齡框架( 3 ) 在线学习( 5 ) 基于部分真獅度值( 6 ) 轻難模型( 7 ) 违背假设像素的处理( 8 ) 高分辨率深度图的输出( 9 ) 模型的可解释性2 概述3 有监督学习方法{6 总结与展望引言: 基础框架3 . 1 改进网络结构的方法3 . 2 引入辅助信息的方法3 . 3 改进损失函数的方法3 . 4 基于分类的方法3 . 5 使用条件随机场的方法3 . 6 使用生成式对抗网络的方法3 . 7 基于部分深度信息的方法3 . 8 有监督方法小结5 . 1 使用图像对训练的方法5 . 2 使用视频训练的方法5 . 3 使用生成式对抗网络的方法5 . 4 引入语义信息的方法5 . 5 半监督方法小结基础训练方法改进方法分类发展的趋势面临的挑战图;1 鸾^翁本篇综'述旨在归納总结基于探度学习的单目深虞估'计方法, 启发读者在现有研麵塞础上做出进一步的矣破? 相边于B i 等人[1 6] 的综述主荽对参数学召、非参数学习和部分有监督探度估卄方法进行介绍, 我们的m述主要关註于探度学■习方法, 除有监督方法外, 坯对无监督、半监普方法进行了诤细的总结?Rh m [1 7] 只总结了五个最有影响力的基f探度#' 习的率目深度估计方法, 而我们更全面地对吏多的方法进行了阐述, 指出了每种方法的产生思路和铮春此外,他们介绍的方法比较老旧j 缺乏目讀最新的算法介绍. 与琮述tl s 2 81相比, 我们使用TM 细粒度. 、更准确的分类方法? 更有助予读者了解探度估计方法的整体框架? 最? , 我们还进一步讨论了单窗探:度估计领域存在的技术难题和发,提趋勢* 希望进一步给读者磨,&6 期 江俊君等: 基于深度学习的单目深度估计方法综述 1 2 7 92 概述2 . 1 问题定义基于监督学习的单目深度估计任务可以描述为: 利用一个包含大量二维R G B 图像和深度图像对的数据集训练一个模型, 该模型可以接受输人的R G B 图像, 输出其对应的深度图. 其中, 深度图中每个像素的值表示输人R G B 图像在对应位置处的深度. 此过程可以抽象为: 设J 为输人的二维R G B图像, D 为输出的灰度图. 给定一个训练集T=a , A ): ^e j, aed , 使用该训练集训练模型,使其学习到一个映射p J — D , 将输人R G B 图像映射成预测的深度图.有监督方法需要大量输人图像与深度图数据对来驱动模型的训练, 但是由于真实的深度图获取困难, 此类方法的成本高昂. 自然地, 无监督方法因为在训练时不需要真实深度图, 成为了此领域的研究热点. 但是因为此类方法缺乏强有力的监督信号, 模型精度难以超越有监督方法. 半监督方法介于两者之间. 但是由于如今有监督和无监督方法仍有较大的发展空间, 相比之下, 半监督相关的研究内容较少. 我们仍然对其进行分析与分类, 以保证文章的完整性.2 . 2 数据集在深度估计问题中, 由于室内外深度范围差异较大, 可根据不同的场景构建不同的数据集. 在对模型进行训练时, 需依据问题的特性选择不同特点的数据集, 表2 总结了常见数据集的基本信息.表2 常见数据集汇总名称 是否带有深度标签 图片分辨率 可用图片数量 适用场景 采集工具

[返回]
上一篇:噪音过滤和深度学习相结合的安全缺陷报告识别
下一篇:一种基于强化学习的持续集成环境中测试用例排序技术