摘要: 针对提高 图像传感器的动态范围，提出了一种新的组合滚筒式曝光技术 由目前现有的技术可知，多次滚筒式曝光一般选择在单帧的时间周期内完成 根据不同的曝光参数， 图像传感器芯片输出不同的图像，然后再将其组合成一帧宽动态范围的图像作为最后输出 本文提出的方法，通过充分利用滚筒式曝光时的空闲电路资源，有效地缩短了相邻图像间的时间间隔这种方法将多次滚筒式曝光穿插进行，实现对目标图像的多次成像，从而有效提高了系统效率和输出响应速度
关键词: 图像传感器; 安防监控; 动态范围; 滚筒式曝光; 多次曝光
　　近些 年 来， 图 像 传 感 器( ) 在 移 动 通信，电子竞技，安防监控和机器视觉等领域有着广泛的应用和良好的发 展 前 景［］特别是在安防监控领域［］，相比于传统的电荷耦合器件( 图像传感器)［］， 图像传感器有着更高灵敏度，从而可以在暗场环境下得到高质量的图像［］甚 至 可以预见在不久的将来， 图像传感器必将被图像传感器所取代
　　但是，现有的 图像传感器普遍采用光电二极管线性有源像素，其动态响应范围较小，远小于人眼 的 动 态 范 围 图 是 当 今图像传感器系统中比较流行的 管有源像素结构图［］应用这种结构，在拍摄一些动态范围很大的场景时，场景的亮度差异远远超过感光元件的宽容度，因此对于某一指定的曝光时间，很难得到包含所有细节的图像 解决这一问题的方法无非是从像素本身和传感器电路两方面考虑，像素本身主要是设计宽动态范围的像素结构，例 如 对 数 像 素等［ ］电路方面主要考虑采用多次曝光的形式扩展其动态范围
　　目前一种可行的获取大动态范围图像的方法是: 针对场景中的某一部分而不是所有部分正确曝光，得到几幅曝光参数不同的图像重叠得到一幅图像［ ］即使用短曝光获取较亮的景物，使用长曝光获取较暗的景物，多幅组合以弥补单纯的短曝光造成的暗处细节缺失，和单纯的长曝光造成的亮处细节缺失［］这种方法获取的图像拥有可以媲美人眼的动态范围 本文在此基础上提出了一种基于滚筒式曝光的直接高效地提高动态范围的技术，它可以有效增大动态范围到 以上却只消耗较少的硬件资源，而且不增加任何额外的处理时间
　　四管像素工作原理
　　采用滚筒式曝光技术的 图像传感器，如图 所示，像素结构为四管有源像素 表示埋层结构的光电二极管，它是主要的感光器件，实现光电转 换 四 个 管分别为传输管 ，复 位 管，源 跟 随 器 以及位线读出控制开关管二极管可以把外部的光信号转换为电信号存储在 点，所以 点又叫做存储节点 当 的控制信号 为高电平时，存储在 点的信号将被传输到浮动节点 上 当 的控制信号 为高电平时，浮 动 节 点 被复位到电源电压 或 者( 为 管的阈值电压) 用作源跟随器，在其栅极接收 处的电压，且选择管 的栅极接收 行 选 择 信 号 ，输 出 来 自 源 跟 随 器 的电压
　　滚筒式曝光是 图像传感器普遍采用的一种曝光方式，以上面提到的四管像素结构为例，其简化的操作时序如图 所示 假设帧频为 ，则一次帧间隔时间为 ，每一幅完整的图像包括四行像素 首先， 指定曝光第 行( 此处的 从次序来说相当于第一行) ，按照图 中的电路，先将传输管 和复位管 同时开启( 图时序中 和 输入高电平) ，使得存储结点 以及浮动结点 的电压复位到 ，然后再同时关闭传输管 和复位管 使 点开始积分电荷(和 恢复低电平) ; 经过一段时间的电荷积累后( 相当于曝光时间 ) ，同时开启复位管 和选择管 ，( 和 为高电平，此时的选择管 选择的是第 行输出) ，通过源跟随器 ，选择管 的输出端先读出复位电压值 ，然后关闭复位管( 恢复低电平) ，保持选择管 导通，再开启传输管 ( 为高电平) ，通过源跟随器 ，选择管的输出端读出信号的绝对值并与先前的复位电压值相减得到信号的真实值，如 显示，也就是将第 行的曝光信号读出 类似地，以同样方式曝光读取第 行像素，逐行进行直到全部处理完毕，相邻行开始曝光读取的间隔时间为从时序原理 可 知， 的 周 期均为一行像素的行处理间隔时间 ，每行像素的曝光时间均为 各行像素按顺序进行曝光并读取处理，并以单行像素为曝光信号的读取对象，即在前一行像素的曝光信号读出完成后再进行下一行的读取，这种逐行曝光并读取方式即称为滚筒式曝光在需要多次成像同一张图像时，重复以上过程即可在图 所示时序中，因为一个帧间隔时间内只输出一张曝光图像，图像的曝光时间参数是不变的，这样单帧图像内只包含一次成像所得到的图像 其帧行同步示意图如图 所示 显然，整张图像每次成像的时间间隔等于帧间隔时间技术背景及原理现有的多次曝光方法，主要是利用不同的曝光参数分次独立成像，然后再整合出一幅高动态范围的图像作为最后的输出［ ］其基本原理是在需要多次曝光时，当每一帧单张图像逐行曝光结束后，需要改变曝光时间 ，再进行下一次成像 如果需要加快输出图像的速率，则必须提高图像传感器的工作速率，但是只能通过提高图像传感器的工作频率来压缩行处理时间，效率低 这是因为目标图像的曝光时间 是根据其场景情况所设定的，只要曝光时间不大于帧处理时间，其就不会直接决定帧频 那么在像素阵列固定的情形下，图像传感器的帧频只取决于最短行处理时间 在一般情况下，图像传感器的行处理总是在逐行进行，在执行某一行曝光读取时，其他行对应的像素单元处于空闲状态，所以图像传感器电路总会存在大量的空闲电路未充分利用 所以这种获取大动态范围图像的方式，会使得整个处理周期过长，造成系统反应时间过慢，并因此可能影响动态图像的实时性，而且在逐行曝光读取时产生了大量的电路空闲，造成系统资源的浪费本文所提出的一种新颖的组合滚筒式曝光控制方法就是要利用这个空闲时间，让图像传感器电路系统资源得到尽可能利用 在一帧处理时间内，将多次滚筒式曝光穿插进行，实现对目标图像的多次成像 对于各次成像，间隔一个预设的行处理间隔时间，各行像素单元逐行进行图像的曝光和曝光数据的读取以二次曝光为例，其基本原理为假设图像传感器每隔 秒输出两帧图像，其中一帧图像的曝光时间为 ，另一帧图像 的曝光时间为，用以组合出一帧高动态范围的图像，组合的图像的帧频为目标帧频 相对于单次曝光，二次曝光的方法将行处理时间设定为 倍的 ，这样每行便会有一半的时间处于空闲，在 进行曝光和读出操作时可以在行空闲状态穿插进行 的曝光和读出操作 因此这种二次曝光方法最大限度地利用了目标帧频指定的帧间隔时间作为曝光时间并且 与 曝光开始的间隔时间仅受限于第一次曝光时间 的大小，而不需要等 全部行曝光结束后再开始 的曝光，大大缩短了两帧的曝光间隔执行方式基于上述基本原理，在执行的时候首先需要确定多次曝光次数 ，以及各次的曝光时间其中，对于背景比较亮的图像的曝光时间要小于背景比较暗的图像的曝光时间，且各次成像的次序按曝光时间长短排列 然后确定最短行处理时间，并将同次成像的行处理间隔时间设置为最短行处理时间的 倍，不小于单帧时间内一个多次成像周期的曝光次数，并以此为基础设定图像的帧频 帧频即帧间隔时间 的倒数，关于帧频的设置必须满足以下两点: 第一，帧间隔时间必须大于最短帧处理时间，即( )其中最短帧处理时间 为图像传感器的最短行处理时间乘以图像传感器的像素行数 第二，帧间隔时间须大于本幅曝光图像的相邻行处理时间的 倍再加上各次成像时间总和 即( )当设置满足上述条件后，就可以开始对目标景物进行逐行曝光，多次成像下面以一个二次曝光的简单实例来说明，二次曝光分别对应输出一帧亮图像 和一帧暗图像以前所述，先进行预先参数设定，假设亮图像的曝光时间为 ，暗图像的曝光时间为 ，其中 先进行亮图像曝光再进行暗图像曝光 假设 图像传感器的最短行处理时间为，则对于一个 行像素图像，最小帧处理时间为 要在单帧时间内实现两次成像，假设在最苛刻的条件下，同次成像图像的行处理时间 设定为两倍的最短行处理时间 这样使得图像传感器在对每行像素的数据进行读取处理时，控制时序至少有一半时间处于空闲间隔，并以此为基础设定图像的帧频 ，使得帧间隔时间满足式( ) 和式( ) 的要求 由此例，将曝光次数 代入式( ) ，可得式( ) ，根据式( ) 和式( ) 完成曝光参数的设置( )曝光参数设置完毕后，可以开始逐行曝光，曝光时序如图 所示，并结合图 中的四管有源像素结构进行具体分析 由之前阐述的图 所示的滚筒式曝光的时序原理可知， 的周期均为同次成像行处理 间 隔 时 间 ，曝 光指定行像素时，先产生 ， 时序，在经过亮图像曝光时间 后，产生 时序，并随之输出 表征该行像素的曝光信号读取的第 行在开始曝光读取，并经过一个行处理间隔时间 后，会开始进行 的第 行的曝光，如此循环，进行逐行曝光读取 在 的第 行的信号结束也即该行的 曝光读取完毕之后，可发现，对于 而言，第 行所对应的行像素电路已进入空闲状态，此时，可直接插入 的第行执行曝光操作，时序控制信号将开始产生的 和 ，并输入第 行对应的行像素电路中开始第 行的曝光( 图中的虚线信号) ，这样 便开始了曝光读取以上过程，对应至图 的时序图，实线信号对应于亮图像 的控制时序，而虚线信号对应于暗图像 的控制时序 由于事先已将行处理间隔时间 设定为两倍的 ，使得当产生 的控制时序时，其 刚好处于 控制时序的空闲间隔中 这样 和 各自逐行曝光读取，穿插进行，控制时序之间并未互相影响或者产生竞争关 系，直 至 与 先 后 完 成 成 像 最终，从 所读取到的行像素包含了 与的 信 息 在 的曝光未完成之前，仅 有的 数 据 读 出; 在 曝 光 完 成 部 分 行 而的数据未全部读出之前，两者交替输出;数据全部行读取完毕后，仅 有 的 数 据 读 出最后进入下一帧，重复以上过程在完整的曝光周期即一个帧间隔时间内，实现了亮暗两次成像 如图 所示，为二次曝光输出的帧行同步示意图 通过四行像素二次曝光的实例分析，我们可以将这种方法延伸至多次成像的曝光控制要求，具体参数可根据图像传感器的性能要求以及图像场景需要来决定测试结果是一款应用了上述组合多次曝光技术的芯片产品，该技术在芯片的数字电路中得以实现，芯片外观和数字电路部分版图如图 和图 所示考虑到对比动态范围的需要，该芯片可以利用寄存器从外部软件设置开启和关闭组合多次曝光模式 对于动态范围的测试，可以首先在暗场下用最短的曝光时间测出一组数据，这组数据即为该芯片的最小噪声水平 然后，在亮场下再测出一组最大的输出值 因此芯片的动态范围可以由式( ) 表示( ) ( )图 为 输出饱和曲线图 根据式( ) ，通过计算，可得该芯片的动态范围约为如果开启多次曝 光 模 式，测试时以二次曝光为例图 为开启二次曝光模式后的长短帧输出饱和曲线，将两者组合后得到的动态范围可以达到以上，确实有效地提高了动态范围 另外，合理地选择曝光次数要根据场景的明暗程度和经验，当场景一定，并不是曝光次数越多越好，当曝光次数达到一定程度时，动态范围也会接近最大值附近 若再增加曝光次数，也只能增加操作的复杂度，对图像质量没有明显改善图 和图 分别为同一场景下单次曝光和多次曝光的实景图对比，可以比较直观的看到，特别是在较暗的场景下，多次曝光可以带来比较清晰的视觉效果
　　结论
　　本文通过控制 图像传感器在单帧图像的时间周期内，以不同的曝光参数进行多次曝光，整合出一帧 对比现有的单帧曝光一次的多曝光控制方法，此方法可以有效的缩短相邻次成像的时间间隔，并充分利用了逐行曝光读取时，其他行电路的空闲时间 这样相邻次成像的开始时间仅仅局限于前一次的曝光时间长短，而无需等前一次的曝光所有行处理完全结束后才开始下一次成像 具有系统效率高，利用率充分，且输出图像反应时间短等优点，可以有效地提高动态范围，无论在明或暗的环境下都可以得到令人满意的图像效果
    参考文献:［］裴志军，国澄明，姚素英 图像传感器动态范围扩展技术［］传感器技术， ，( ) :［］［］ ( )，［］胡琳 图像传感器的现状及未来发展［］电 子 科 技，，( ) :［］ ， ，， ，［］ ，，［］于俊庭 有 源 像 素 图 像 拖 影 消 除 的 工 艺 模 拟 与 器 件 仿 真［］天津: 天津大学，［］刘激扬，姚素英一种高填充率的 有源像素结构研究与设计［］传感技术学报， ，( ) :［］付贤松 图像传感器动态范围扩展技术的研究［］天津: 天津大学，［］朱良销，余 学 才，陈 涛一种扩展动态范围的图像处理算法［］传感技术学报， ，( ) :［］ ， ，［］ ，， ，( ) :［］ ， ， ，， ［］，［］张丽芳，周军利用多曝光对图像进行动态范围增强［］数据采集与处理， ( ) :［］何烽，徐之 海一种基于数字图像合成的扩展动态范围方法［］光电工程， ，( ) :