摘要 　 针对目前采用通用计算机、 多 Ｃ Ｐ Ｕ 并行、 Ｄ Ｓ Ｐ 等方法实现实时图像处理的不足， 研究了一种基于Ｆ Ｐ ＧＡ 的图像处理系统， 由图像采集和图像处理基本算法两部分组成 ． 图像采集选用 ＯＶ ７ ６ ７ ０ 图像传感器， 其内部集成了传感器及图像处理单元， 可以直接输出数字信号给 Ｆ Ｐ ＧＡ． 图像处理选用 Ａ ｌ ｔ ｅ ｒ ａ 公司的 Ｃ ｙ ｃ ｌ ｏ ｎ ｅ 　Ｉ Ｉ系列的 Ｆ Ｐ ＧＡ 芯片， 在芯片上完成了图像采集的控制， 模拟了 Ｉ２ Ｃ 总线协议， 通过设计 Ｆ Ｐ ＧＡ 的内部逻辑实现了图像灰度化、 中值滤波、 边缘检测等图像处理基本算法， 使处理速度远远快于软件方法 ． 仿真结果显示：该系统实现了实时图像的快速采集和处理， 最高能达到 ３ ０ 帧／ ｓ ， 并且分辨率为 ６ ４ ０×４ ８ ０．

关键词 　 图像处理；图像采集；边缘检测；中值滤波；

算法图像采集与图像处理一直是比较热门的研究领域， 涉及到信号处理、 人工智能、 模式识别等多种学科， 主要应用在汽车电子、 消费电子、 安保监控、 国防军工以及３ Ｄ投影等领域 ［１ ］ ．

随着信息技术的发展， 对于图像的获取与处理的方案越来越多， 例如专用模拟器件、 Ａ Ｓ Ｉ Ｃ芯片、 Ｄ Ｓ Ｐ芯片及 ＡＲＭ 芯片都能应用于图像处理领域． Ａ Ｓ Ｉ Ｃ是专用集成电路， 比较适合解决实时图像处理并且其处理速度快于 Ｆ Ｐ ＧＡ ， 但其具有开发周期长、 成本高以及设计出厂后不能根据需求进行修改、 灵活性差等缺点． ＡＲＭ 和 Ｄ Ｓ Ｐ还是一种Ｃ Ｐ Ｕ ， 其串行的结构并不适应某些实时性较强的图像处理算法 ［２ ］ ． 而Ｆ Ｐ Ｇ Ａ可根据需求， 通过设计完成不同功能的硬件电路， 在设计中可采用流水线和并行处理的技术， 使其在处理算法上具有高效性， 并且其开发周期相对于 Ａ Ｓ Ｉ Ｃ短， 易于维护和拓展， 在实时图像处理方面具有很大的优势． 目前多种图像处理算法如图像缩放、 图像旋转、 图像压缩、 边缘检测、 直方图均衡化、 中值滤波都适合用Ｆ Ｐ Ｇ Ａ处理， 并且相关算法也在不断完善．

综上所述， 在此研究基于 Ｆ Ｐ ＧＡ 的图像处理系统， 并提出快速中值滤波和ｓ ｏ ｂ ｅ ｌ边缘检测算法的Ｆ Ｐ ＧＡ 实现．

１　 系统总体结构和工作原理

系统采用 ＯＶ ７ ６ ７ ０数字图像传感器采集图像， 图像处理以及其他控制模块采 Ａ ｌ ｔ ｅ ｒ ａ公司的Ｃ ｙ ｃ ｌ ｏ ｎ ｅ 　Ｉ Ｉ 系 列Ｆ Ｐ ＧＡ 芯 片， 型 号 为Ｅ Ｐ ２ Ｃ ８ Ｑ ２ ０ ８ Ｃ ８ ， 速度等级为８ ， 最高工作频率为３ ２ ０ＭＨ ｚ ， 有 ８ 　２ ５ ６ 个 逻 辑 单 元． 采 用 一 片 ６ ４Ｍ ｂ ｉ ｔ的Ｓ Ｄ Ｒ ＡＭ 芯片存储图像， 将最后处理后的图像输入到 ＶＧＡ 显示． 总体结构图如图１所示．图 １　 系统总体结构图

系统采用５ ０ ＭＨ ｚ晶振， 上电后通过 Ｆ Ｐ ＧＡ内部逻辑模拟的Ｉ２ Ｃ协议对 ＯＶ ７ ６ ７ ０ 图像传感器进行控制寄存器的配置， 设定工作方式， 设置输出图像格式为 Ｙ Ｃ ｂ Ｃ ｒ ４ ： ２ ： ２ ， 即８ｂ ｉ ｔ亮度信号和８ｂ ｉ ｔ色度信号间隔输出． 系统参数初始化后， Ｆ Ｐ －ＧＡ 通过Ｐ Ｌ Ｌ分频为图像传感器提供２ ５ＭＨ ｚ的时钟， 实时读出行同步信号、 帧同步信号、８ｂ ｉ ｔ图像数据和像素时钟． 格式转换模块接收 ＯＶ ７ ６ ７ ０图像传感器传来的数据， 间隔取８ｂ ｉ ｔ的亮度信号即 ８ｂ ｉ ｔ灰度图像数据， 再送至数据缓冲和存取控制模 块． 由 于 图 像 采 集 模 块 采 用 的 频 率 为 ２ ５ＭＨ ｚ， 而Ｓ Ｄ Ｒ ＡＭ 控制 模块 采 用的频率为 １ ０ ０ＭＨ ｚ ， 所以利用异步Ｆ Ｉ Ｆ Ｏ将数据暂存， 并控制启动 Ｓ Ｄ Ｒ ＡＭ 存 储 器 的 上 电 刷 新 操 作， 然 后 对Ｓ Ｄ Ｒ ＡＭ 进 行 读 写，把 一 帧 图 像 数 据 先 写 入Ｓ Ｄ Ｒ ＡＭ ， 同时将图像数据送至图像处理模块， 在该模块完成中值滤波或边缘检测． 中值滤波和边缘检测都是基于方形窗口操作的， 因此主要由三个模块实现： 边缘检测功能模块， 中值滤波功能模块，３×３方窗口生成模块．

本系统没有采用传统的中值滤波方法， 而且是利用一种快速中值滤波的算法， 通过多级流水的方式， 加快了运算速度． 边缘检测采用Ｓ ｏ ｂ ｅ ｌ算子来计算 ｘ 方向和 ｙ 方向的导数值， 然后将两个方向的导数值取绝对值相加， 得到中心像素点的近似梯度． 将处理完的图片数据再存入Ｓ Ｄ Ｒ ＡＭ ，最后利用乒乓操作， 采用Ｆ Ｉ Ｆ Ｏ行缓存的方式， 将Ｓ Ｄ Ｒ ＡＭ 中处理完成的图片输出到 ＶＧＡ 显示．

系统中Ｉ２ Ｃ协议是一种串行通信总线， 主要的用途在于控制芯片． Ｉ２ Ｃ只使用两条双向线， 分别为串行数据 Ｓ Ｄ Ａ 及串行时钟 Ｓ Ｃ Ｌ ， 由一个主控制端（ Ｍ ａ ｓ ｔ ｅ ｒ ） 控制多个从设备（Ｓ ｌ ａ ｖ ｅ ）［ ５ ］． 本系统中的主控制端是 Ｆ Ｐ ＧＡ ， 从设备是 ＯＶ ７ ６ ７ ０图像传感器．

２　 核心模块设计及仿真用开发工具

Ｑ ｕ ａ ｒ ｔ ｕ ｓ 　Ｉ Ｉ 　１ １． ０来完成模块设计 ［３ － ４ ］ ， 用仿真工具 Ｍ ｏ ｄ ｅ ｌ ｓ ｉ ｍ 　Ｓ Ｅ 　１ ０． ０ ｃ来验证逻辑电路功能优越性．

２． １　

Ｉ２ Ｃ控制模块设计及仿真Ｉ２ Ｃ控制模块主要有三部分组成， 分别为控制模块、 功能模块和 Ｒ ＯＭ 模块， 其中： 功能模块主要完成数据的并串转换， 根据协议要求把控制模块输入的地址和数据转换成Ｓ Ｄ Ａ ／ Ｓ Ｃ Ｌ电平的高低变化； 控制模块利用状态机的方式从 Ｒ ＯＭ中读取配置好的数据， 并将数据输给功能模块， 同时输出激励信号， 使功能模块工作．Ｉ２ Ｃ 控制模块仿真时序图如图２所示． 图中图２　Ｉ２ Ｃ 控制模块仿真波形是一次写操作， 地址是 ０ ２ Ｈ ， 写入数据是 ６ ＦＨ． 当Ｓ Ｃ Ｌ为高电平时，Ｓ Ｄ Ａ 拉低电平， 即起始信号； 然后发送８ｂ ｉ ｔ设备地址， 收到设备应答信号 Ａ Ｃ Ｋ ；发送８ｂ ｉ ｔ寄存器地址０ ２ Ｈ ， 收到应答信号； 写入数据６ ＦＨ ， 收到应答信号； 最后当Ｓ Ｃ Ｌ为高电平时， 拉高Ｓ Ｄ Ａ ， 结束这次写操作．

２． ２　 窗模块实现及仿真滑动窗操作是图像中值滤波和边缘检测的基础， 它使用一个窗口， 这个窗可以是一个点周围的特定长度或形状的邻域， 来计算算法的输出 ［６ ］． 方形窗大小可自行确定， 通常采用奇数大小的滑动窗口， 本系统采用３×３方形窗． 对每点邻域内的８个点和自身一共９个点进行图像处理相关计算． 须要同一时刻将９个点的灰度数据输出， 采用行缓存和列同步的方法． ３×３方形窗生成模块结构图如图３所示．如图３所示， 图中 Ｄ ［ ７ ： ０ ］ 是８ｂ ｉ ｔ的图像灰度数据， Ｌ ｉ ｎ ｅ－ Ｂ ｕ ｆ ｆ ｅ ｒ是固定深度的 Ｆ Ｉ Ｆ Ｏ ， 本研究采用２个１ 　０ ２ ４ｂ ｙ ｔ ｅ深度的 Ｆ Ｉ Ｆ Ｏ 作为行缓存， 来缓存前２行的图像数据， 当第３行数据输入时， 通过列同步模块， 将３×３方形窗内的９个像素的灰度数据同一时刻输出， 以此类推， 通过控制读写Ｆ Ｉ Ｆ Ｏ ， 使其中的数据始终是输出当前行的前２行的图像数据， 保证每一时刻有９个数据同时输出， 整体是一个流水的架构． ３×３方形窗生成模块仿真波形图如图４所示．

２． ３　 快速中值滤波模块设计中值滤波是一种常见图像预处理方法， 能够有效地去除噪声， 平滑图像， 与均值滤波以及其他线性滤波器相比， 它能够在去噪的同时不模糊图像的边缘， 较好地保持图像的清晰度 ［７ － ８ ］ ．中值滤波算法是将３×３方形窗模块输出的９个像素的灰度数据进行比较排序， 最后输出中间值． 最原始的方法是冒泡排序法， 通过计算， 每执行一次算法， 须要３ ６次比较， 速度较慢． 因此，本系统设计时采用快速中值滤波的方法， 利用了并行和流水线的处理方法， 完成一次中值滤波须要１ ９次比较， 经过９个时钟的潜伏期以后每个时钟计算出一个结果， 大大加快了中值滤波的计算速度． 计算原理如图５所示， 将窗模块输出的９个数据分３组（Ｃ １ ， Ｃ ２ ， Ｃ ３ ） ， 每组３个数据按从大到小输出排列， 然后分别并行比较 Ｃ １ ， Ｃ ２ 和 Ｃ ３ 中的 ｍ ａ ｘ ， ｍ ｉ ｄ和 ｍ ｉ ｄ和 ｍ ｉ ｎ ， 得到 ｍ ａ ｘ组中的最小值， ｍ ｉ ｄ组中的中间值，ｍ ｉ ｎ组中的最大值， 最后将这３个值输入 Ｃ 中， 比较计算得出中间值， 即为３×３方形窗的中心像素点经过中值滤波的结果． 计算原理及过程如图５所示．出流水比较器， 潜伏期３个时钟． 采用冒泡排序，最后按从大到小输出．

２． ４　 边缘检测模块设计边缘是指图像局部强度变化最显著的部分，主要存在于目标与目标、 背景与背景、 区域与区域之间， 边缘检测实质是采用某种算法来提取图像中对象与背景间的交界线 ［９ － １ ０ ］ ．边缘检测方法众多， 本系统选用 Ｓ ｏ ｂ ｅ ｌ 算子边缘检测的方法 ． Ｓ ｏ ｂ ｅ ｌ检测法的原理是通过卷积来估计每个像素点的 ｘ 和 ｙ 方向上的导数值，把中心像素点和离它最近的８个像素点即３×３方形窗输出的９个像素点， 每个乘以一个系数后相加． 该系数通常是一个的卷积表， 如表１和表２所示， 分别为计算 ｘ 和 ｙ 方向导数值的Ｓ ｏ ｂ ｅ ｌ卷积表．将上级 ３×３ 方形窗模块输出的 ９ 个像素点数据（ Ｐ １ ，Ｐ ２ ， …， Ｐ ９ ） ， 与表１和表２分别做卷积，得到 Ｇ （ ｘ ） 和 Ｇ （ｙ ） ， 然后分别取绝对值， 再相加，得到最后结果 Ｇ （ ｘ ，ｙ ） ， 即为３×３方形窗的中心像素点通过 Ｓ ｏ ｂ ｅ ｌ边缘检测后的结果． 整个计算的实现采用流水的方式， 分５级流水， 使每个时钟都能得到一个计算结果． 计算过程如下所示：　 Ｇ （ ｘ ） ＝－ Ｐ １ ＋ Ｐ ３ －２ Ｐ ４ ＋２ Ｐ ６ － Ｐ ７ ＋ Ｐ ９ ＝［ （Ｐ ３ ＋ Ｐ ９ ） ＋ （ Ｐ ６ ＋ Ｐ ６ ） ］ －［ （Ｐ １ ＋ Ｐ ７ ） ＋ （ Ｐ ４ ＋ Ｐ ４ ） ］ ；　 Ｇ （ ｙ ） ＝ Ｐ １ ＋２ Ｐ ２ ＋ Ｐ ３ － Ｐ ７ －２ Ｐ ８ － Ｐ ９ ＝［ （Ｐ １ ＋ Ｐ ３ ） ＋ （ Ｐ ２ ＋ Ｐ ２ ） ］ －［ （Ｐ ８ ＋ Ｐ ８ ） ＋ （ Ｐ ７ ＋ Ｐ ９ ） ］ ；Ｇ （ ｘ ， ｙ ） ＝｜ Ｇ （ ｘ ） ｜ ＋ ｜ Ｇ （ ｙ ） ｜．　　

由上式可知： 第一级为８个加法运算， 第二级为４个加法运算， 第三级为２个减法运算， 第四级为２个取绝对值运算， 第五级为１个加法运算．３　 仿真结果分析由于图像处理的数据量大， 采用 Ａ ｌ ｔ ｅ ｒ ａ公司的Ｅ Ｐ ２ Ｃ ８ Ｑ ２ ０ ８ Ｃ ８速度等级为８的 Ｆ Ｐ ＧＡ 芯片，利用硬件逻辑的方式来并行处理的图像数据， 相对于同等级或同工艺的 Ｄ Ｓ Ｐ和 ＡＲＭ 等芯片， 具有运行效率高、 速度快等优点． 在中值滤波的实现中， 采用本文方案， 运行在５ ０ＭＨ ｚ就能快速实现该功能， 而采用同工艺９ ０ｎ ｍ 的 Ｄ Ｓ Ｐ要达到同样的速度须要运行在１． ５ＧＨ ｚ的频率下．在研究其他相关文献的基础上， 该系统在图像处理模块采用了并行流水线的设计， 并且在存取控制模块与图像处理模块之间、 存取控制模块与数据采集模块之间均采用了异步 Ｆ Ｉ Ｆ Ｏ ， 用于行缓存， 因此图像采集和图像处理可并行执行， 可达到实时图像处理的效果． ＯＶ ７ ６ ７ ０输出６ ４ ０×４ ８ ０分辨率３ ０帧／ ｓ的数据， 图像处理模块可实时完成中值滤波或边缘检测．该系统设置了命令字控制字寄存器， 外部处理器只须要给定系统合理的控制字命令字就能完成不同的功能， 如根据需求设置处理图像的大小．该系统灵活度高， 适用于多种不同要求的实时图像处理 ．为验证图像处理模块功能的正确性， 对一幅６ ４ ０×４ ８ ０分辨率的８ｂ ｉ ｔ灰度级的图像进行了仿真研究， 设置图像处理模块控制字， 采用中值滤波算法和边缘检测算法， 得出仿真前后的对比图像如图６所示．硬件处理方案中， 仿真用 Ｍ ｏ ｄ ｅ ｌ ｓ ｉ ｍ 　Ｓ Ｅ 　１ ０．０ ｃ得到逻辑电路运行算法所耗时间． 由仿真结果可知： Ｆ Ｐ ＧＡ芯片在５ ０ ＭＨ ｚ的频率下处理一幅６ ４ ０×４ ８ ０分辨率的８ｂ ｉ ｔ灰度级的图像， 完成中值滤波运算耗时为６． １ ４ ４ｍ ｓ ， 完成边缘检测运算耗时为６． １ ４ ４ｍ ｓ ， 中值滤波潜伏期为２ ５． ７ ８ μ ｓ ，边缘检测潜伏期为２ ５． ７ ０ μ ｓ ．下面给出软件方案的效率． 使用 Ｃ Ｐ Ｕ 为Ｉ ｎ －ｔ ｅ ｌ 　Ｃ ｏ ｒ ｅ ２且频率为２． ２ＧＨ ｚ ， 内存２Ｇ Ｂ ， ３ ２ｂ ｉ ｔＷ Ｉ Ｎ ７ 操作系统的 Ｐ Ｃ机， 利用 Ｍ ａ ｔ ｌ ａ ｂ对同等分辨率的图像进行中值滤波和边缘检测仿真， 结果显示： 中值滤波运算时间为７ １ ８ｍ ｓ ， 边缘检测运算时间为 ６ ３ ２ｍ ｓ ， 相比而言， 本系统对图像处理的硬件解决方案比软件方案快１ ０ ０倍以上 ．本研究设计的系统灵活， 运行效率高， 该系统为图像识别和其他高级图像算法的基础， 具有较强的现实意义．

参 考 文 献［ １ ］ Ｓ ｈ ｉ ｅ ｈ 　Ｊ ｅ ｎ ｙ ｕ ， Ｌ ｉ ａ ｏ 　Ｙ ｉ ｌ ｉ ｎ ， Ｈ ｕ ａ ｎ ｇ　 Ｗ ｅ ｉ ｃ ｈ ｅ ｎ ｇ ， ｅ ｔ 　ａ ｌ ．Ａ ｐ ｐ ｌ ｙ ｉ ｎ ｇ 　 Ｆ Ｐ ＧＡ 　ｔ ｏ 　ｉ ｍ ｐ ｌ ｅ ｍ ｅ ｎ ｔ 　ｒ ｅ ａ ｌ－ ｔ ｉ ｍ ｅ 　ｉ ｎ ｆ ｒ ａ ｒ ｅ ｄｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ 　 ｏ ｆ 　ｍ ｏ ｖ ｉ ｎ ｇ 　 ｏ ｂ ｊ ｅ ｃ ｔ ｓ ［Ｊ ］ ． Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄＡ ｒ ｅ ａ ｓ 　ｉ ｎ 　Ｍ ｉ ｃ ｒ ｏ ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ｓ ， ２ ０ １ ２ （ １ １ ） ： １ ２ － １ ８．［ ２ ］刘成岩 ． 基于 Ｆ Ｐ ＧＡ 的图像采集处理系统设计［ Ｄ ］ ．哈尔滨：哈尔滨工程大学理学院， ２ ０ １ ２．［ ３ ］ Ｅ Ｄ Ａ 先锋工作室， 吴继华， 蔡海宁， 等 ．Ａ ｌ ｔ ｅ ｒ ａ 　Ｆ Ｐ －ＧＡ ／ Ｃ Ｐ Ｌ Ｄ 设计（ 高级篇） ［ Ｍ ］ ． 北京：人民邮电出版社， ２ ０ １ １．［ ４ ］陈欣波 ．Ａ ｌ ｔ ｅ ｒ ａ 　Ｆ Ｐ ＧＡ 工程师成长手册［ Ｍ ］ ． 北京：清华大学出版社， ２ ０ １ ２．［ ５ ］夏宇闻 ． Ｖ ｅ ｒ ｉ ｌ ｏ ｇ 数字系统设计教程［ Ｍ ］ ． 北京：北京航空航天大学出版社， ２ ０ ０ ８．［ ６ ］吴艳 ． 基于 Ｆ Ｐ ＧＡ 的数字图像处理基本算法的研究与实现［ Ｄ ］ ． 哈尔滨：哈尔滨工业大学自动化测试与控制系， ２ ０ ０ ８．［ ７ ］李元帅， 张勇， 周国忠， 等 ． 图像中值滤波硬件算法及其在 Ｆ Ｐ ＧＡ 中的实现［ Ｊ ］ ． 计算机应用， ２ ０ ０ ６ （ ２ ６ ） ：６ １ － ６ ２．［ ８ ］ Ｘ ｕ 　Ｙ ａ ｎ ｌ ｉ ｎ ｇ ， Ｙ ｕ 　Ｈ ｕ ａ ｎ ｗ ｅ ｉ ， Ｚ ｈ ｏ ｎ ｇ 　 Ｊ ｉ ｙ ｏ ｎ ｇ ， ｅ ｔ 　ａ ｌ ． Ｒ ｅ ａ ｌ－ｔ ｉ ｍ ｅ 　ｉ ｍ ａ ｇ ｅ 　ｃ ａ ｐ ｔ ｕ ｒ ｉ ｎ ｇ 　 ａ ｎ ｄ 　ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｏ ｆ 　ｓ ｅ ａ ｍ 　ａ ｎ ｄ 　ｐ ｏ ｏ ｌｄ ｕ ｒ ｉ ｎ ｇ 　 ｒ ｏ ｂ ｏ ｔ ｉ ｃ 　ｗ ｅ ｌ ｄ ｉ ｎ ｇ 　ｐ ｒ ｏ ｃ ｅ ｓ ｓ［ Ｊ ］ ． Ｉ ｎ ｄ ｕ ｓ ｔ ｒ ｉ ａ ｌ 　Ｒ ｏ ｂ ｏ ｔ ：Ａ ｎ 　Ｉ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ ， ２ ０ １ ２ ， ３ ９ （ ５ ） ： ５ １ ３ － ５ ２ ３．［ ９ ］甘金来 ． 图像边缘检测算法的比较研究［ Ｄ ］ ． 成都：电子科技大学电子工程学院， ２ ０ ０ ５．［ １ ０ ］冈萨雷斯 ． 数字图像处理的 ＭＡ Ｔ Ｌ Ａ Ｂ 实现［ Ｍ ］ ． ２版 ． 北京：清华大学出版社， ２ ０ １ ３．