摘 要 提出了一种新型图像缩放算法, 由自适应锐化滤波器和双三次插值组成. 锐化滤波器减轻了双三次插值产生的模糊效应, 自适应技术进一步提升了图像缩放质量. 为了减少运算量, 提出前置滤波和后置滤波技术. 与其他几种算法相比较,本文的算法在主观和客观评价方面都明显胜出. 为了实现实时低成本设计, 提出了一种该算法的流水线超大规模集成电路(Very large scale integration, VLSI) 架构. 在现场可编程逻辑器件(Field-programmable gate array, FPGA) 上实现, 占用695个逻辑单元(Logic elements, LEs), 时钟频率达到165 MHz,减少了36.8 %逻辑单元, 图像质量平均峰值信噪比(Peaksignal-to-noise ratio, PSNR) 提升了1.5 dB.
关键词 双三次插值, 图像缩放, 拉普拉斯变换, 自适应, 超大规模集成电路, 现场可编程逻辑器件
An Improved Low-cost Adaptive Bicubic Interpolation Arithmetic andVLSI Implementation
Abstract A novel scaling algorithm is proposed which consists of a bicubic interpolation and an adaptive sharpening¯lter. The proposed sharpening ¯lter is added to mitigate the blurring e®ects existing in bicubic interpolation methods.We also verify the scaling quality by taking into account the adaptive technique. Furthermore, we present both theprocedures of ¯ltering before and after interpolation in order to reduce the overall computing time. Compared with theprevious reported techniques, our method performs better in terms of both quantitative evaluation and visual quality.To achieve the goal of real time and low cost, we describe a pipelined VLSI architecture for the implementation of thealgorithm. The very large scale integration (VLSI) architecture of our image scaling processor contains 695 logic elements(LEs) and yields a processing rate of about 165 MHz by using ¯eld-programmable gate array (FPGA) technology. Ourproposed architecture reduces the amount of gates by 36.8 % while achieves an average peak signal-to-noise ratio (PSNR)increase of 1.5 dB in image quality.
Key words Bicubic interpolation, image scaling, Laplacian transform, adaptive, very large scale integration (VLSI),¯eld-programmable gate array (FPGA)
　　数字图像缩放是指根据原始图像的离散像素对数字图像的大小进行调整的过程. 图像缩放在多媒体[1¡2]、公共安全、消费电子[3]以及医疗图像[4]等方面具有广泛应用. 随着平板技术的发展, 图像缩放更加成为了研究热点, 研究人员提出了大量有效的图像算法[1¡21].
　　针对实时图像处理应用(如移动电话、数码相机等)图像缩放的实现, 必须满足计算复杂度低和存储器资源占用少. 虽然已经提出很多先进的图像缩放算法[5¡9;19¡21], 目前应用最广泛的低复杂度算法仍然是最近邻插值[10¡11]、双线性插值[12]和双三次插值[10¡13]. 最近邻插值算法是最简单的, 要求最少计算量和存储器访问时间. 然而, 该方法的模糊效应和块效应较严重, 因此研究的吸引力较小. 双线性插值算法在计算复杂度和缩放质量方面进行了很好的折中, 实现结构较简单, 能够节省一定硬件资源. 但是,该方法仍然有明显的模糊效应和块效应. 双线性插值算法缩放图像的质量要优于最近临插值算法, 但408 自 动 化 学 报 39卷比双三次插值效果差. 双三次插值[13]是一种基于多项式的图像缩放算法, 图像缩放性能较高. 但双三次插值计算复杂度较高, 较难在实时图像缩放中应用,但常用于对图像缩放质量要求较高时的应用.
　　目前, 很多研究都集中在图像缩放的算法上, 而在硬件实现方面的成果较少, 只有文献[1, 14¡18, 22¡24]给出了几种硬件实现的方法. 文献[22, 24] 提出了双三次插值的现场可编程逻辑器件(Field-programmable gate array, FPGA)实现方法[23], 提供了超大规模集成电路(Very largescale integration, VLSI) 实现方法, 但都没有考虑双三次插值引起的模糊效应和块效应. 多项式(Polynomial)[19]、自适应(Adaptive)[20]、相关性(Correlative property)[21]等改进方法可以克服这些问题, 但计算复杂度较高, 不适合硬件实现.
　　本文分别讨论了几种改进方法, 通过组合滤波器和拉普拉斯滤波器减少双三次插值带来的模糊效应和块效应; 采用自适应技术[1]进一步改善图像缩放质量; 为了减少计算时间, 本文提出了插值前滤波和插值后滤波技术. 与其他方法[1;22¡24]比较, 本文的方法在主观和客观评价上都有明显提高, 并且本文提出的VLSI实现比文献[24] 减少了很多逻辑资源.本文的组织结构如下: 第1节详细介绍了双三次插值算法; 第2节描述了假设的锐化滤波器和自适应技术; 第3节给出了实验结果, 包括峰值信噪比(Peak signal-to-noise ratio, PSNR)值和缩放效果图; 第4节介绍了本文提出的高性能VLSI架构; 第5节得出结论.
　　1 双三次插值
　　双三次插值是三次插值在二维空间上的一种扩展. 三次插值的核是基于三次多项式对理想抽样函数sinc 在[¡2; 2]的卷积插值的近似[13]. 通常, 三次插值基于三阶多项式(1) 产生插值系数:hc(s) =8><>:1¡(c+ 3)jsj2+ (c+ 2)jsj3; 0· jsj<1¡4c+ 8cjsj ¡ 5cjsj2+cjsj3; 1· jsj<20; 2· jsj(1)上式中, s代表插值像素和参考像素之间的距离, c是一个可调参数, Keys[13]采用c=¡0:5取得了最好的效果, 这时式(1) 简化为hc(s) =8><>:1¡2:5jsj2+ 1:5jsj3; 0· jsj<12¡4jsj+ 2:5jsj2¡0:5jsj3; 1· jsj<20; 2· jsj(2)双三次插值要求采用16个像素, 16 个浮点数操作,类似窗口处理. 因此, 空间和时间的并行处理技术是双三次插值VLSI实现的理想解决方案[23]. 图1表示用4£4邻域像素计算插值像素F的过程. 双三次插值过程通常分解为水平和垂直两个一维的插值,这样可以减少计算复杂度. 图1显示了双三次插值的过程. 首先进行垂直插值, 根据原像素和虚拟像素的距离插值得到4个虚拟像素(Fh1; Fh2; Fh3; Fh4);然后由这4个虚拟像素进行水平插值获得插值像素F. 双三次插值由式(3) 进行描述, 其中, C1; C2; C3,C4 是垂直系数, L1; L2; L3, L4 是水平插值系数, x,y是插值像素的坐标.Fh1 =C1P1+C2P5+C3P9+C4P13Fh2 =C1P2+C2P6+C3P10+C4P14Fh3 =C1P3+C2P7+C3P11+C4P15Fh4 =C1P4+C2P8+C3P12+C4P16F=L1Fh1+L2Fh2+L3Fh3+L4Fh4F(x; y) =L1(C1P1+C2P5+C3P9+C4P13)+L2(C1P2+C2P6+C3P10+C4P14)+L3(C1P3+C2P7+C3P11+C4P15)+L4(C1P4+C2P8+C3P12+C4P16) (3)图1 双三次插值原理图Fig. 1 Schematic diagram illustrating bicubicinterpolation
　　2 锐化滤波器和自适应技术
　　本文提出了几种低复杂度技术解决双三次插值带来的高频损失问题, 并且分别进行仿真测试. 锐化滤波器可以增强图像边缘部分或者突出图像的细节,因此可以减少双三次插值的模糊化问题. 自适应技术[1]可以进一步提高锐化滤波器改善的效果. 为了减少处理时间, 本文提出了插值前和插值后滤波方法. 第3节给出了这些图像缩放算法的仿真结果.4期 庞志勇等: 一种改进的低成本自适应双三次插值算法及VLSI实现 409
　　2.1 组合滤波器组合滤波器包括一个3£3箝位滤波器[25¡26](Clamp ¯lter) 和一个3£3锐化滤波器[27¡28]. 箝位滤波器属于低通滤波器, 作用是平滑不连续边缘和减少块效应. 锐化滤波器属于高通滤波器, 可以减轻块效应. 为了减少存储器资源, 组合滤波器被简化成了一个5£5矩阵, 如下所示:P0(i;j) =P(i;j)2641 1 11 C 11 1 1375C+ 8£264¡1 ¡1 ¡1¡1 S ¡1¡1 ¡1 ¡1375S¡8=P(i;j)£264¡1 ¡2 ¡3 ¡2 ¡1¡2 ¡2¡C+S ¡4¡C+S ¡2¡C+S ¡2¡3 ¡4¡C+S ¡8 +SC ¡4¡C+S ¡3¡2 ¡2¡C+S ¡4¡C+S ¡2¡C+S ¡2¡1 ¡2 ¡3 ¡2 ¡1375(C+ 8)£(S¡8)(4)上式中, C代表箝位参数, S代表锐化参数. 式(4)表示了滤波结果被滤波增益放大, 在这种情况下, 滤波结果应该修改成缩放的平均亮度值, 从而近似原像素的亮度值. 组合滤波器的增益为gainCombined sharpening ¯lter= (C+ 8)£(S¡8)(5)
　　2.2 拉普拉斯锐化滤波器组合滤波器先进行平滑滤波再进行锐化滤波.由于双三次插值会对缩放图像产生模糊效应, 本文设想等价于平滑滤波. 因此, 本文设想只采用拉普拉斯锐化滤波器进行锐化滤波, 可以进一步提升图像缩放质量.拉普拉斯锐化滤波器是一种各向同性线性滤波器, 可以增强图像边缘, 但对噪声比较敏感. 拉普拉斯锐化滤波器增强了图像的突变区域同时降低灰度缓慢变换的区域. 为了获得一个锐化的图像g(x; y),通常将原始图像f(x; y) 和拉普拉斯锐化后的图像进行相加. 在实际应用中, 采用一个掩膜进行拉普拉斯锐化滤波和相加运算. 原始图像f(x; y)的拉普拉斯变换定义为r2f=@2f@2x+@2f@2y(6)上式的离散形式如下:r2f= [f(x+ 1; y) +f(x¡1; y) +f(x; y+ 1)+f(x; y¡1)¡4f(x; y)](7)将原始图像f(x; y) 和拉普拉斯锐化后的图像进行相加, 得到增强图像g(x; y)g(x; y) =f(x; y) +r2f(x; y) (8)通过仿真实验, 本文得到的最优拉普拉斯掩膜为KernelLAPLACIAN=2640 ¡1 0¡1 S+ 4 ¡10 ¡1 0375 (9)参数S可以根据图像特点和锐化程度进行调节, 拉普拉斯锐化滤波器的增益为S.拉普拉斯锐化滤波器结构简单, 比较适合硬件实现. 同时, 仿真实验表明: 拉普拉斯锐化滤波器对缩放图像的性能提升优于其他滤波器. 自适应滤波技术[1]也应用到拉普拉斯锐化滤波器上, 进一步改善了图像缩放质量.
　　2.3 自适应技术
　　自适应技术的目的是进一步提升锐化滤波器的效果. 图2表示前置滤波方案, 锐化滤波的结果反馈回线性存储器作为新的像素输入.图2 自适应技术Fig. 2 Adaptive technology图3表示提出的自适应拉普拉斯滤波器, 滤波结果反馈到第三个线性存储器. 因此, 5 个原始像素和4个自适应滤波像素一起组成3£3拉普拉斯锐化滤波器的输入像素.图3 拉普拉斯自适应滤波过程Fig. 3 The °ow of Laplacian adaptive ¯lter由于反馈, 锐化滤波器由原来的FIR滤波器变成了IIR滤波器. 这里通过计算拉普拉斯自适应锐化滤波器的z变换证明其稳定性. 拉普拉斯自适应锐化滤波器的脉冲响应的z变换为H(z1; z2) =A(z1; z2)B(z1; z2)=8¡z¡11¡z¡124 +z1+z2(10)410 自 动 化 学 报 39卷因此, B(z1; z2)为B(z1; z2) = 4 +z1+z2(11)由于jz1j = 1,jz2j · 1,有:B(z1; z2) = 4 +z1+z2 >0 (12)对于jz1j · 1,有:B(z1;0) = 4 +z1 >0 (13)从上面的推导过程可以得出结论, 自适应拉普拉斯锐化滤波器满足稳定条件[29¡30], 这种IIR滤波器是稳定的.
　　2.4 前置滤波和后置滤波
　　为了减少计算时间, 本文提出前置滤波(插值前滤波)和后置滤波(插值后滤波),并且仿真验证是否能够改善图像缩放效果. 当图像放大时, 滤波在图像放大前进行; 相反, 当图像缩小时, 滤波在图像缩小后进行, 这样可以减少处理时间. 前置滤波和后置滤波如图4所示.图4 前置滤波和后置滤波Fig. 4 Pre-¯lter and post-¯lter
　　3 实验结果
　　采用8幅512像素£512像素标准测试彩色图像对提出的算法从主观和客观两个方面进行评估.测试图像如图5所示.图5 8个测试图像Fig. 5 Eight sample images
　　3.1 参数C和S的选择为了选择拉普拉斯锐化滤波器参数S的最优值,通过实验得到了图5中8张标准测试图片的峰值信噪比PSNR和(S+ 4)的关系图, 如图6所示. 从图6可以得出,对于8张标准测试图片的变化趋势是一致的, 最优的S+ 4变化范围是12»22. 表1分别列出了PSNR的最大值时S+ 4的值和S+ 4 = 20时的PSNR值. 注意这里取S= 16,是2的整数次幂, 既保证了较高的PSNR值, 又简化了硬件实现.基于这个原因, 后面本文的实验采取了(S+ 4) = 20来进行.图6 PSNR和S的关系图Fig. 6 PSNR with variableS表1 PSNR峰值比较Table 1 Comparison of peak PSNRsImage S+ 4PeakS+ 4PSNR PSNR差值PSNR (dB) (dB)Lena 20 45.26 20 45.26 0Baboon 12 38.11 20 36.07 2.04Peppers 12 43.10 20 42.07 1.03Airplane 22 45.30 20 45.28 0.02Ti®any 18 43.62 20 43.57 0.05Sailboat 12 41.74 20 40.39 1.35Splash 16 48.05 20 47.90 0.15House 16 44.06 20 43.76 0.30从表1可以看出, 对于S+ 4 = 20并不能满足对所有的图像都是最优值. 例如, Baboon 图像的误差达到了2.04 dB.参数S的值可以根据图像的特点适当调整. 对于组合滤波器, 由于涉及到两个参数C和S同时调整, 因此比拉普拉斯锐化滤波器误差更大. 实验也证明了对于组合滤波, 参数C和S不存在最优值, C= 28; S = 32是比较好的选择. 因此,本文提出的拉普拉斯锐化滤波器更稳定且更容易硬件实现.4期 庞志勇等: 一种改进的低成本自适应双三次插值算法及VLSI实现 411
　　3.2 结果比较
　　本文采用Matlab仿真软件从定量的(客观)和可视的(主观)两个方面, 对提出的改进双三次插值算法进行仿真验证. 均方误差(Mean square error,MSE)可以用来定量分析原始图像和插值图像的近似程度. 对于大小为M£N的图像, 图像处理后的均方误差定义为MSE=1MNM¡1 XM=0N¡1 XN=0[P(i; j)¡P0(i; j)]2(14)P(i; j) 和P0(i; j) 分别是坐标为(i; j) 位置上的原始图像像素值和图像缩放后的像素值. 另外, PSNR也常用来定量评估图像缩放的性能, 定义为P SNR= 10£lgMAX2MSE(15)由于本文中图像的像素是8位的, 因此, 式(15)中, MAX的值为255.在仿真实验中, 组合滤波器[1]、拉普拉斯锐化滤波器、前置滤波、后置滤波、自适应滤波都分别进行了测试. 这样对于每个测试图像都进行了5种方法的仿真实验, 包括: 1) 双三次插值, 2) 前置滤波双三次插值, 3) 前置自适应滤波双三次插值, 4) 后置滤波双三次插值, 5) 后置滤波自适应双三次插值. 这5种方法与自适应双线性(A-Bilinear)[1]、扩展线性(Extend linear, EL)[22]进行了比较.对图5中的标准测试图像进行两种测试. 1) 测试A.用上述5种方法, 分别将大小为512£512的源图像放大到1 024£1 024或者缩小到256£256,然后再用Matlab仿真软件提供的双三次插值方法把放大或缩小后的图像恢复至源图像的大小512£512. 表2 列出了不同方法的PSNR结果.2) 测试B.用Matlab仿真软件提供的双三次插值方法, 分别将大小为512£512的源图像放大到1 024£1 024或者缩小到256£256,然后再把放大或缩小后的图像用上面提到的五种方法恢复至源图像的大小, 即512£512. 表3列出了不同方法的PSNR结果. 对彩色测试图像的三个颜色分量分别采用式(15) 计算PSNR值, 然后再取平均值作为PSNR值.表2和表3列出了每种插值算法的PSNR值.性能从高到低依次为: 拉普拉斯自适应双三次插值(36.563 dB),拉普拉斯非自适应双三次插值, 组合滤波自适应双三次插值, 组合滤波非自适应双三次插值, 双三次插值(BC)[23](35.038 dB),扩展线性插值(EL)[22], 自适应双线性插值(A-Bilinear)[1]. 拉普拉斯自适应双三次插值比双三次插值平均PSNR值提升了1.5 dB.组合滤波自适应双三次插值较拉普拉斯自适应双三次插值性能有所下降, 但仍比双三次插值改善很多. 并且, 当进行图像放大时, 前置滤波性能要优于后置滤波, 当进行图像缩小时, 后置滤波优于前置滤波, 这样可以减少计算时间.表2 图像放大512£512到1 024£1 024和图像缩小512£512到256£256的PSNR值(dB)Table 2 The values of PSNR scaling up from size512£512 to 1 024£1 024 and scaling down from size512£512 to 256£256 (dB)Scaling up Scaling downSample images 512£512!1024£1024 512£512!256£256Lena A B A BA-Bilinear[1]38.55 31.48EL[22]] 40.25 32.75BC[23]43.08 33.36CAF 43.97 43.98 33.55 33.56CF 43.93 43.98 33.55 33.55LASF 45.26 44.07 33.56 33.74LSF 44.97 44.11 33.57 33.70Baboon A B A BA-Bilinear[1]29.45 22.34EL[22]29.42 22.65BC[23]32.32 23.11CAF 33.95 33.43 23.23 23.27CF 33.93 33.44 23.23 23.27LASF 36.07 33.59 23.24 23.43LSF 35.94 33.68 23.25 23.42Peppers A B A BA-Bilinear[1]36.47 29.71EL[22]36.33 30.31BC[23]39.24 30.63CAF 40.37 40.12 30.73 30.75CF 40.35 40.13 30.73 30.74LASF 42.07 40.32 30.74 30.83LSF 41.86 40.38 30.74 30.82Airplane A B A BA-Bilinear[1]38.57 29.51EL[22]39.89 30.55BC[23]43.04 30.98CAF 44.35 44.11 31.12 31.15CF 44.29 44.12 31.12 31.14LASF 45.28 44.08 31.13 31.26LSF 44.99 44.13 31.13 31.23Ti®any A B A BA-Bilinear[1]37.00 29.99EL[22]37.93 30.49BC[23]41.03 30.75CAF 42.28 42.07 30.83 30.82CF 42.24 42.07 30.83 30.82LASF 43.57 42.17 30.84 30.87LSF 43.32 42.22 30.84 30.85Sailboat A B A BA-Bilinear[1]34.40 27.22EL[22]34.31 27.96BC[23]37.22 28.39CAF 38.48 38.18 28.53 28.57CF 38.46 38.19 28.53 58.57LASF 40.39 38.37 28.54 28.73LSF 40.19 38.45 28.55 28.71Splash A B A BA-Bilinear[1]41.55 32.50EL[22]41.58 33.13BC[23]44.93 33.44CAF 46.52 46.08 33.54 33.55CF 46.49 46.10 33.54 33.54LASF 47.90 46.15 33.54 33.62LSF 47.76 46.23 33.54 33.60House A B A BA-Bilinear[1]36.96 27.24EL[22]37.17 27.99BC[23]40.22 28.55CAF 42.14 41.54 28.72 28.78CF 42.10 41.56 28.72 28.77LASF 43.76 41.58 28.72 28.95LSF 43.61 41.68 28.74 28.93412 自 动 化 学 报 39卷注: A: Filtering before scaling; B: Scaling before ¯ltering; LASF:Laplacian adaptive sharpening ¯lter; LSF: Laplacian sharpening¯lter; CF: Combined ¯lter; CAF: Combined adaptive ¯lter.表3 图像放大256£256到512£512和图像缩小1 024£1 024到512£512的PSNR值(dB)Table 3 The values of PSNR scaling up from size256£256 to 512£512 and scaling down from size1 024£1 024 to 512£512 (dB)Sample images Scaling up Scaling down256£256!512£512 1 024£1 024!512£512LENA A B A BA-Bilinear[1]31.79 37.69EL[22]32.75 40.25BC[23]33.36 43.08CAF 33.56 33.52 43.98 43.93CF 33.55 33.52 43.98 43.88LASF 33.74 33.47 44.07 45.04LSF 33.70 33.47 44.11 44.75Baboon A B A BA-Bilinear[1]22.61 27.97EL[22]22.65 29.42BC[23]23.11 32.32CAF 23.27 23.21 33.43 33.94CF 23.27 23.22 33.44 33.93LASF 23.43 23.22 33.59 36.05LSF 23.42 23.22 33.68 35.92Peppers A B A BA-Bilinear[1]29.98 35.47EL[22]30.31 36.33BC[23]30.63 39.24CAF 30.75 30.68 40.12 40.35CF 30.74 30.68 40.13 40.33LASF 30.83 30.63 40.32 41.99LSF 30.82 30.63 40.38 41.78Airplane A B A BA-Bilinear[1]29.81 37.12EL[22]30.55 39.89BC[23]30.98 43.04CAF 31.15 31.00 44.11 44.24CF 31.14 31.00 44.12 44.18LASF 31.26 30.87 44.08 44.87LSF 31.23 30.86 44.13 44.60Ti®any A B A BA-Bilinear[1]29.84 36.47EL[22]30.49 37.93BC[23]30.75 41.03CAF 30.82 30.78 42.07 42.22CF 30.82 30.78 42.07 42.18LASF 30.87 30.73 42.17 43.32LSF 30.85 30.72 42.22 43.06Sailboat A B A BA-Bilinear[1]27.70 33.10EL[22]27.96 34.31BC[23]28.39 37.22CAF 28.57 28.50 38.18 38.46CF 28.57 28.50 38.19 38.44LASF 28.73 28.48 38.37 40.34LSF 28.71 28.48 38.45 40.13Splash A B A BA-Bilinear[1]32.75 40.10EL[22]33.13 41.58BC[23]33.44 44.93CAF 33.55 33.42 46.08 46.44CF 33.54 33.42 46.10 46.41LASF 33.62 33.31 46.15 47.66LSF 33.60 33.31 46.23 47.52House A B A BA-Bilinear[1]27.74 34.76EL[22]27.99 37.17BC[23]28.55 40.22CAF 28.78 28.64 41.54 42.09CF 28.77 28.64 41.56 42.05LASF 28.95 28.56 41.58 43.57LSF 28.93 28.57 41.68 43.42以测试图像Baboon作为例子, 图7给出了测试方法A中各种算法图像放大效果图. 为了进行主观比较, 图8给出了原始图像和各种算法放大图像的细节区域对比效果图. 可以看出, 当进行图像放大时, 拉普拉斯自适应算法优于其他算法.
　　3.3 滤波器频谱本节分别给出了箝位滤波器、锐化滤波器、组合滤波器、自适应组合滤波器、拉普拉斯滤波器和拉普拉斯自适应滤波器的频谱, 并进行理论分析.如图9所示, 箝位滤波器(图9 (a))属于低通滤波器, 保留了图像的低频分量, 滤除了高频分量. 因此, 可以滤除部分高频噪声. 锐化滤波器(图9 (b))属于高通滤波器, 抑制了低频分量, 保留了图像的高频分量, 同时带来了高频噪声. 组合滤波器(图9 (c))是上述两种滤波器的组合, 有效地保留了更多图像的信息, 降低了高频噪声[1]. 组合自适应滤波比组合滤波保留了更多频率分量, 如图9 (d)所示. 拉普拉斯滤波和拉普拉斯自适应滤波的频谱如图9 (e)和9 (f)所示. 可以看出, 自适应拉普拉斯滤波器保留的最多有用的频率分量, 也即更多的高频噪声被滤除, 同时, 更多的有用频谱被保留.
　　4 VLSI架构
　　本文提出的拉普拉斯自适应缩放算法的计算复杂度较低, 只需要一个拉普拉斯自适应锐化滤波器和一个双三次插值处理器. 因此, 比较适合低成本VLSI实现. 本节给出了VLSI架构及FPGA实现.
　　4.1 系统结构
　　如图10所示, 整个系统结构包括一个拉普拉斯自适应滤波器、一个双三次插值器和三个多路选择器. 多路选择器的作用是根据缩放比例系数(Scaleratio, SR)来决定滤波和插值的顺序. 基于前面的仿真结果, 当SR>1时, 滤波操作要在插值前, 即前置滤波. 相反, 当SR<1,插值操作在滤波前, 即后置滤波.
　　4.2 拉普拉斯自适应锐化滤波器基于第3.1节的仿真结果, 锐化参数S= 16,既可以保证IIR滤波器的稳定性, 又利于硬件实现. 基于拉普拉斯模板, 新的像素值计算如下:P0i;j=¡P0(i¡1; j)¡P0(i; j¡1)+20P(i; j)¡P(i; j+1)¡P(i+1; j)16(16)拉普拉斯自适应滤波由3个线性存储器、9个寄存器和1个计算单元组成, 如图11所示. 每个线性存储器存储一行图像像素. 为了实现流水线处理,每个时钟更新一次寄存器数据. 同时, 计算单元获得一个新的像素发送给线性存储器, 并存储回计算单4期 庞志勇等: 一种改进的低成本自适应双三次插值算法及VLSI实现 413图7 不同方法放大的图像Fig. 7 Images with di®erent up-scaling methods图8 不同方法放大图像细节Fig. 8 Image details processed with di®erentup-scaling methods414 自 动 化 学 报 39卷图9 滤波器频谱Fig. 9 Spectra of ¯lters图10 硬件体系结构框图Fig. 10 Block diagram of the proposed hardware architecture图11 拉普拉斯锐化滤波器结构框图Fig. 11 The architecture of the Laplacian sharpening ¯lter4期 庞志勇等: 一种改进的低成本自适应双三次插值算法及VLSI实现 415元. 注意计算单元每个时钟产生一个新的像素. 3 £3滤波器的硬件结构很容易映射到式(9) 中的卷积参数, 卷积表达式如式(16) 所示. 拉普拉斯自适应滤波器电路的计算单元(CU)是最耗资源的部分, 用移位寄存器代替乘法器, 用3个移位寄存器和2个加法器就可以实现, 有效地降低了整个系统的资源.
　　4.3 双三次插值图12 为双三次插值的硬件结构框图, 分别由下列模块组成: 坐标标定单元(Coordinate orienta-tion unit)、系数生成器(Coe±cient generator)、垂直插值单元(Vertical interpolation unit)、虚拟像素缓存(Virtual pixel bu®er) 和水平插值单元(Hori-zontal interpolation unit)[18;23]. 符号vs和hs分别表示参考像素和插值像素的垂直和水平距离.图12 双三次插值结构框图Fig. 12 Block diagram of the proposed bicubichardware architecture4.3.1 系数生成器双三次插值的主要瓶颈是动态产生插值系数.在一维插值中, 计算垂直系数和水平系数的方法是一样的. 根据图13,式(2) 可以改写为vc0 =12¡¡x3+ 2x2¡x¢=12¡¡x3+ 2x2¡x¢vc1 =12¡3x3¡5x2+ 2¢=12¡2x3+x3¡4x2¡x2+ 2¢vc2 =12¡¡3x3+ 4x2+x¢=12¡¡2x3¡x3+ 4x2+x¢vc3 =12¡x3¡x2¢=12¡x3¡x2¢(17)x是原像素P1 和虚拟插值像素F之间的距离.vc0; vc1; vc2, vc3 分别是原像素P0; P1; P2, P3 的垂直权重系数. 对于芯片实现来说, 乘法器占用的逻辑资源要远大于移位寄存器. 因此, 在本文的缩放电路中, 用移位运算代替乘法运算. 为了进一步减少硬件资源, 在图14中, 采用了流水线技术和硬件共享技术.图13 一维三阶多项式插值Fig. 13 One-dimension of third-order polynomialinterpolation图14 系数产生器结构框图Fig. 14 Architecture of the coe±cient generator4.3.2 其他模块双三次插值其他模块, 如坐标标定单元, 垂直插值单元, 虚拟像素缓存和水平插值单元, 都与文献[23] 中的设计一样.
　　4.4 硬件资源比较整个VLSI电路采用FPGA EP2C70F896C6进行实现. 表4列出了与文献[23¡24]比较结果, 包括逻辑单元(Logic elements, LEs), 平均PSNR和操作频率.从表4中可以看出, 本文提出的结构可以比文献[24] 减少36.8 %逻辑单元, 图像质量PSNR比文献[23¡24]提升超过1.5 dB.因此, 整个VLSI实现达到了低成本高性能、高质量的目标, 适合许多视频和图像缩放的应用.表4 与其他双三次插值设计的比较Table 4 Comparison with othe bicubic designsBicubic[24]Bicubic[23]ProposedComputing 32 mult 12 mult 12 multResources 26 add 11 add 24 addProcess FPGA FPGA FPGALEs (FPGA) 1 100 529 695Frequency 167 M 164 M 165 MPSNR 35.038 35.038 36.563416 自 动 化 学 报 39卷
　　5 结论
　　本文提出了几种改进的双三次插值算法, 通过仿真实验证明了拉普拉斯自适应双三次插值算法是最优的. 选择双三次插值是因为它的图像缩放质量较高. 拉普拉斯滤波器结构简单易于硬件实现, 应用到双三次插值中, 有效地解决了双三次插值产生的模糊效应和块效应. 自适应技术进一步提升了图像缩放的质量. 当进行图像放大时, 采用前置滤波, 当进行图像缩小时, 采用后置滤波, 大大减少了处理时间. 改进算法采用一种低成本VLSI结构进行了实现, 逻辑单元减少了36.8 %,图像质量PSNR提升了1.5 dB.
    References1 Chen S L, Huang H Y, Luo C H. A low-cost high-qualityadaptive scalar for real-time multimedia applications.IEEETransactions on Circuits and Systems for Video Techology,2011,21(11): 1600¡16112 Hwang I, Kang B, Gerard J. High-resolution image scalerusing interpolation ¯lter for multimedia video applications.IEEE Transactions on Consumer Electronics, 1997, 43(3):813¡8183 Doswald D, Ha°iger J, Blessing P, Felber N, Niederer P,Fichtner W. A 30-frames/s megapixel real-time CMOS im-age processor.IEEE Journal of Solid-State Circuits, 2000,35(11): 1732¡17434 Lehmann T M, Gonner C, Spitzer K. Addendum: B-splineinterpolation in medical image processing. IEEE Transac-tions on Medical Imaging, 2001, 20(7): 660¡6655 Battiato S, Gallo G, Stanco F. A locally adaptive zoomingalgorithm for digital images.Image and Vision Computing,2002,20(11): 805¡8126 Chen M J, Huang C H, Lee W L. A fast edge-oriented algo-rithm for image interpolation.Image and Vision Computing,2005,23(9): 791¡7987 Shi J Z, Reichenbach S E. Image interpolation by two-dimensional parametric cubic convolution.IEEE Transac-tions on Image Processing, 2006, 15(7): 1857¡18708 Chen J L, Chang J Y, Shieh K L. 2-D discrete signal inter-polation and its image resampling application using fuzzyrule-based inference.Fuzzy Sets and Systems, 2000, 114(2):225¡2389 Blu T, Thevenaz P, Unser M. Linear interpolation revital-ized. IEEE Transactions on Image Processing, 2004, 13(5):710¡71910 Meijering E H W, Zuiderveld K J, Viergever M A. Imagereconstruction by convolution with symmetrical piecewisenth-order polynomial kernels.IEEE Transactions on ImageProcessings, 1999, 8(2): 192¡20111 Caselles V, Morel J M, Sbert C. An axiomatic approach toimage interpolation. IEEE Transactions on Image Process-ing, 1998, 7(3): 376¡38612 Jensen K, Anastassiou D. Subpixel edge localization and theinterpolation of still images. IEEE Transactions on ImageProcessing, 1995, 4(3): 285¡29513 Keys R G. Cubic convolution interpolation for digital imageprocessing.IEEE Transactions on Acoustics, Speech, andSignal Processing, 1981, 29(6): 1153¡116014 Eadie D, Shevlin F P, Nisbet A. Correction of geometric im-age distortion using FPGAs. In: Proceedings of SPIE Con-ference on Optical Metrology, Imaging and Machine Vision.Galway, Ireland, 2002,4877: 28¡3715 Hudson R D, Lehn D I, Athanas P M. A run-time recon-¯gurable engine for image interpolation. In: Proceedings ofthe 1998 IEEE Symposium on FPGAs for Custom Con¯g-urable Computing Machines. Napa, California: IEEE, 1998.88¡9516 Skarabot A, Ramponi G, Buriola L. FPGA architecture for avideowall image processor. In: Proceedings of the 2001 SPIEInternational Symposium on Electronic Imaging 2001. SanJose, California, 200117 Gribbon K T, Johnston C T, Bailey D G. A real-time FPGAimplementation of a barrel correction algorithm with bilin-ear interpolation. In: Proceedings of the 2003 Image andVision Computing New Zealand. Palmerston North, NewZealand, 2003. 408¡41318 Lin C C, Sheu M H, Liaw C, Chiang H K. Fast ¯rst-orderpolynomials convolution interpolation for real-time digitalimage reconstruction. IEEE Transactions on Circuits andSystems for Video Technology, 2010, 20(9): 1260¡126419 Andrews S, Harris F. Polynomial approximations of inter-polants. In: Proceedings of the 33rd Asilomar Conference onSignals, Systems, and Computers. Paci¯c Grove, CA, USA:IEEE, 1999. 1: 447¡45120 Shezaf N, Abramov-Segal H, Sutskover I, Bar-Sella R. Adap-tive low complexity algorithm for image zooming at frac-tional scaling ratio. In: Proceedings of the 21st IEEE Con-vention of the Electrical and Electronic Engineers. Tel Aviv,Israel: IEEE, 2000. 253¡25621 Kim H C, Kwon B H, Choi M R. An image interpolator withimage improvement for LCD controller. IEEE Transactionson Consumer Electronics, 2001, 47(2): 263¡27122 Lin C C, Sheu M H, Chiang H K, Tsai W K, Wu ZC. Real-time FPGA architecture of extended linear con-volution for digital image scaling. In: Proceedings of the2008 IEEE International Conference on ICECE Technology.Taipei, China: IEEE, 2008. 381¡38423 Lin C C, Sheu M H, Chiang H K, Liaw C, Wu Z C. The ef-¯cient VLSI design of BI-CUBIC convolution interpolationfor digital image processing. In: Proceedings of the 2008IEEE International Symposium on Circuits and Systems.Seattle, WA: IEEE, 2008. 480¡48324 Nuno-Maganda M A, Arias-Estrada M O. Real-time FPGA-based architecture for bicubic interpolation: an applicationfor digital image scaling. In: Proceedings of the 2005 IEEEInternational Conference on Recon¯gurable Computing andFPGAs. Puebla City: IEEE, 20054期 庞志勇等: 一种改进的低成本自适应双三次插值算法及VLSI实现 41725 Ridella S, Rovetta S, Zunino R. IAVQ-interval-arithmeticvector quantization for image compression.IEEE Transac-tions on Circuits and Systems Part II: Analog and DigitalSignal Processing, 2000, 47(12): 1378¡139026 Shi B E, Chua L O. Resistive grid image ¯ltering: in-put/output analysis via the CNN framework.IEEE Transac-tions on Circuits and Systems, Part I: Fundamental Theoryand Applications, 1992, 39(7): 531¡54827 Schaller S, Wildberger J E, Raupach R, Niethammer M,Klingenbeck-Regn K, Flohr T. Spatial domain ¯ltering forfast modi¯cation of the tradeo® between image sharpnessand pixel noise in computed tomography.IEEE Transac-tions on Medical Imaging, 2003, 22(7): 846¡85328 Wang Q, Ward R. A new edge-directed image expansionscheme. In: Proceedings of the 2001 International Confer-ence on Image Processing. Thessaloniki: IEEE, 2001. 3:899¡90229 Goodman D. Some stability properties of two-dimensionallinear shift-invariant digital ¯lters. IEEE Transactions onCircuits and Systems, 1977, 24(4): 201¡20830 Chang H, Aggarwal J K. Design of two-dimensional semi-casual recursive ¯lters.IEEE Transactions on Circuits andSystems, 1978, 25(12): 1051¡1059