第 42 卷                        计   算   机   学   报                  Vol. 42 2019  论文在线出版号 No.28  CHINESE JOURNAL OF COMPUTERS  2019Online Publishing No.28 本课题得到浙江省自然科学基金项目（No.LY19F020015）;  国家自然科学基金项目（No.61871289, No.61601200）;  绍兴市公益性技术应用研究计划项目（No.2018C10015）;上海市自然科学基金项目（No.18ZR1440600）资助.  赵利平（通信作者）,  女, 1984年生,  博士,  副教授,  是计算机学会（CCF）会员（E200048998G）,主要研究领域为视频编码、屏幕图像编码. E-mail: zhaoliping_jian@126.com.  林涛(通信作者),  男, 1958年生,  博士,  长江学者特聘教授.  主要研究领域为视频编码、屏幕图像编码. E-mail: lintao@ tongji.edu.cn.  郭靖,  男, 1993年生,  硕士,主要研究领域为屏幕图像编码. E-mail: hpzfbmguo@163.com.周开伦,  男, 1977年生,  博士,  讲师.  主要研究领域为视频编码、超大规模集成电路架构、设计与验证. E-mail: kailun_zh@tongji.edu.cn. In recent years, AVS is developing an AVS2 Screen and Mixed Content Coding (SMCC) extension (AVS2-SMCC). In our previous work, a 4:4:4 format a universal string prediction（USP）algorithm integrated with the tradition 4:2:0 format block prediction and transform coding framework is used to code 4:4:4 format mixed content screen. To fully exploit both local and non-local, both general and special, and both complex and simple matching patterns with  a  variety  of  sizes  and/or  shapes  and/or  positions  in  a  wide  range  of  commonly  seen  screen  content,  a  USP approach and its key technologies with three modes: general string（GS）mode, constrained string 1（CS1）mode, and constrained string 2（CS2）mode are proposed. The three constrained string modes are implemented with one of the three types of strings: offset string, coordinate string, and unpredictable pixel, or its combination of them. When using  USP  algorithm  to  code  a  coding  unit,  one  of  the  three  constrained  modes  which  gets  the  minimum  rate distortion value is selected to code the CU. Experimental results show that, for text and graphics with  motion of AVS2-SMCC  test  sequences,  USP  algorithm  achieves  significantly  improved  coding  efficiency  in  the  All  Intra configuration when compared with the latest HEVC-SCC extension.  In order to further improve the coding efficiency in the Low Delay configuration and reduce the complexity, in this  framework,  according  to  the  inherent  inter-frame  characteristics  of  the  mixed  content  and  the  different characteristics for different inter-sub-coding modes, an optimized inter coding algorithm which consists of a 4:4:4 format  inter-coding  algorithm,  a  content  adaptive  weighted  chroma  distortion  algorithm  for  different inter-sub-coding  modes  and  an  early  terminate  algorithm  for  inter-sub-coding  modes  pre-coding  and  coding  tree unit partition, and a newly inter constrained string 1 mode (the search area of CS1 mode extends to the first frame in the reference picture queue) is proposed. Compared with the reference software RMD1.0 of AVS2-SMCC, for the category of text and graphics with motion in the AVS2-SMCC test sequences, the proposed algorithm achieves the  average BD-rate  reduction  up  to 14.35%,  90.73%  and  88.85%  respectively,  in  lossy  low  delay  configuration, with a nearly 50.86% decrease in encoding runtime and 15.24% increase in decoding runtime. Especially  for  the  video  category  of  text  and  graphics  with  motion,  the  proposed  algorithm  achieves significantly  improved  coding  efficiency  not  only  in  the  All  Intra  configuration  but  also  in  the  Low  Delay configuration when compared with the HEVC-SCC extension . Key words   high  efficiency  video  coding;  audio  video  coding  standard;  screen  mixed  content  coding;  inter coding; fast algorithm. 1  引言 屏 幕 混 合 内 容 编 码 (Screen  Mixed  Content  Coding, SMCC)也称作屏幕图像编码(Screen Content Coding, SCC),是当前云计算、云教育、云游戏、云桌面、屏幕分享、智能手机和平板电脑的第二显示、无线投屏等应用中解决数据传输瓶颈问题中的关键技术[1]-[4]. 屏幕图像是指直接从各类设备的屏幕图像显示单元捕获的视频或图像.与传统视频相比,屏幕图像主要由平滑的、具有丰富纹理的、连续色调的、相机拍摄的自然图像区域和具有尖锐的像素边缘的、不连续色调的、计算机产生的非自然图像区域(如文本、图形、图标和图表等)两部分组成.从视频编码的角度来看,屏幕图像表现出显著不同的特点.这些特点不仅包括其帧内特性,也包括其帧间特性. (1)  帧内特性:一个编码块  (Coding  Unit,  CU)  中不同颜色的数目迥异;图像中存在具有各种各样的形状、大小和相对位置的匹配图样;一帧图像中匹配图样的数目很不相同等. (2)  帧间特性:对于文本、图表等非自然图像或视频区域中,存在着大量的静止区域,这些区域的原始像素与前一帧相同位置的原始像素是完全一致的.而自然图像或视频区域中的静止区域由于自然界中光效的原因导致原始像素和前一帧相同位置的原始像素只是接近的;一般由计算机软件产生的运动是整像素的运动,而由摄像机记录下来的对信号的时域采样产生的自然运动则需要利用分像素插值来得到更精确的运动估计. 针对屏幕图像的这些内在特性，工业界和学术界开展了计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  3  高效的屏幕图像编码标准工作：主要包括由国际电信联盟、国际标准化组织和国际电工委员会三大国际组织联合制定的 HEVC(High Efficiency Video Coding, HEVC)[5]SCC 扩展版[2]-[5]和由我国数字音视频编码技术标准(Audio  Video  Coding Standard,  AVS)工作组制定的第二代 AVS  (简称 AVS2)[6]-[7]标准的屏幕混合内容视频编码 (Screen  and  Mixed  Content Coding, SMCC)扩展版[8]两大标准. 近年来,屏幕混合内容视频编码算法主要针对屏幕图像的帧内特性提出.主流的去除重复样图冗余的主要算法包括 :HEVC  版 或 HEVC-SCC 版 的 标 准 制 定 期 间 提 出SM(String  Matching)[9]、PLT(Palette)[10]-[11]、IBC(Intra  Block Copy)[12]、ILC(Intra  Line  Copy)[13]、P2SM(Pseudo 2D String Matching)[14]和 USM(Universal  String  Matching)算法[15]和AVS2-SMCC 扩展版的标准制定期间提出的对不同屏幕内容特性的区域自适应采用一般串模式、第一受限串模式和第二受限串模式三种受限串模式之一进行编解码的通用串预测算法(Universal String Prediction, USP)[16]-[18].目前,USP 算法对于 AVS2-SMCC 通用测试序列中的移动的文字和图形类别,在编解码复杂度增加较少的情况下,有损全帧内配置下，Y 分量、U 分量、V 分量平均 BD-rate 降低率分别可达 23.2%、18.3%、19.4%,编码效率已超越 HEVC-SCC[18]. 一般情况下,视频序列可看作物体的平滑运动,除了运动的物体和场景变化之外,大部分内容相对于前一帧相同位置是接近静止的.屏幕混合内容也是如此.在低延迟配置(一种含帧间编码的配置)下,如何根据屏幕混合内容的帧间特性消除时域冗余至关重要.文献[19]提出了一种快速的帧间哈希块匹配算法.文献[20]提出了一种带权重的率失真方案,通过降低多次被参考的编码块的编码误差来提高屏幕图像的编码效率.文献[21]提出了低延迟配置下 Diversity-Based 的屏幕图像参考帧管理方案.这些算法都是在 HEVC-SCC 标准中实现的. 本文为了进一步提高 AVS2-SMCC 中含帧间编码低延迟配置的编码效率,在基于 AVS2-SMCC 的 USP 算法基础上,充分考虑了屏幕混合内容的内在帧间特性和不同帧间子模式的特点,做了以下优化工作:1)实现了支持 4:4:4 格式的帧间编解码框架;2)提出了内容自适应的不同帧间子模式色度失真权重因子算法;3)提出了帧间子模式预编码和编码树单元划分的提前终止算法;4)将通用串预测算法的第一受限串的参考位置扩展至参考图像队列中的第一帧,提出了一种新的帧间第一受限串模式;5)对所有各种色度格式的编码模式的编码单元都统一采用 4:4:4 格式的环内滤波,进一步提高了色度分量的编码质量.实验结果表明,与 AVS2-SMCC 参考软件RMD1.0 相比,提出的帧间优化算法(简称 USP_Inter 算法)在编码时间降低 50.86%,同时解码时间增加 15.24%的前提下,低延迟配置的部分序列类别编码效率显著提高.提出的算法基于 AVS2 提案[22]-[23]. 提 出 的 基 于 AVS2 框 架 的 USP_Inter 算 法 与 基 于HEVC-SCC 标准框架的文献[20]和[21]在很大程度上是互相独立,没有重叠部分,不具有竞争性、排他性和对比性,而是互补共赢的.因此,对编码效率的提升也是叠加的,各种方法都能够在其它方法基础上进一步提升编码效率. 2  相关工作及算法提出的动机 2.1 AVS2-SMCC 现状 2016 年底颁布的被列为国家标准的 AVS2 标准,其性能已优于同期 H.265/HEVC  国际标准.尤其是对于场景视频编码,AVS2  标准具有显著优势,能够比 HEVC 节省 40%左右的码率[7]. AVS2 中采用基于块的预测变换编码技术.具体而言,采用了基于四叉树递归划分的块预测编码架构.在 AVS2  中,最大编码单元(largest coding unit, LCU)大小为 64×64,最小编码单元(coding  unit,  CU)大小为 8×8.  AVS2 帧间编码的特色包括:除了传统的 P 帧和 B 帧预测之外,还定义了 F 帧,同时支持单前向和双前向帧间预测,使用跳过/直接(skip/direct)模式、时域多假设预测模式和空域方向性多假设模式等编码技术.帧间模式的预编码的顺序是:支持 2N×2N 和 N×N 划分的skip/direct 子模式、2N×2N、2N×N、N×2N、2N×nU、2N×nD、nL×2N、nR×2N 和 N×N 的预测单元划分子模式和四叉树递归划分的方式,从而进一步提高编码效率.与 HEVC 不同的是,AVS2 的四叉树递归划分的方式是从 8×8 像素递归至64×64 像素的编码单元. 2015 年 8 月份,AVS 正式启动了 AVS2 标准的屏幕混合内容视频编码的制定工作[8].AVS2 仅支持 4:2:0 采样格式的视频编码,而屏幕图像往往具有很多不连续的区域,采用 4:2:0 和4:2:2 采样格式会对色度分量造成较大的损失,特别是分散的线条、渲染的文字等区域可能出现较差的主观质量问题,因此屏幕图像的测试序列是 4:4:4 采样格式的.为了解决该问题和提高屏幕图像的编码效率,文献[17]提出了融合像素串匹配的 AVS2 全色度屏幕与混合内容视频编码算法.在此基础上,文献[18]提出了由一般串模式、第一受限串模式和第二受限串模式三种受限串模式组成的通用串预测算法(USP)及其关键技术. 目前,基于 USP 算法的 AVS2-SMCC 的全帧内配置的性能已基本超过 HEVC-SCC 扩展版,充分表明了 USP 算法能大幅提高屏幕混合内容的帧内编码性能.但是其低延迟 F 帧(Low Delay F, LDF)配置的帧间编码性能有待进一步提升. 在现有集成了 USP 算法的 AVS2-SMCC 框架中,通用串预测模式是采用 YUV4:4:4 格式编码模式,而 AVS2 的帧内和帧间模式只支持 YUV4:2:0 格式.不同模式的色度失真组成不同,从而导致 RDcost 中色度分量的失真计算方式不平衡. 计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  4  表 1 列出了帧内、帧间和 USP 预测模式的色度失真情况.传统的帧内和帧间编码过程中,除了量化失真之外,还有上下采样造成的失真. 表 1 AVS2-SMCC 中不同编码模式失真组成 编码模式  支持采样格式  色度失真组成 通用串预测  YUV4:4:4  量化 帧内预测  YUV4:2:0  上下采样和量化 帧间预测  YUV4:2:0  上下采样和量化 文献[18]通过设置不同的色度失真调节因子使得整体的编码效率进一步提高,对于全帧内编码配置非常有效.但是对于帧间编码效率的提升有限. 图 1 给出了 AVS2-SMCC 标准测试序列之一的 webb 序列(见下表 2)LDF 配置下(配置量化参数为 22)  前 30 帧的编码图像质量和编码模式选择百分比的统计分析结果.从图中我们可以发现: (1)  从图1a)中图像编码质量来看,亮度分量的PSNR能保持与第一帧或者前一个场景变化图像接近.而色度分量的PSNR从第二帧开始便急剧下降,后续帧的编码质量保持在该值 左 右 , 直 到 下 一 个 场 景 变化 的 图 像 ( 由 于 USP 模 式 的YUV4:4:4格式的色度分量由于没有色度上下采样,使得这一帧的U和V分量的PSNR提升,但是由于还是存在30%左右的帧间和帧内模式,色度分量的PSNR提升幅度较小).后续随着选择帧间模式的比例增加到接近100%,相应的色度PSNR保持在一个较低的PSNR值.  a)  图像编码质量 b)  图像编码模式分布 图  1 webb序列前30帧LDF配置编码分析 (2)  从图1b)中图像的编码模式分布来看,第一帧图像选择USP编码模式的比例在90%左右;之后的图像中,选择帧间编码的比例接近100%,一直到第9帧发生场景切换,选择USP和帧内编码模式的比例升高,帧间编码模式的比例降低;随后选择帧间编码的比例再次接近100%. 综合以上发现,AVS2-SMCC框架中LDF配置的帧间编码性能亟需进一步提升的原因主要包括： (1)  一 方 面 , 基 于 YUV4:2:0 的 帧 间 预 测 模 式 对YUV4:4:4的屏幕内容进行低延迟配置的编码时,色度分量的上下采样带来的失真对编码效率影响较大,导致效率不高,因此亟需支持YUV4:4:4的帧间预测编码模式. (2)  另一方面 , 未考虑屏幕内容的内在帧间特性和AVS2-SMCC中不同帧间子编码模式的特点,亟需根据其特点进行帧间编码算法的优化. 2.2  屏幕内容帧间特性和帧间子模式分析 表 2 是 AVS2 屏幕混合内容标准测试序列集[24],包含 13个测试序列,分为三类: (1)  移动的文字和图形(Text and Graphics with Motion, TGM)类别; (2)  含自然视频、不规则纹理或渐变亮度场景的混合内容(Mixed Content, MC)类别; (3)  游戏动画(Game, G)类别. 表 2 AVS2-SMCC 标准测试数据 分辨率  测试序列名称(缩写名)  序列特征  类别     1920x1080     sc_flyingGraphics (flyg)  移动或旋转的图形  TGM sc_desktop (dsk)  桌面常见编辑环境  TGM sc_console (cns)  命令行窗口等  TGM ChineseDocumentEditing (cde) 中文 Word 和 PPT编辑 TGM EnglishDocumentEditing (ede) 英文 Word 和 PPT编辑 TGM ClearTypeSpreadsheet (sps) Excel 使用环境  TGM BitstreamAnalyzer (bsa)  码流分析软件使用  TGM CircuitLayoutPresentation (clp) 集成电路图、版图展示 TGM PeopleInVehicle_Spreadsheet (pvs) 视频播放与 Excel使用 MC   1280x720    sc_web_browsing (webb)  网页浏览  MC sc_programming (prg)  编程及运行环境  MC sc_map (map)  在线地图使用环境  MC sc_robot (rob)  精细渲染的动画  G 计算机学报江省自然科学基金项目（No.LY19F020015）;  国家自然科学基金项目（No.61871289, No.61601200）;  绍兴市公益性技术应用研究计划项目（No.2018C10015）;上海市自然科学基金项目（No.18ZR1440600）资助.  赵利平（通信作者）,  女, 1984年生,  博士,  副教授,  是计算机学会（CCF）会员（E200048998G）,主要研究领域为视频编码、屏幕图像编码. E-mail: zhaoliping_jian@126.com.  林涛(通信作者),  男, 1958年生,  博士,  长江学者特聘教授.  主要研究领域为视频编码、屏幕图像编码. E-mail: lintao@ tongji.edu.cn.  郭靖,  男, 1993年生,  硕士,主要研究领域为屏幕图像编码. E-mail: hpzfbmguo@163.com.周开伦,  男, 1977年生,  博士,  讲师.  主要研究领域为视频编码、超大规模集成电路架构、设计与验证. E-mail: kailun_zh@tongji.edu.cn. 基于通用串预测算法的 AVS2 屏幕混合内容 帧间编码优化  赵利平1),3) 林涛  2) 郭靖2) 周开伦2)  1) (绍兴文理学院计算机科学与工程系  绍兴  312000) 2) (同济大学超大规模集成电路研究所  上海  200092) 3)(嘉兴学院数理与信息工程学院  嘉兴  314000)  摘  要  我国第二代数字音视频编解码技术标准的屏幕与混合内容扩展版(AVS2-SMCC)中,对于全色度屏幕混合内容的编解码采用融合 4:4:4 格式的通用串预测编码算法和传统 4:2:0 格式的块预测、变换编码算法的编解码框架.在此框架中,根据屏幕混合内容的内在帧间特性和不同帧间子模式的特点,对帧间编码算法进行了优化:首先提出了支持 4:4:4 格式的帧间编解码算法;其次,提出了内容自适应的不同帧间子模式色度失真权重因子算法和帧间子模式预编码与编码树单元划分的提前终止算法;最后,提出了一种新的帧间第一受限串模式,即将通用串预测算法的第一受限串的参考位置扩展至参考图像队列中的第一帧.实验结果表明,对于 AVS2-SMCC 标准测试序列中的移动文本和图形类别序列,提出的算法和 AVS2-SMCC 参考软件 RMD1.0 相比,在有损低延迟配置(一种含帧间编码的配置)下,Y、U、V 分量的平均 BD-rate 下降率分别可达 14.35%、90.73%、88.85%,编码时间降低 50.86%,解码时间增加 15.24%. 关键词  高效视频编码;音视频编解码技术标准;屏幕混合内容编码;帧间编码;快速算法 中图法分类号  TP391     Universal String Prediction-Based Inter Coding Algorithm Optimization in AVS2 Mixed Content Coding ZHAO Li-Ping 1),3)   LIN Tao 2)   GUO Jing2)  ZHOU Kai-Lun 2) 1)(Department of Computer Science and Engineering, Shaoxing University, Shaoxing 312000) 2)(Institute of VLSI, Tongji University, Shanghai 200092) 3)(College of Mathematics, Physics and Information Engineering, JiaXing University, JiaXing 314000)  Abstract   With  the  rapid  development  of  technologies  in  networking  and  thin-client  devices,  such  as  remote desktop,  video  conferencing  with  documents  or  slides  sharing,  television  programs  and  many  curriculum  videos playing  in  the  Internet  that  contain  mixtures  of  camera-captured  content  (CC)  and  screen  content  (SC),  efficient screen content coding (SCC) becomes a hot topic in multimedia applications and has attracted increasing researcher attention  from  both  academia  and  industry.  Two  international  video  coding  standards  include  efficient  SCC capability. One is High Efficiency Video Coding (HEVC) and the other is the second-generation of the Audio Video Coding Standard (AVS2). 计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  5  以上测试序列都是 YUV4:4:4 格式,像素样本为 8 比特.其中序列 flyg、dsk、scns、webb、prg、map 和 robot 也是HEVC-SCC 的标准测试序列[25].本文的实验分析中,编码帧数为 30 帧 , 编 码 配 置 为 低 延 迟 F 帧 (LDF), 即 配 置 是IFFFF…  …( 第一帧是 I 帧,后续全是 F 帧),量化参数(Quantization  Parameter,  QP) 为 25 、 32 、 38 和 45. 使用AVS2-SMCC 的参考软件 RMD1.01.对每个序列有损编码配置(4 个 QP)分别进行统计,再求所有序列的平均值. 首先,统计每个测试序列当前帧相对于前一帧的内容的变化情况.图2 给出了当前帧与前一帧相同位置8×8 像素的绝对值差值之和为零块(简记为 zeroSAD8x8 块)的数目占整个图像 8×8 块数目的百分比情况;图 2 也给出了 zeroSAD8x8 块中选择 64×64 划分 CU 的百分比情况(图 2 中折线表示)和zeroSAD8x8 块中选择 F_Skip 编码模式的百分比情况(图 2 中灰色条表示). 从图 2 中可知,除了 flyg 和 rob 序列之外,其余序列的zeroSAD8x8 的比例都在 75%以上,表明大部分帧间编码的图像中至少有 3/4 的区域是完全静止的.除此之外,可以看到选中 64×64 编码块的百分比和选中 F_Skip 编码模式的百分比非常接近 zeroSAD8x8 块的百分比,进一步得出 zeroSAD8x8的块主要是选中 F_Skip 编码模式的 64×64 划分 CU.  图2 zeroSAD8x8和F_Skip子模式、zeroSAD8x8的块中选择64x64划分的百分比 图 3 给出了 F 图像各序列模式分析结果.AVS2-SMCC 中,编码模式主要包括帧内模式(intra 4:2:0)、帧间编码模式(inter 4:2:0)和 USP 编码模式.对于 F 图像,帧间编码模式主要包括F_Skip 子模式、F_Direct 子模式(F_Skip 和 F_Direct 子模式不需要编码运动矢量和参考帧,它们的运动矢量和参考帧都是直接从时域或者空域导出.F_Skip 子模式和 F_Direct 子模式的主要区别在于是否编码残差.)和其余的帧间子模式.从图3 中可知,F 帧的大部分 CU 都是选择帧间 4:2:0 模式中 F_Skip子模式进行编码.F_Skip 子模式编码只需要编码少量的模式信息,无需编码运动矢量和参考帧,从而提高编码效率.其中,F_Skip 子模式中的 F_Skip_Temporal 子类型编码的比特数                                                                1ftp://47.93.196.121//Public/codec/video_codec/AVS2_P2/MCC 最少.根据以上分析,可以得出: (1)  屏幕内容的帧间编码图像中完全静止的区域,选择F_Skip 子模式可进一步提高编码效率. (2)  大部分屏幕内容的帧间编码图像中存在很多完全静止的区域,可通过提前终止算法进一步提高编码速度. 综上,本文在 AVS2-SMCC 扩展版参考软件 RMD1.0 基础上的帧间优化工作正是在这样的背景下提出的.  a) F帧图像各序列帧内、帧间和USP编码模式分析  b) F帧图像各序列帧间编码各子模式分析 图3 F图像各序列模式分析 3  帧间编码算法的优化 3.1  支持 4:4:4 格式帧间编码的 AVS2-SMCC 算法 图 4 给出了支持 4:4:4 格式帧间编码框架的 AVS2-SMCC编解码器(灰色部分是新加的模块).如图 4 所示,支持 4:4:4 格式帧间编码框架主要通过以下方式实现: (1)  增加了 4:4:4 格式的帧间色度参考帧缓冲区,用于保存 4:4:4 格式的色度重建像素; (2)  进行色度帧间 4:4:4 预测(残差由原始 4:4:4 格式的色度像素和4:4:4格式的色度重建像素之差计算得到),预测残差经下采样之后进入传统 AVS2 的帧间残差编码模块; (3)  色度帧间 4:4:4 补偿时,把反量化之后的残差上采样之后与色度帧间 4:4:4 预测值相加得到最终帧间编码的4:4:4 格式的色度重建像素; (4)  将通用串预测算法的第一受限串的参考位置扩展至参考图像队列中的第一帧,提出了一种新的帧间第一受限串模式(见 3.4 节). 本文采用的色度下采样算法是4:2:0格式的色度分量取4:4:4格式中四个像素的色度分量的平均值(四舍五入),而色计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  6  度上采样算法则是重复色度分量四次.在此编解码框架下,除了编码失真之外,依然存在帧内、帧间模式的色度上下采样失真.与文献[18]类似地,不同模式采用不同的色度失真调节因子:LDF配置下帧内预测模式的色度调节因子设置为0.5,通用串预测模式的色度失真权重因子设置为0.7,帧间模式的色度因子设置方案见3.2节.与文献[18]不同的是,为了进一步提高色度分量的图像质量,对所有各种色度格式的编码模式的编码单元,都统一采用4:4:4格式的环内滤波. 支持4:4:4格式帧间编码框架的AVS2-SMCC算法,大幅提高了帧间图像色度分量的编码质量,从而提高了参考图像队列中各个参考帧的图像质量,使得整体的LDF编码配置的编码效率得到大幅提升. . 图 4  支持 4:4:4 格式帧间编码的 AVS2-SMCC 框架 3.2  基于内容自适应的不同帧间子模式色度失真权重因子设置算法 设 m 表示不同编码模式, m S)( 表示编码模式的集合.*m表示当前 CU 选中的模式. m D)( 与 m R)( 分别表示对当前CU 用模式 m 编码获得的失真与比特数.AVS2 中采用基于率失真值(Rate  Distortion  cost,  RDCost)模式选择机制自适应选择最佳编码模式.具体而言,即遍历 m S)( 中所有 m,对当前 CU用模式 m 编码获得 RDcost 值,从中选择最小者作为*m ,见公式(1).       +)(minarg=λ)(*)S(*mmm RD∀mm∈          (1) 其中, λ 表示失真与比特数的权重因子. 在 2.2 节的分析中,大部分屏幕内容的帧间编码图像中存在很多完全静止的区域,对这些完全静止的区域从理论上应该选择 F_Skip 子模式,从而进一步提高编码效率.但是在实际有损编码中,由于重建像素会存在一定的误差,采用基于RDCost 模式选择机制会导致这些区域不一定选中 F_Skip 子模式.因此,充分利用屏幕图像的帧间全局和局部特性,提出了内容自适应的不同帧间子模式色度失真权重因子算法.  图 5给出了 webb 序列前 9 帧 F 图像分类的情况.第 1 个 F 图像(第2 帧)至第第 7 个 F 图像(第 8 帧)都是完全匹配图像,事实,前面8 帧都是完全一样的.第 9 帧为场景切换图像. 定义 1.  完全匹配、基本匹配和场景切换图像 根据 zeroSAD8x8 块的比例,将帧间编码的 F 图像分为完全匹配图像、基本匹配图像、场景切换图像三类,定义如下:    定义 2.  局部静止 LCU 和局部运动 LCU 根据当前编码 LCU 和相邻可用 LCU(左边、右边和上边LCU)的像素值与前一帧相同位置 LCU 和相邻可用 LCU 的像素值是否完全相同,将当前编码 LCU 分为局部静止 LCU 和局部运动LCU.需用一个标志位来记载当前LCU的类别.如果像素值完全相同,当前 LCU 标识为 1(表示局部静止 LCU)，否则标识为 0(表示局部运动 LCU).该标识仅用于编码器端辅助选择出更合适的编码模式,无需写入码流. 定义 3.  不同帧间子模式色度失真权重因子c1wl 、c2wl 、c3wl  根据 AVS2 中不同帧间编码子模式消耗编码比特数从小到多的顺序,将帧间编码子模式分为 F_Skip_Temporal 模式,其他 F_Skip 子模式和其他帧间子模式三类.c1wl 、c2wl 、c3wl 分别定义为 F_Skip_Temporal 模式,其他 F_Skip 子模式和其他帧间子模式对应的色度失真权重因子.  对不同 LCU的屏幕内容进行分类,对不同类别的 LCU(或者 CU)通过设置不同的帧间子模式色度权重因子,使编码比特数更少的F_Skip 子模式更容易被选中,从而进一步提高编码效率.本文的权重因子通过实验尝试法设定。实验结果表明,内容自适应的不同模式色度失真权重因子算法,对 TGM 类别能带来约1.4%的增益. 算法 1 给出了内容自适应的不同编码模式色度失真权重ïîïíì<=>>>=)5.0zeroSAD8x8(,)0.5zeroSAD8x899.0(,)0.99zeroSAD8x8(,块的比例场景切换图像块的比例基本匹配图像块的比例完全匹配图像ififif计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  7  因子算法的伪代码.  算法 1.  内容自适应的不同编码模式色度失真权重因子算法 IF (当前 LCU 为局部静止 LCU) BEGIN       IF(当前帧是完全匹配图像)        c1wl =0.2;c2wl =0.4;c3wl =0.5 ELSE IF (当前帧是基本匹配图像) c1wl =0.3;c2wl =0.4;c3wl =0.5 ELSE  c1wl =0.4;c2wl =0.45;c3wl =0.5 END IF ELSE                 //当前 LCU 为局部运动 LCU BEGIN     IF (当前帧是完全匹配图像) c1wl =0.45;c2wl =0.45;c3wl =0.5 ELSE c1wl =0.5;c2wl =0.5;c3wl =0.5 END ELSE        图 5 webb 序列前 9 帧 F 图像分类结果 3.3  帧间子模式预编码和 LCU 划分的提前终止算法 在帧间子模式预编码和 LCU 划分之前,根据当前编码块内容特性,跳过或不跳过帧间子模式和/或 LCU 划分,进一步提高编码速度. 考虑到 AVS2 的四叉树递归划分的方式是从 8×8 像素递归至 64×64  像素的编码单元.若当前 LCU 为局部静止 LCU,对于完全匹配图像,大部分 CU 的编码模式选择 64×64 划分的F_Skip 子模式编码,因此可以跳过帧间子模式和其他编码模式的预编码以及 8×8、16×16 和 32×32 大小 CU 的递归划分;对于非完全匹配图像,跳过帧间子模式和其他编码模式的预编码,从而大幅减少编码时间. 算法 2 给出了帧间子模式预编码和 LCU 划分的提前终止算法.该提前终止算法能在 TGM 和 MC 类别的测试序列的平均编码效率提升 0.2%的情况下,减少 50%左右的编码时间.  算法 2.  帧间子模式预编码和 LCU 划分的提前终止算法 IF   (当前 LCU 为局部静止 LCU) BEGIN IF(当前帧是完全匹配图像)             跳过 LCU 的递归划分;          跳过除 F_Skip 子模式之外的模式预编码;     ELSE          跳过除 F_Skip 子模式之外的模式预编码; END IF ELSE         当前 LCU 进行正常的递归划分和对每个划分的 CU 进行全部模式的预编码; END ELSE 3.4  帧间第一受限串模式 AVS2 的帧间算法采用分像素精度的运动矢量.对于非自然内容区域(如文本和图表等)的运动一般是整像素精度的,采用分像素精度的运动矢量编码需要消耗更多的比特数. 在 RMD1.0 中,USP 中的第一受限串(Constrained  String 1,CS1)的搜索范围仅局限于当前帧内已重建的区域,根据串的大小,采用混合搜索技术,达到尽快找地最佳参考串的目的；并将当前串与最佳串的运动矢量(整像素精度)写入码流. 本文在帧内 CS1 串基础上,提出了一种新的 CS1 模式.该方案对运动矢量的编码方案采用与帧内 CS1 模式相同的方案,与帧内 CS1 模式不同的是： (1)  搜索范围：帧间第一受限串的的搜索范围扩展至参考图像队列中的第一帧；对于非 I 帧图像,引入语法元素usp_offset_base_flag 来标识 CS1 串的参考串是来自于参考图像队列中的第一帧还是当前帧[26] . (2)  搜索算法：对于非 I 图像来说,首先对参考图像队列中的第一帧的原始像素值根据不同分块大小计算出来的哈希值建立哈希链表(将相同的哈希值链接在一起).哈希值的计算方式采用文献[27]Error!  Reference  source  not  found.中的方式.其次,用同样的哈希值计算方式计算当前编码块的哈希值,从哈希链表中搜索得到匹配的串(块). 帧间 CS1 模式能有 4%左右的编码效率的提升,相比传统的帧间编码有两个优势: (1)  由计算机产生的文本和图表等非自然内容区域产生的运动一般是整像素精度的,因此帧间 CS1 模式采用整像素精度运动矢量比帧间编码模式采用分像素精度的运动矢量编码消耗的比特数更少. 第1帧(I图像) 第2帧(F图像)第3帧(F图像) …第9帧(F图像)完全匹配图像 完全匹配图像 场景切换图像计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  8  (2)  帧间 CS1 模式的搜索范围为参考图像队列中的第一帧的整个范围,搜索的范围比帧间编码的搜索范围更大,能找到更好的匹配串(块). 4  实验结果与分析 4.1  实验配置和相关性能评价指标 本文的实验数据采用表 2 中 13 个 AVS2-SMCC 标准测试序列.采用 AVS2-SMCC 通用测试条件中的标准 LDF 配置[24],和 HEVC-SCC 的标准 LB 配置[25](LDF、LB 配置统一称为 LD 配置).  HEVC-SCC 的量化参数为 22、27、32 和 37; AVS2-SMCC 的量化参数为 25、32、38 和 45.编码帧数为 30帧.本文中的算法及其比较的基准算法包括以下五种: (1)  RD17.0Pseudo444,简称 RDP444:在 AVS2-P2 基准档次的参考软件 RD17.0 基础上，增加了对输入原始 4:4:4 数据的色度下采样和对输出 4:2:0 重构图像的色度上采样,以实现对 YUV4:4:4 序列的编码和解码. (2)  USP: AVS2-SMCC 的参考软件 RMD1.0[26]. (3)  USP_Inter:在 USP 的基础上,实现本文的帧间编码优化算法. (4)  SCM:HEVC-SCC 的参考软件 HM16.18-SCM8.72. (5)  SCM_SCCOff ： SCM 关闭 Intra  Block  Copy、Palette、Adaptive Color Transform 等 SCC 扩展工具. 实验结果从编码效率和复杂度两方面来衡量算法性能. 所有序列的总体编码效率采用 Y、U、V 分量的平均BD-rate[28][29](分别记为 Y-BDrate、U-BDrate、V-BDrate)来衡量。BD-rate 是 HEVC 核心实验中比较两种算法有损编码模式编码效率优劣的客观评价方法：根据比较的两种算法 4 个QP 的比特率（Bit-rate，单位为 kbps）与峰值信噪比（Peak Signal  to  Noise  Ratio，PSNR）数据形成的率失真（Rate Distortion，RD）曲线,对其进行曲线拟合,计算两种算法在相同 PSNR 下比特率的变化情况,最后取平均值得到两种算法编码效率的比较结果.BD-rate 为负值表示相同 PSNR 下比特率降低,编码效率提高.所有序列的总体编码效率同时也采用基于 CPSNR(一种综合的 PSNR 的衡量方法[30],该衡量方法已经被 AVS2 标准采纳)的三分量综合的平均 BD-rate 降低率(用C(CPSNR)表示)来衡量;单个序列的编码效率采用 RD 曲线图来衡量.算法复杂度的比较分别用国际标准制定工作中通用的编、解码运行时间的比值来衡量. 实验平台为双路 CPU(Intel  Xeon  E5-2680  v2)@2.3GHz 20 核,内存为 80GB 的服务器.所有的算法都在相同的环境和同样的命令行窗口数目情况下执行. 图 6 给出了典型屏幕图像 cde 和 pvs 的第一帧图像.  包                                                                2https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-16.18+SCM-8.7/ 含中文 Word 和 PowerPoint 的文档编辑场景的 cde 序列是TGM 类别代表序列;包含视频播放与 Excel 使用的场景的 pvs序列是 MC 代表序列. 4.2  实验结果与分析 表 3 给出了 USP 和 USP_Inter、SCM 和 USP_Inter 两组算法总体编码效率的比较结果. 表 4 给出了两组实验 LD 配置的复杂度比较.  第一组是USP_Inter 与 USP 两者复杂度的比较;  第二组是 USP_Inter算法以 RDP444 为基础的相对复杂度与 SCM 算法以SCM_SCCOff 为 基 础 的 相 对 复 杂 度 进 行 比 较 .  对 于USP_Inter 算法(在 AVS2 的非 SCC 参考平台 RDP444 上添加USP 和 USP_inter 等 SCC 扩展工具)与 SCM 算法（在 HEVC的非 SCC 参考平台 SCM_SCCOff 上添加 Intra Block Copy、Palette、Adaptive Color Transform 等 SCC 扩展工具）的复杂度比较,由于两者的基础平台 RDP444 和 SCM_SCCOff 本来就有复杂度的较大差异（尤其是 LD 配置）,直接将 USP_Inter算法与 SCM 算法进行比较不能体现两者中 SCC 扩展工具的复杂度的差异。因此，本文实验中将 USP_Inter 算法以RDP444 为基础的相对复杂度与 SCM 算法以 SCM_SCCOff为基础的相对复杂度进行比较。 图 7 和图 8 分别给出了 cde 和 pvs 序列的 USP、USP_Inter和 SCM 算法有损 LD 配置编码下的 Y、U、V 分量的 RD 曲线图. 图 9 给出了 webb 序列在量化参数为 22 时,USP_Inter 算法 LDF 配置的前 30 帧的图像质量.   表 3 USP 与 USP_Inter 算法、SCM 与 USP_Inter 算法 LD 配置编码效率两组比较结果(%) 对比算法 测 试序 列类  别 LD 配置 Y -BDrate U -BDrate V -BDrate C (CPSNR) USP VS. USP_Inter TGM  -14.35  -90.73  -88.85  -81.79 MC  -6.28  -99.99  -98.92  -18.26 G  5.20  -77.34  -70.24  -14.36 SCM  VS. USP_Inter TGM  -14.79  -7.03  -7.69  -13.56 MC  -3.53  11.23  8.57  -0.81 G  -10.02  162.19  153.31  3.69 表 4   LD 配置两组实验的复杂度比较(%)   对比算法  编码时间比  解码时间比 第一组实验  USP_Inter/USP  49.14%  115.24% 第二组实验  SCM/SCM_SCCOff  88.98%  100.82% 计算机学报  赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  10  为 14.79%、7.03%、7.69%;对于 TGM 和 MC 序列类别,基于CPSNR 的三分量综合的平均 BD-rate 降低率分别为 13.56%和0.81%. (2)  在 复 杂 度 方 面 , 一 方 面 ( 见 第 一 组 实 验 数据),USP_Inter 能大幅降低 USP 算法的编码时间复杂度(从表 4可知,USP_Inter相比USP,能降低编码时间至49.14%);另一方面(见第二组实验数据),USP_Inter 和 SCM 分别与 AVS2 非 SCC版本和 HEVC 非 SCC 版本相比,编码时间分别减少了 26.84%和 11.02%,可见,USP_inter 比 SCM 有更大的相对编码时间减少百分比的优势.由于 USP_Inter 的环内滤波  (采用 4:4:4 的采样格式)做得比USP(采用4:2:0的采样格式)更全面,解码时间增加了15.24%.USP_Inter较RDP444算法增加的解码复杂度主要原因在于 LDF 配置除了第一帧外都是 F 图像,RDP444 中大多数CU 选中的模式是基于 4:2:0 采样格式的帧间 skip 模式,该模式的解码复杂度很低；而 USP 中选中 4:4:4 的 USP 模式需要处理的 UV 分量数目增加四倍,总像素分量数目增加一倍,导致解码时间增加比较多. (3)  从图像的客观质量来看,USP_Inter 算法的编码质量大幅提高,尤其是色度分量.从图 7 和图 8 中的 RD 曲线可以看出,对于 cde 和 pvs 数据,USP_Inter 较 USP 算法的各分量的PSNR 都有大幅提升,与 SCM 算法相比也有些提升.从图 9 中webb 序列前 30 帧的图像质量分布图与图 1a)中的图像质量分布图可以看出,USP_Inter 算法取得的色度分量 PSNR 有了大幅的提高,并且已经接近亮度分量的 PSNR. (4)  提出的 USP_Inter 算法性能的提升程度与屏幕图像的类别相关.从表 3 中可以看出,与 SCM 相比，对于 TGM 类别的三分量综合的编码效率提升非常显著；对于 M 类别的三分量综合的编码效率稍有提升；而对 G 类别的三分量综合的编码效率却有降低,主要原因包括：a)  USP_Inter 算法是基于AVS2 标准实现的,采用 4:2:0 采样格式的帧内预测算法,对于色度分量同时存在预测误差和上下采样误差,而 SCM 是基于HEVC 标准 RExt 扩展版实现的,色度分量只有预测误差（这是MC 类别和 G 类别 UV 分量平均 BD-rate 较高的原因之一）;b) SCM 中还包括一些其它的技术,比如自适应颜色变换(Adaptive Color  Transform,  ACT) 、 分 量 交 叉 预测 (Cross  Component Prediction,  CCP)等、这些技术对 G 类数据的编码效率的提升（包括 UV 分量）很有帮助.  而 USP_Inter 算法中目前还没有这些技术. 综上,基于 AVS2 标准的 USP_Inter 算法与国际上最新的HEVC-SCC 标准的最新参考软件 SCM8.7 相比,对于 TGM 类别和 MC 类别,全帧内配置和 LD 配置都能获得更好的综合编码效率(USP_Inter 算法对 AI 配置的编码性能几乎没有影响,因此本文仅仅给出 LD 配置的实验结果),同时与其它的基于HEVC-SCC 标准的帧间优化算法[20][21]不具有竞争性，排他性和对比性，而是具有互补和叠加的编码效率提升作用. 5  结论与下一步工作 本文在目前 AVS2-SMCC 扩展版基础上,对 LDF 配置的帧间编码算法做了五项优化工作:1)针对基于 YUV4:2:0 的帧间预测模式对 LDF 配置的编码效率影响比较大的问题,实现了支持 4:4:4 格式的帧间编解码框架;2)考虑到屏幕内容的帧间编码图像中完全静止的区域选择 F_Skip 子模式可进一步提高编码效率,提出了内容自适应的不同帧间子模式色度失真权重因子算法,对完全静止的区域块 F_Skip 子模式采用更小的色度失真权重因子;3)根据大部分屏幕内容的帧间编码图像中存在很多完全静止的区域的特征,提出了帧间子模式预编码和编码树单元划分的提前终止算法；4)根据屏幕内容中很多运动是整像素精度等特征,提出了帧间 CS1 模式;  5)  对所有各种色度格式的编码模式的编码单元，都统一采用 4:4:4 格式的环内滤波.  其中优化工作 1)、2)、4)、5)进一步提高了编码效率，而优化工作 3) 进 一 步 减 少 了 编 码 时 间 复 杂 度 . 因 此 , 优 化 后 的AVS2-SMCC 算法能大幅提高屏幕混合内容的帧间编码效率,特别是对色度分量有大幅的提升,并且减少了编码时间复杂度.优化后的 AVS2-SMCC 算法与 HEVC-SCC 相比,TGM 序列类别和 MC 序列的编码效率在低延迟配置下体现出较大的优势. 下一步的工作包括在下一代 AVS 视频编码标准[31]中继续探索屏幕混合内容视频中帧间编码的运动矢量、残差、参考帧等特点,根据其特点进行编码性能的优化(包括编解码复杂度的优化(比如，在北京大学的开源的 AVS2 高清实时编码器xavs23中实现低复杂度的 USP_Inter 算法))以及对现有通用串预测中的各种受限串进行扩展.同时，探索超低复杂度兼高效的串匹配算法及其应用[32]-[34].  参 考 文 献 [1]  Lin Tao, Zhou Kai-Lun, and Wang Shu-Hui. Cloudlet-screen computing: A  client-server  architecture  with  top  graphics  performance, International  Journal  of  Ad  Hoc  and  Ubiquitous  Computing,  2013, 13(2): 96-108. [2]  Xu Ji-Zheng,  Rajan Joshi,  Robert  A.  Cohen.  Overview  of  the  emerging HEVC  screen  content  coding  extension.  IEEE  Transactions  on  Circuits and Systems for Video Technology, 2016, 26(1): 50-62. [3]  W. Peng, F. Walls, R. Cohen, et al. Overview of Screen Content Video Coding  Technologies,  Standards,  and  Beyond.  IEEE  Journal  on Emerging  and  Selected  Topics  in  Circuits  and  Systems,  2016,  6(4): 339-408.  [4]  Liu  Dan,  Chen  Gui-Sheng,  Song  Chuan-Ming.  Research  Advances  in Screen  Content  Coding  Methods.  Journal  of  Computer  Research  and Development. 2017,54(9): 2059-2076                                                                 3  http://www.avs.org.cn/news/readnews.asp?id=168 计算机学报 赵利平等：基于通用串预测算法的 AVS2 屏幕混合内容帧间编码优化  9  USP_Inter/RDP444  73.16%  251.84%         a) TGM  代表序列cde序列第1帧                                       b) MC代表序列pvs序列第1帧 图 6  典型的屏幕混合内容序列          a) Y分量RD曲线图                    b)U分量RD曲线图                    c) V分量RD曲线图 图7 TGM代表序列cde序列有损LD配置下的RD曲线图      a) Y分量RD曲线图                       b)U分量RD曲线图                    c) V分量RD曲线图 图8 MC代表序列pvs序列有损LD配置下的RD曲线图  图9 webb序列前30帧的图像质量分布图 根据以上实验结果,可以得出以下结论: (1)  从编码效率来看,USP_Inter 算法平均编码效率大幅提升,尤其是色度分量.从表 3 中可知,USP_Inter 算法较 USP 算法平均编码效率提升明显:对于 TGM 序列类别,LD 配置下 Y、U、V 分量平均 BD-rate 降低率分别为 14.35%、90.73%、88.85%，UV 色度分量编码效率提升更显著的主要原因在于支持 4:4:4采样格式帧间编码框架消除了 USP 算法中4:2:0 采样格式帧间预测模式色度分量的上下采样误差，进一步提高了色度分量的编码和参考质量;USP_Inter 算法较 SCM 算法相比:  对于 TGM序列类别,LD 配置下 Y、U、V 分量平均 BD-rate 降低率分别计算机学报