欢迎访问一起赢论文辅导网
EI期刊论文
当前位置:首页 > EI期刊论文
可计算图像复杂度评价方法综述
来源:一起赢论文网     日期:2020-10-10     浏览数:3797     【 字体:

  期年 月电 报收稿日期: ; 修回日期: ; 责任编辑: 李勇锋基金项目: 国家自然科学基金( , , ) ; 国家科技部重点研发计划: 重点专项课题( )郭小英,,李文书,钱宇华,白茹意,贾春花( 山西大学软件学院,山西太原 ; 浙江理工大学信息学院,浙江杭州 ;山西大学大数据科学与产业研究院,山西大学计算智能与中文信息处理教育部重点实验室,山西太原 )摘 要: 可计算的图像复杂度评价是让计算机模拟人类视觉感知,从而对图像视觉复杂度进行决策的研究,该研究属于多学科交叉的创新性研究课题,在图像工程领域具有重要意义本文针对可计算的图像复杂度评价方法进行了全面的梳理和分析,文中首先回顾了图像复杂度的应用领域,并详细阐述了图像复杂度评价方法,从信息论图像压缩理论图像特征分析眼动数据等方面进行总结; 随后,着重阐述基于图像特征的图像复杂度评价方法中所使用的图像特征; 归纳图像复杂度建模中的分类和回归问题; 最后,总结当前图像视觉复杂度评价方法存在的问题和挑战,展望图像复杂度的计算化发展方向关键词: 视觉复杂度; 情感感知; 复杂度评价; 特征提取; 分类与回归中图分类号: 文献标识码: 文章编号: ( )电子学报 : : :,, , , ,( , , , , ;, , , , ;,, , , , ):,, ,,,: ; ; ; ;引言图像复杂度是指图像内在复杂程度的描述 近年来,研究人员提出了可计算图像复杂度 () 的 概 念[],旨 在 让 计 算 机 模 拟 人类视觉 感 知,从 而 对 图 像 复 杂 度 感 知 进 行 量 化 的 研究[,],该研究属于情感计算[]的一部分纵观前人对图像复杂度评价方法的总结,高振宇[]和周兵[]等从复杂度定义及组成论的角度出发对传统复杂度的描述方法进行讨论,指出其局限和不足然而,随着图像数据的迅猛增长和机器学习算法的不断改进,近年来,图像复杂度的评价方法主要是基于图像特征组合和机器学习的方法来构造复杂度模型的[],因此,急需补充综述相关图像复杂度评价方法电 子 学 报 年图像复杂度应用领域图像复杂度的研究涉及计算机学科 心理学认知学美学等学科领域,是多学科融合交叉的前沿研究课题,对图像工程等各应用领域具有非常重要的意义( ) 图像复杂度可用于图像版权保护领域 数字水印技术是图像版权保护的一种重要手段[]目前,数字水印技术在数字水印嵌入区域和嵌入强度( 容量) 的问题上,仍然缺乏量化指标然而,图像复杂度可作为解决以上问题的一个评价指标,一方面,为水印技术选择合适的嵌入水 印 的 区 域; 另一方面是图像嵌入水印容量的重要指标( ) 图像复杂度可以用于图像分类与分析算法性能的评估[,]( ) 图像复杂度可以反映出对图像进行某些操作的困难程度,如图像压缩[]和图像分割[]此外,图像复杂度还可反映出图像目标识别或提取过程中所面临的复杂场景变化的困难程度[,]( ) 图像复杂度可应用到融合主观感知的基于语义( 或情感) 的图像检索图像复杂度可用来描述图像之间的相似度[],并将其应用于图像检索中( ) 图像复杂度是衡量图像美学价值的一个重要度量[],被认为是高度相关的审美因素之一,对评估图像的美学价值有非常重要的意义[]因此,可以应用到网页复杂度 评 价[]产 品 的 设 计 与 欣 赏[]等 方 面,具有关键性的指导作用综 上 所 述,图像复杂度的内涵体现在三方面[]:作为一种评价指标,反映图像水印技术图像压缩和图像分割的困难程度; 作为一种图像特征,用于图像分类与检索; 作为一种图像视觉感知情感,用于图像认知与美学计算的研究可计算图像复杂度研究在计算 机 相 关 领 域,研究者们通过不同的量化方法对图像复杂度进行量化研究信息论与图像复杂度香农理论( ) 出现后,信息论中熵的概念已成为 量 化 图 像 复 杂 度 的 一 种 主 流 方 法信 息 熵的提出解决 了 对 信 息 的 量 化 度 量 的 问 题,图 像 的 熵 反映了图像中平均信息内容的多少 图像的一维熵[]只可以统计图 像 灰 度 分 布 的 聚 集 特 征,却不能从空间特征上反映图像的灰度分布,因此,扩展出了图像二维熵的计算,图像二维熵不仅反映了图像中像素的灰度信息,更能体现像素邻域内灰度分布的空间特征此外,众多文 献 还 对 图 像 熵 的 算 法 进 行 了 不 断 的改进文献[]提出了基于加权信息熵的图像复杂度计算方法文献[]提出了结合信息熵和灰度对比度的方法来量化图像复杂度 等[]提出了一种基于平均信息增益( ) 的复杂度计算方法,并将这种计算方法应用到二维图像上图像压缩率与图像复杂度图像的压缩文件大小被认为是最简单直接的图像复杂 度 计 算 方 法,在[]和 等[]的 研 究中,图像的 压缩文件的大小和 文件大小分别被证实与人的视觉复杂度感知高度相关 等[]研究了眼动行 为 和 图 像 复 杂 度 感 知 的 关 系,通 过 眼 动 数据视觉注视模式提取视觉显著性区域,实验结果表明,与整幅图像 的 压 缩 率 相 比,显 著 性 区 域 的压缩率能更 准 确 反 映 图 像 的 视 觉 复 杂 度 和[]采用 图像压缩率来衡量图像复杂度,实验结果表明 压缩率与主观图像复杂度感知正相关图像特征组合与图像复杂度随着图像分析和机器学习方法的不断提升,基 于图像特征的 视 觉 复 杂 度 分 类 和 回 归,成 为 图 像 复 杂 度可计算化实现的主要方法针对灰度纹理和彩色图像,研究者采用 不 同 的 特 征 组 合 来 量 化 评 价 图 像 复 杂 度图 体现了基于图像特征的视觉复杂度评价模型,其中图像视觉复杂度评价方法中的图像特征描述将在第节进行详细的阐述,建模方法将在第 节进行描述其他图像复杂度研究分形维数反映了复杂形体不规则的度量,也 是 用来计算图像复杂度的一种方法[]此外,四叉树也可以用来评估图像的复杂度[]视觉相似性 和 熟 悉 度 可 用 来 反 映 图 像 的 复 杂 度,文献[]提出了一种基于视觉相似度的 图形复杂度计算方法视 觉 熟 悉 度 在 感 知 过 程 中 降 低 了 图 像 的第 期 郭小英: 可计算图像复杂度评价方法综述复杂度[],越熟悉的事物,复杂度越低近年来,研究者们逐步借助眼动仪等认知领域的研究工具和手段,分析和探讨影响视觉复杂度感知的因素以及 视 觉 复 杂 度 对 认 知 方 面 的 影 响 研 究 者等[]提出了一种基于用户的神经电生理信号的界面视觉复杂性评价方法,该方法将用户的生理信号形成热点图,以可视化的方式指导界面设计人员和研究人员文献[]从认知分层角度对图像复杂度进行研究,文中以常见的地铁交通信息图为研究对象,基于由浅入深的认知加工次序,对地铁信息图像的复杂度进行了研究图像复杂度数据库图像复杂度的研究离不开具有复杂度标注信息的图像库,目前,公开的图像复杂度数据库较少,且一些标注的图像库中包含数量不多的图像,表 汇总了部分图像复杂度标注数据库除表 中列出的部分图像复杂度标注数据库外,其他研究者[]也采用一公开的图像 美学标注数据 库 来 替 代 图 像 复 杂 度 标 注 数 据 库,如数 据 库[]和 ( )数据库[]等表 图像复杂度标注数据库汇总文献 介绍复杂度等级量化来源[] 张室内场景图 级 未公开[] 张抽象派和具象派艺术作品 级 未公开[] 收集了 幅吴冠中水墨画图像的复杂度评分,其中 张是抽象水墨画图像 级 未公开[,]从 数据库[]选取 张包含不同场景( 外景人脸建筑等) 的缩略图,收集了实验者对彩色图像和灰度图像的复杂度评分[ ]数据库::[]收集了 张油画图像的复杂度评分,其中 张油画图像选自[],张油画图像选自 数据库[], 张油画图像选自[]级 :[] 张黑白抽象模式图像 级 未公开[] 张网页图像 级 未公开[] 张网络地图 级 未公开[]张包含七种类型的图像,包含 张场景图像 张广告图像 张图表等可视化图像 张特定对象的图像 张室内设计图 张艺术图张至上主义图像( 至上主义的传达抽象形式的各种几何形状和对象) )[ ]:图像特征描述颜色特征色彩空间常用的颜色 色 彩 模 型 有: 和色彩模型等 等[]将图像从 空间转换成空间,提取了全局和局部 特征 等[]基于 空间计算了色相角色相偏度色相组成饱和度和亮度等 共 维图像特征进行图像复杂度建模等[]提出了基于像素在 颜色模式下的最大梯度算法的图像复杂度评价方法颜色复杂度颜色复杂度( ) 或者颜色的差异对于视觉感知非常敏感 等[]提出了一种基于局部区域的颜色复杂度计算方法色彩和谐模式和谐的色彩能给人较强的精神享受日本学者[]总结了 种反映和谐色彩的色相分布模式这些模式已经被用于绘画图像色彩和谐和美学评价上文献[]研究了图像美学评价方法,文中通过对油画图像色彩和谐模式进行分析,找到 与 油 画 主 题 色 彩 相匹配的色彩和谐模式内容特征边缘特征众多研究[,]认为图像复杂度和图像内容( 客 观存在的物体线条组成元素等) 有关,图像 内 容 越 多,图像越复杂; 而反映这些内容特征 最 直 接 的 方 式 就 是边缘特征,边缘信息 越 多,反 映 图 像 杂 乱 程 度 越 高 边缘特征通常是将图像先进行边缘提取,再 计 算 边 缘 交叉的点数边缘密度等文献[]指出油画图像中的边缘分布特征反映了作者在构图过程的想法,从 而 对 图像美学感知起到很关键的作用,在文中,作者提取了图像的边缘分布特征,通过计算边缘 边 界 框 面 积 比 例 来分析图像的边缘特征视觉显著性特征我们在注意 一 幅 图 像 时,虽 然 并 非 对 图 像 的 所 有电 子 学 报 年信息进行理解与分析,但首先进入视觉系统的是图像的全局特征( ) ,其次是选择性地对图像的局部 区 域 特 征( ) 进 行 深 度 理 解,特 别地,视觉感兴趣区域的特征尤其吸引视觉注意力等[]研究了眼动行为和图像复杂度感知的关系,通过眼动数据视觉注视模式提取视觉 显 著 性 区 域,实 验 结果表明,显著性区域是可以作为图像复杂度评价指标此外,图像复杂度与图像显著性区域的大小 分割区域的多少和分割后最大区域面积[]等都有关系纹理特征图像的视觉复杂度还受到纹理特征等其他特征的影响[],常用的纹理特征提取方法有灰度共生矩阵[]纹理特征等文献[]利用灰度共生矩阵的熵值( 图像 所 包 含 的 信 息 量) 来 描 述 图 像 复 杂 度; 文 献[]在采用 纹理特征中的规整度和方向度特征参数的基础上,提出了基于密度粗糙度和熟悉度等共 个特征来描述图像复杂度此外,小波变换[]在基于图像复杂度的信息隐写方面较为常用其他特征绘画图像的视觉复杂度感知分析成为近年来研究热点[,, ],下面针对绘画图像特有的特征( 笔触和留白特征) 进行详细的阐述笔触特征笔触( ) ,即画家在绘画中用笔的手法或者痕迹,是绘画图像中一个非常重要的可视化表征画家在作画时,不同的心境和情感 使 得 作 者 在 下 笔 时力度的轻重急缓程度不同,造就不同的笔触艺术表现力,体现了不同画家的艺术风格 目前对绘画作品笔触的研究已有不少[ ],但主要集中在国内外一些大师的绘画作品上,譬如梵高的作品吴冠中的作品等留白特征绘画图像的留白特征主要体现在中国的绘画图像上[],是一种常用的构图方法绘画者通过对留白的巧妙运用,使绘画具有 虚实相生的 艺 术 境 界,产 生 视觉上的层次感和空间的想象力 和[]研究了我国当代著名油画家吴冠中的绘画,对 其 代 表画作中的留白进行研究,实验结果表明,中国绘画中的留白并不单单是一个空白,它 能 达 到 此 时 无 声 胜 有声的艺术感染力图像复杂度建模方法描述人类可以将图像的特征进行组合从而感知出图像的复杂程度,那么计算机如何组织图像特征从而做出与人的视觉感知相似的选择? 答案就是需要建立一个映射过程,实现计算机从图像特征到视觉复杂度之间的映射研究包含两个方面: 一依据图像特征进行视觉复杂度等级分类; 二依据图像特征进行视觉复杂度分值预测文中对已有图像复杂度分类回归方法进行总结,见表表 可计算图像复杂度分类回归方法文献研究图像复杂度建模方法特点优点 缺点文献基于分类的方法支持向量机在小样本训练集上效果较好; 可解决非线性问题; 无局部极小值问题; 可以很好的解决高维数据集问题; 具有优秀的泛化能力对于核函数的高维映射解释力不强,尤其 是径向基函数; 对缺失数据敏感; 调 参 麻 烦,核函数难选难调[]聚类聚类是一种无监督学习任务,根据样本数据点的特征将具有相同特征的样本聚集在一组集群的中心点不容易确定,需手动指定集 群数量; 如果样本数据的真实集群并不是类球状的,那么聚类效果较差[]随机森林可以处理高维数据; 模型的泛化能力较强,训练模型时速度快,成并行化方式,即树之 间 相 互 独 立; 最 终 训 练结果,可以对特征排序,选择比较重要的特征; 随 机 森林有袋外数据( ) ,因此不需要单独划分交叉验证集; 对缺失值异常值不敏感; 模型训练结果准确度高当数据噪声比较大时,会产生过拟合现象; 对有不同取值的属性的数据,取值划分较多 的属性,会对随机森林产生更大的影响[]神经网络具有较强的学习能力; 对噪声数据鲁棒性和容错性较强; 自适应 能 力 强; 有 联 想 能 力,能适应任何非线性关系神经网络参数( 权值和阈值) 较多; 是一个黑盒过程,不 能 观 察 中 间 结 果; 学 习 过 程 比 较长,有可能陷入局部极小值[,]深度学习深度学习与传统的方法相比,在图像音频和文本等数据的分析和解释性能上有很大的提升,并在新数据中,使用反向传播算法更新模型参数; 深度学习具有较多的层级结构,能够解决不同的问题,并且隐藏层也减少了算法对特征工程的依赖不适合作为通用目的的算法,因为需要海 量的数据; 是 一 个 黑 盒 过 程,不能观察中间结果; 需要更富经验的人进行调参( 即设置架构和超参数) 以减少训练时间; 需要较高的硬件支持[,]第 期 郭小英: 可计算图像复杂度评价方法综述续表图像复杂度建模方法特点优点 缺点文献基于回归的方法线性回归建模快速简单,特别适用于要建模的关系不是非常复杂且数据量不大的情况; 有直观的理解和解释线性回归对异常值非常敏感; 只能拟合线 性关系的数据[]随机森林回归随机森林是决策树的集成算法,分别训练一系列的决策树,所以训练过程是并行的; 回 归 问 题 中,随 机 森 林的输出结果为所有决策树输出的平均值在解决回归问题时,随机森林不能给出一个连续的输出; 此外,随机森林不能够做出超越训练集数据范围的预测,可能导致在对某些有 特 定 噪 声 的 数 据 进 行 建 模 时 出 现 过 度拟合[]总结与展望总结目前已经建立了基于信息理论 图像压缩率图像特征组合和借助其他获取生理数据仪器的图像复杂度评价方法,许多方法已经得到了广泛的应用,但仍有诸多问题需要解决本文对图像复杂度评价方法的优势和缺点进行总结,见表 所示表 各复杂度评价方法存在的优势和缺点图像复杂度评价方法优势 缺点基于信息理论统计图像灰度特征;易理解; 操作简单没有从人眼视觉复杂度感知机理出发,也没有充分考虑视觉对与颜色空间等信息的加工和处理基于图像压缩率图像压缩文 件 大 小 可以直观地反 映 图 像 复杂程 度,其 计 算 方 法也比较简单无法从空间或者组成论的角度直观地解释造成图像简单与复杂的原因,更难以很好地解释为什么一些图像看起来更复杂基于图像特征组合特 征 提 取 的 方 法 较多; 可全面提取对复杂 度 有 影 响 的 图 像特征易忽略了其他因素( 不同尺度 的 特 征 整 体 和 局 部 特征视觉 感 兴 趣 区 域 特 征)对视觉复杂度的影响此外,图像复杂度数据库存在很大的问题和挑战,现有图像复杂度标注数据库非常 少,而且能公开使用的图像复杂度数据库少之又少 文献中所用的数据大多是作者自己搜集的,常通过传统的数据库标注方式( 主要分为实验室内的人工打分实验和在线图像分享打分) 进 行 数 据 标 注,然 而 这 些 方 法 存 在 样 本 相 对 较少参与人数有限难以控制认知差异等缺陷展望与人类图像 复 杂 度 感 知 相 比,可计算图像复杂度还未出现准确的可量化解释,因为图像复杂度的评价除了具备一 定 的 客 观 性之 外,还 具 有 很 强 的 主 观性,且评价方式也存在不同的形式,或 论简 单复杂,或论复杂度数值评分 ,或直接给出复杂度语言评价综上分析,结合 计 算 机 视 觉 技 术 的 不 断 发 展,未来图像复杂度的评价方法在以下几个方面有待进一步发展图像复杂度评价方法性能的提升计算机在图像视觉感知( 如美学感知复杂度感知等) 和创造美学感知等方面的能力还未取得长足的进步,与人类的感知能 力 还 有 较 大 差 距,因 此,在 图 像 复杂度评价方法性能提升方面,需进一步研究:( ) 新的图像属性的提出从人类感知 复 杂 度 的 内 在 机 理 出 发,提 取 新 的 影响图像复杂度感知的图像属性,如 基 于 人 眼 视 觉 的 图像视觉新属性( 如对称特性等) 和感知新属性( 如熟悉程度等) ,这些属性的提出将更加有助于图像视觉复杂度的评价和量化( ) 与眼动脑电技术等的结合与眼动跟踪技术相结合,通过实验发现图像复杂度与视觉注视之间的关联,进而尝试将图像情感( 复杂度等情感) 这些难以量化的情感因素进行客观的描述; 进一步与脑电技术等关联,探讨除眼动数据之外其他生理信号( 如脑电波信号) 与图像视觉情感之间的一些关联( ) 基于深度学习算法进行改进,构造可解释模型目前深度神经网络是计算机视觉主流的技术手段,其性能大大超越了传统的基于 手 工 设 计 特 征 的 方法,然而深度神经网络学习的特征可解释性较差,难以解释图像视觉复杂度感知机制,因此,需要对深度学习方法进行改进,打开深度学习特征的黑匣子,提升预测图像复杂度的性能并提升复杂度情感在其他视觉情感中的应用图像复杂度数据集的扩大与图像识别等其他计算机视觉领域内的研究任务相比,图像复杂度数据标注的任务难度较大,整体数据规模都十分有限,且目前极少数的 公 开 图 像 数 据 库 属于西方国家,这对于东方国家的研究极为不利,应在规电 子 学 报 年模上不断扩大,建立我们自己的图像复杂度数据库,可借鉴国外图像标注的有利工具,采用众包() 的方式通过大量用户对数据库图像进行标注,目前较为主流和常用的标注平台有: 亚马逊土耳其机器人( ) 和百度的众测平台等图像复杂度任务输出的多样化传统的对图像复杂度任务的输出主要集中在图像复杂度等级的评价和复杂度分数 的 预 测,未 来 随 着 计算机感知能力的逐步提升,将对图像复杂度评价模型的输出任务提出了多样化的要 求,输出的可能会是图像复杂度分布影像因素乃至语言描述等参考文献[] , , , ,, ,: [], ,( ) :[] , ,[][] ,[] , , ,[]( ) [ ],[] [] ,: ,[]高振宇,杨晓梅,龚剑明,金海图像复杂度描述方法研究[]中国图形图像学报, ,( ) :, , ,[] , ,( ) :( )[]周兵,刘玉霞,杨欣欣,刘扬图像复杂度研究综述[]计算机科学, ,( ) :, , ,[], ,( ) : ( )[] , ,:[][] ,[] ,[] ,, :[] , ,[], ,( ) :[] , , ,:[] ::[] ,,[] ,[], ,( ) :[]王海峰,章怡,蒋益锋基于图像复杂度曲线拟合的快速图像 分 割 方 法[]计 算 机 科 学, ,( ) :, ,[] , ,( ) : ( )[] , ,[], , :[]乔立永,徐立新,高敏红外目标识别图像复杂度度量方法综述[]红外技术, ,( ) :, ,[], ,( ) : ( )[] ,,[]: [],[] ,[], ,( ) :[]王 伟 凝,蚁 静 缄,贺 前 华可计算图像美学研究进展[]中国图形图象学报, ,( ) :, ,[], ,( ) : ( )[]王求真,曹仔科,马庆国认知负荷视角下不同复杂度购物网站的 眼 动 研 究[]信 息 系 统 学 报, ,:, ,[], ,: ()[] , ,第 期 郭小英: 可计算图像复杂度评价方法综述:[] , ,( ) :[] , ,[], ,( ) :[] , , ,[] , ,( ) :[] , , ,[] ,,( ) :[] , ,[], ,( ) :[][] , ,( ) :[] ,[], :[] , ,[][] ,[] ,:[] , ,:[] , , ,, :[]( : ) , ,( ) :[] , , ,[] ,,( ) :[] , , ,, ,[] ::[]张晶,薛澄岐,沈张帆,王海燕,周蕾,等基于认知分层的图像复杂度研究[]东南大学学报( 自然科学版) ,,( ) :, , ,, ,[]( ) , ,( ) :( )[] , , ,[][] ,[] , , ,:[], ,( ) :[] , , ,[ ] :,[] , , , ,? []( )[] , ,[] , , ,[] , ,:[] [ ] : ,[] [ ] :,[] , , ,, [][] ,[] ,: [], ,( ) :[] ,[]:[] ,[] , ,:[], ,( ) :[] , , :, []:[] , , :[]( ) [ ] ,[] , , ,电 子 学 报 年[] , ,( ) :[] , , , ,[] , ,( ) :[] ,[] [] ,[] [] ,[] , , ,[] ,, ,( ) :[] , , ,[] , ,( ) :[]董学枢基于双正交小波变换和图像复杂度的水印算法[]微型机与应用, ,( ) :[] , ,( ) : ( )[] , , ,[] [], , :[] , ,[][] ,[] , ,:[], ,( ) :[] , , ,[] , ,:[][],[] , ,[] ,,( ) :[] , :[] , ,( ) :作者简介郭小英 女, 年 月出生于山西原平年于日本广岛大学取得博士学位,现 为 山西大学软件学院副教授硕士生导师,从事图像分析与视觉感知情感计算眼动追踪等研究:李文书 男, 年 月出生于黑龙江于浙江大学取 得 博 士 学 位,现 为 浙 江 理 工 大 学 信息学院教授硕士生导师,主要研究方向为图像处理认知建模:

[返回]
上一篇:移动互联网时代企业商业模式_价值_省略__基于瑞幸咖啡财务造假的案例分析_张新民
下一篇:概念的渐进式认知理论与方法