第 期年 月电 子 学 报收稿日期: ; 修回日期: ; 责任编辑: 孙瑶基金项目: 国家自然科学基金( ， ) ; 教育部人文社会科学研究规划基金项目( ) ; 江西省自然科学基金( ) ; 江西省科技厅重点研发计划( ， ) ; 江西省教育厅科技项目( )基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注张红斌，蒋子良，熊其鹏，武晋鹏，邬任重，袁 天，姬东鸿( 华东交通大学软件学院，江西南昌 ; 华东交通大学信息工程学院，江西南昌 ;武汉大学国家网络安全学院，湖北武汉 )摘 要: 图像属性标注是一种更细化的图像标注，它能缩小认知与特征间语义鸿沟 现有研究多基于单特征且未挖掘属性蕴含的深层语义，故无法准确刻画图像内容改进有效区域基因选择算法融合图像特征，并设计迁移学习策略，实现材质属性标注; 基于判别相关分析挖掘特征间跨模态语义，以改进相对属性模型，标注材质属性蕴含的深层语义实用属性实 验 表 明: 材质属性标注精准度达 ，较最强基线提升 ; 实用属性标注精准度达，较最强基线提升 ; 层次化的标注结果能全面刻画图像内容关键词: 图像标注; 有效区域基因选择; 相对属性; 迁移学习; 跨模态语义; 判别相关分析中图分类号: 文献标识码: 文章编号: ( )电子学报 : : :， ， ， ，， ，( ， ， ， ， ;， ， ， ， ;， ， ， ， ):，( ): ，，: ; ; ; ;;引言图像属 性 标 注 是 一 种 更 细 化 的 图 像 标 注，它 更 贴近人类客观认知，能细致全面地描绘图像内容近 年 来，图 像 属 性 标 注 已 成 为 机 器 视 觉 领 域 的研 究 热 点如 基 于 鼻 眼口 等 属 性 的 人 脸 识 别［，］第 期 张红斌: 基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注基于属性标注实现迁移学习［，］基 于 属 性 标 注 的 零样 本 学 习［，］面 向 用 户 需 求 的 图 像 检 索［］基 于 属性 标 注 的 时 尚 趋 势 检 索［］等上 述 工 作［ ］仅 提 取单 一 特 征，且 多 聚 焦 二 元 属 性( ， )标 注，即 图 像 中 是 否 包 含 相 关 属 性( 表 示 包 含，表 示 不 包 含) 相 对 属 性 ( ，)［ ］是 对 传 统 二 元 属 性 的 改 进，它 着 力 度 量 属性 程 度因 此，相对属性蕴含更丰富的语义信息，能改善人机交互体验不同于现 有 工 作［ ］，本 文 关 注 图 像 材 质 属 性 及其所蕴含的实用属性( 防水性透 气 性 等它 们 来 自 生活，故称实用属性) 标注: 建立材质属性数据集和相对属性数据集 ，构 建 材 质 属 性 与 相 对 属性间的映射关系; 提取局部二值模式(， ) 尺 度 不 变 特 征 变 换(， ) 卷 积 神 经 网 络()［］等特征，多角度刻画图像; 设计新的特征融合算法［，］，完成图像材质属性标注; 挖掘特征间跨模态语义，以改进相对属性模型，标注实用属性，向人们提供高质量的人机交互体验研究方法图像材质属性标注方案模型包括: 构建新数据集图像特征学习特征中融合实用属性标注及迁移学习等 设计如图 所示图像材质属性标注方案从网站 :抓取图像，在材料学专家指导下对数据做去噪 筛选标注，建立图像材质属性数据集 从形状纹理等角度提取传统图像特征: 基于 ()［］模型提取图像深度学习特征:( 维度 ) ( 维度 ) 改进有效区域基因 选 择( ，)［，］算法，完成特征中融合，生成材质属性标注模型基于判别相关分析(， )［］模型挖掘异构特征间的跨模态语义，综合属性映射表与跨模态语义改进 模型［］，完成实用属性标注构造两类迁移学习策略: 迁移异类数据中的有效样本，扩展训练集; 迁移训练好的中融合模型对比两类迁移学习策略的优劣改进 模型实现特征中融合模型［，］利用区间估计评估每个 特 征 在 每一类样本上的有效范围: 根据特征在异类样本间的重叠 区 域，计 算 特 征 区 分 能 力，生 成 特 征 权 重 原模型［］选取权重最大的特征而放弃其它特征，未充分利用特征间互补性，会影响标注性能本文对 模型做改进: 在特征评估基础 上，设 计 一 个 决 策 函 数，由所有特征共同决定最终标注 数据集 { ( ，) ，， ， ，，，} 为 特 征 数，为 样 本数， { ，，，} 为 类 标 签 集 合，特 征 集 { ，，，} 图 像 特 征 ，在 类样本上有效范围如下:［，］［ ( ) ， ( ) ］ ( )和 分别表示特征 在 类样本上有效范围的上界和下界; 和 分别表示特征 在 类样本上的平均值和标准偏差; 为 类样本的先验概率( ) ，( ) 因子可降低标准偏差 对特征有效范围上下边界的影响; 是通过切比雪夫不等式( 式( ) ) 推导的常量，即( ) ( )基于改进的 模型的特征中融合如下:第 步 计算 在 类样本上有效范围第 步 计算 的重叠区域 :( ，) ( )( ，)，，{( )第 步 计算 的重叠区域系数 :( ) ( )( )第 步 计算特征的 权重 :( : )( )第 步 设计决策函数基于 模型输出各类别预估概率，根据 权重 对特征的预估概率加权，取最大值生成融合结果决策函数如下:( ) { ( : ) } ( )基于跨模态语义的实用属性标注基于 模型挖掘特征间蕴含的跨模态语义，改进传统相对属性模型［］，完成实用属性标注相对属性是从材质属性中挖掘出的深层语义: 防水性透气性柔软性可水洗性及耐磨性它们贴近人类客观认知，实用价值更大首先，对实用属性程度进行划分，进而构建材质属性与实用属性间的映射关系，如表 所示电 子 学 报 年表 材质属性与实用属性之间的映射关系材质属性二元映射关系 相对映射关系防水性 透气性 柔软性 水洗性 耐磨性 防水性 透气性 柔软性 水洗性 耐磨性( 皮革)( 帆布)( 涤纶)( 尼龙)如表 所示: 在二元映射关系中，属性描述为 或例如，防水性标记为，表示 具有防水性在相对映射关 系 中，针 对 某 材 质 的 实 用 属 性 ，标 记 数 值 越大，则该材质对应的实用属性程度越高，最高程度值为如 的透气性标记为，即它的透气性最好综上，无论是二元映射关系还是相对映射关系，它们刻画材质属性与实用属性间的语义关 联，有助于人们更全面地认知材质属性在进行相对属性排序时，先对每一个属性 ， ( ，，，) ， 即属性总数，构造一个相对属性集 和一个相似属性集 若( ，) 属于 ，则 在中比有更强表现，即属性程度更高若( ，)属于 ，则 在和中 表 现 差 不 多，即 属 性 程 度 相似对于每个 ，学习一个排序函数，如下所示:( ) ( )( ，) : ( )( ，) : ( )为学习到 的 权 重， 是 本 文 挖 掘 的 特 征 间 跨模态语义得到排序 函 数 后，对 每 一 个 新 图 像，基 于 权重 计算图像关于这 个属性的程度表现，即相对属性优化排序权重的目标函数如式( ) 所示:( ) ( )( )( ) ，( ，)( ) ，( ，);{ }( )第 期 张红斌: 基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注和 是松弛变量，是惩罚系数，该框架最大化有序对之间的边距如式( ) 所示学习到每个属性的权重 后，就可计算样本关于属性 的相对大小，基于该值完成属性程度排序实验结果数据集建立 数据集，它有 张图像，包含:四类材质属性 和 属性包括 两 类 商 品 材 质 属 性 分 布:张 张 张 张材质属性分布: 张 张(非常稀缺) 是 数据集的子集，以完成相对属性标注: 选取 张 类图像，四类材质属性各 张，为材质属性进行实用属性程度排序，即根据防水性透气性耐磨性柔软性及可水洗性的程度标注图像对改进的 模型基于映射关系( 表) 完成零样本学习，它将 中的数据作为测试集二元属性模型采用 做测试集，剩余 张图像作为训练集本实验基于以下指标［］完成评估: ( )实验结果基于改进的 模型的标注结果表 为改进 模型后的标注结果， 表示两种特征融合， 表示及 三种特征融合如 表示三种特征融合，并基于线性核完成标注，其它模型命名同如表 所示表 融合后的标注结果( 每列最优值如 等所示，单位: ， 表示 中融合后性能提升)中融合特征准确率电 子 学 报 年( ) 共计 的 指标标注性能提升，传统特征与深度学习特征间有较强互补性( ) 标注性能最佳的核函数是 ，最差的是，这是由于材质属性在低维空间中存在大量线性不可分情况， 相对 能将特征由低维空间映射到高维空间，此时样本线性可分，对应标注性能更优 种 核 函 数 值 降 序 排 列:( ) 表现最佳，其标注精准度达 ，较 次 优 指 标 提 升相反，全 部 特 征 融 合 性 能 并 非 最 优，即 执 行模型时应合理组合图像特征，以获取最佳性能( ) 改进 的 模 型 最 易 于 改 善 材 质标注性 能，有 的 指 标 性 能 有 提升相反，该算法最难改善 材质标注性能，仅有的指标性能提升( ) 较 能获取更优标注性能，其所参与的特征融合结果普遍更好为更好地展 示 材 质 属 性 与 图 像 特 征 间 的 关 系，根据表 绘制图( ) 所示对应关系图( ) 在四种材质属性上均表现良好除 材 质， 三 属 性 达最佳( ) 核整体标注性能最佳， 核次之核能更准确地标注四种材质属性，且 标 注 性 能 由 大 到小排序:迁移学习实验结果设计了两类迁移策略: 样本迁移和模型迁移每类策略又包含两种迁移方向: 基于 类的迁移，将类中图像迁移到 类中( ) ; 基于类的迁 移，将 类 中 图 像 迁 移 到 中() 考虑到 类中有四种材质属性，而 类中只有两种，故选择共有属性完成迁移图为选择数及 等核函数后，实现第一类策略第一种迁移方向的实验结果蓝色柱体和红色柱体分别表示迁移学习前后的标注性能图 为选择及 等 核 函 数 后，实 现 第 一 类 策略第二种迁移方向的实验结果蓝色柱体红色主体分别表示表示迁移学习前后的标注性能图 是执行模型迁移后的实验结果，我们选取在单 类单 类上标注性能最好的 核完成模型迁移 表示迁移基于 数据集训练好的 模型，表示迁移基于 数据集训练好的 模型如图( ) 所 示: 迁 移 学 习 后，组 特 征 性 能 有 提升，平均提 升 幅 度 ，迁 移 学 习 效 果 显 著 其 中，提升最 显 著，这 表 明 采 用 核 时，相比 在 两类数据间拥有更好鲁棒性 迁移后， 性 能 最 佳如 图 ( ) 所示: 迁 移 学 习 后，组 特 征 性 能 有 提 升，平 均 提 升 幅 度，迁移学 习 效 果 更 显 著 提 升 最 显 著，这表明 采 用 核 时， 相 比 在两类数据间拥有更好鲁 棒 性 迁 移 后，性能最佳如图( ) 所示: 迁移学习后，组特征性能均有提升，平均提升幅度 ，迁移学习效果较显著 提升最显著迁移后，性能最佳，且 优 于 图 其 它 最 优 结 果 如 图 ( ) 所示: 迁移学习后，组特征中仅 组性能有提升，迁移学习效果不显著显然 核不利于材质属性标注的迁移学习综上，迁移学习后精准度平均提升幅度降序排列: ， 核对数据有更 好包 容 性; 迁 移 学 习 后，采 用 核 的特征标注性能最佳，其 精 准 度 达加入 深 度 学 习 特 征 后，共 计指标的性能得到提升，这进一步说明: 深度学习特征能第 期 张红斌: 基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注较好地适应迁移学习，并体现较强鲁棒性如图 所 示: 迁 移 学 习 后，所 有 特 征 性 能 均 有 下降，其中 核的下降幅度最小，而 核迁移学习效果最差这 表 明: 在 实 现 第 一 类 策 略 第 二 种迁移方向( ) 后，模型未有效学到关键的判别信息相反， 类中的形态光照等噪声在材质识别中起到负面作用此外，执行 特征中融合后，无论是迁移前还是迁移后，标注精准 度 都 有 不 同 程 度 提升这表明: 改进后的 模型确实能利用特征间的互补信息提升标注性能如图 所示: 在模型迁移过程中， 的材质分类 性 能 低 于 ，尤 其 是 特 征 中 融 合后，性能衰减严重这说明: 类中的两种材质数据能较好地刻画 类中对应材质相反， 数据的噪声很大，模型迁移后，识别效果不显著综上，对比图 图 图，可以发现: 样本迁移优于模型迁移，模型迁移的难度较大材质属性标注综合比较实现第一类 策 略第二种迁移方向以及第二类迁移策略均未较好地涵盖数据集中 四 种 材 质 属 性，故 本文仅挑选第一类策略第一种迁移方向完成学习，并与主流基线进行比较基线包括: 单模型，决策树(，) 近邻( ， ) 逻辑回归( ， ) 朴 素 贝 叶 斯(，) 随 机 森 林( ，) ;类模型，梯度提升决策树(， )［］自 适 应 提 升( ，)［］极 端 梯 度 提 升( ，)［］; 类 模 型［］，等，即基于改进的 模型执行特征中融合; 现有工作，［］的 模型对于单模型 类模型 的工作，分别结合四种特征进行材质属性标注，选取迁移学习性能最优的结果图 是本文最佳结果( 图 ( ) 中 :电 子 学 报 年的标注性能: ) 与主要基线的比较图 中， 表示 模型选取 特 征 时 性能最优对 于 类 模 型，执 行 表 中 全 部 特 征 融合，并选取迁移学习性能最优结果 如表示 类新模 型 ，它 选 取 三 种 传 统 特征 和 做中 融 合 时 性 能 最 优 由 图 可 见，本 文模型 优 于 基 线 模 型，其 标 注 精 准 度 较 最 强 基 线 提升相对属性标注结果基于 模型挖掘特征间的跨模态语义，以改进模型，完成实用属性标注计算特征平均精度［］属性平均精度［］，得到如图 所示实验结果 表示两种特征进行跨模态语义挖掘，表示对 及 三种特征进行跨模态语义挖掘其它特征组合命名同理图( ) ( ) 展示不同特征在二元属性标注和相对属性标注中性能差异图( ) ( ) 展示跨模态语义挖掘前后二元属性标注和相对属性标注的结果本 文 对比［］的工作，在图( ) ( ) 中 的结果与本文结果分别用蓝红色表示如图( ) 所 示， 在 二 元 属 性 标 注 中 最 优，融合后的 特 征 普 遍 不 佳，尤 其 是 特征，即它们之间的互补性较低如图( ) 所示，在挖掘跨模态语义并执行特征融合后，相关特征表现优异，尤其是 特征，其相对属性标注精度达 ，较最强基线提升 如 图 ( ) 所 示，二元属性标注精度普遍不高，其中透气性最易识别，第 期 张红斌: 基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注水洗性最难识别特征融合后，除水洗性之外，其它实用属性的性能急速衰减，该结果与图( ) 吻合显然，二元属性不能处理低维度 特征如图( ) 所示，在挖掘跨模态语义并执行特征融合后，除柔软性之外，其它实用属性的性能均有提升，且大幅优于二元属性标注，其中透气性提升幅度最大，该结果与图( ) 吻合主要原因: 二元属性模型对属性的判断主要基于材质属性，它会忽视实用属性之间的差异，且材质属性间的混淆性也会干扰其完成实用属性标注 相反，相对属性模型定量评估实用属性的程度并做标注，它基于零样本学习，故整体优势更为突出而经过跨模态语义挖掘之后，实用属性标注性能进一步提升图( ) 展示了实用属性与图像特征间的关系 如图( ) 所示，除 外，其它融合后特征的标注性能较均衡; 这说明: 经过 融合之后，不同特征间的语义信息得以充分利用，融合后的特征更具鲁棒性此外， 整体标 注 性 能 最 优( 个 最优，个次优) 这 表 明: 在 跨 模 态 语 义 挖 掘 中，特征扮演重要 角 色相 反， 特 征 表 现 不 稳 定( 个最优，个最差)综上，实用属性标注有助于更准确 全面地刻画材质属性，并建立友好的人机交互( 详见图，针对每个实用属性进行其程度值降序排列)结论及展望图像属性标注从中间语义层刻画视觉内容，其 语义信息准确丰富，故它在机器视觉领域中具有广阔的应用前景本文聚焦材质属性及其 所 蕴 含 的 实 用 属 性标注: 在传统图像特 征深 度 学 习 特 征 抽 取 基 础 上，改进 模型以融合不同特征，完成材质属性标注 其中，引入迁移学习策 略，有 效 扩 展 训 练 数 据; 挖 掘 不 同特征间的跨模态语义，以改进相对属性模型，准确度量并标注材质属性蕴含的深层语义实用属性结果表明:电 子 学 报 年改进的 模型能充分利用特征间互补性，以改善材质属性标注性能; 迁移学习策略扩充出了高质量样本，为训练鲁棒的材质识别模型奠定 了 重 要 基 础; 特 征 间的跨模态语义有助于提升实用属性标注性能 综上，本文工作为 人 们 提 供 了 一 个 层 次 化 的 材 质 属 性 知 识 体系，以辅助其对材质的去伪存真，并更全面地认知材质此外，材质属性知识体系在商品检索 机器人操控原材料自动分拣等领域中将发挥作用未来拟基于 机制［，］聚焦图像中的局部视觉区域，降 低 来 自 图 像 背 景 的 噪 声 干 扰; 采 用［］ ［］等模型完成 更 高 质 量 的 数 据 增 强;引入［］模型，继续改进相对属性模型的 函数，以提升实用属性标注性能参考文献［］李倩玉，蒋建国，齐美彬，等基于改进深层网络的人脸识别算法［］电子学报， ，( ) :， ，［］， ，( ) : ()［］ ， ， ，［］， ，( ) :［］周家琪，刘丽，崔晓萍，等基于相似性迁移学习的图像标注［］山东师范大学学报( 自 然 科 学 版) ， ，( ) :， ， ，［］() ， ，( ) : ( )［］ ，［］( ) ［ ］ ，: ，［］ ，［］( )［］ : ，［］乔雪，彭晨，段贺，张钰尧基于共享特征相对属性的零样本图像标注［］电子与信息学报， ，( ) :， ， ，［］， ，( ) : ( )［］张峰，钟宝江基于兴趣目标的图像检索［］电子学报，，( ) :，［］ ， ，( ) : ( )［］ ， ， ，［］( ) ［ ］ ，: ，［］ ， :［］( ) ［ ］ ，: ，［］ ， ，:［］ ，，( ) :［］ ，［］( ) ［ ］，: ，［］ ，［］( ) ［ ］， : ，［］ ，［］( ) ［ ］ : ，［］ ， ，［］( ) ［ ］ :，［］ ，［］ ， ，( ) :［］王晓梅，林晓惠，黄鑫基于特征有效范围的前向特征选择及融合分类算法［］小型微型计算机系统， ，( ) :， ，［］， ，( ) : ()［］ ，［ ］: ，第 期 张红斌: 基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注［］ ， ，:［］， ，( ) :［］ ， ， ，［］， ，:［］李 航统 计 学 习 方 法［］北 京: 清 华 大 学 出 版 社，［］ ， :［］( ) ［ ］ : ，［］ ， ， ，［］( ) ［ ］ ，: ，［］［］， ，( ) :［］ ， ， ，［］ ， ，( ) :［］ ， ， ，， ，［ ］ : ，［］ ， ，［ ］ : ，［］ ， ， ， :［］［］ : ，作者简介张红斌 男， 年 月生，江苏如皋人华东交通大学软件学院副教授 硕士生导师主要研究方向: 计 算 机 视 觉自 然 语 言 处 理 推 荐系统:蒋子良 男， 年 月 生，江 西 婺 源 人华东交通大学软件学院硕士研究生 主 要 研 究方向: 机器学习图像材质识别: