第４４ 卷 第２期２０２１ 年２ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ．２Ｆｅｂ． ２０２１一种基于融合重构的子空间学习的零样本图像分类方法赵 鹏ｗ汪纯燕２）张思颖２）刘政怡＾１：）（安徽大学计算智能与信号处理教育部重点实验室 合肥２３０６０１）２）（安徽大学计算机科学与技术学院 合肥 ２３ ０６０ １）摘 要 图像分类是计算机视觉中一个重要的研究子领域． 传统的图像分类只能对训练集中出现过的类别样本进行分类． 然而现实应用中， 新的类别不断涌现， 因而需要收集大量新类别带标记的数据， 并重新训练分类器． 与传统的图像分类方法不同， 零样本图像分类能够对训练过程中没有见过的类别的样本进行识别， 近年来受到了广泛的关注．零样本图像分类通过语义空间建立起已见类别和未见类别之间的关系， 实现知识的迁移， 进而完成对训练过程中没有见过的类别样本进行分类． 现有的零样本图像分类方法主要是根据已见类别的视觉特征和语义特征， 学习从视觉空间到语义空间的映射函数， 然后利用学习好的映射函数， 将未见类别的视觉特征映射到语义空间， 最后在语义空间中用最近邻的方法实现对未见类别的分类． 但是由于已见类和未见类的类别差异， 以及图像的分布不同， 从而容易导致域偏移问题． 同时直接学习图像视觉空间到语义空间的映射会导致信息损失问题． 为解决零样本图像分类知识迁移过程中的信息损失以及域偏移的问题， 本文提出了一种图像分类中基于子空间学习和重构的零样本分类方法．该方法在零样本训练学习阶段， 充分利用未见类别已知的信息， 来减少域偏移， 首先将语义空间中的已见类别和未见类别之间的关系迁移到视觉空间中， 学习获得未见类别视觉特征原型．然后根据包含已见类别和未见类别在内的所有类别的视觉特征原型所在的视觉空间和语义特征原型所在的语义空间， 学习获得一个潜在类别原型特征空间， 并在该潜在子空间中对齐视觉特征和语义特征， 使得所有类别在潜在子空间中的表示既包含视觉空间下的可分辨性信息， 又包含语义空间下的类别关系信息， 同时在子空间的学习过程中利用重构约束， 减少信息损失， 同时也缓解了域偏移问题．最后零样本分类识别阶段， 在不同的空间下根据最近邻算法对未见类别样本图像进行分类． 本文的主要贡献在于：一是通过对语义空间中类别间关系的迁移， 学习获得视觉空间中未见类别的类别原型， 使得在训练过程中充分利用未见类别的信息，一定程度上缓解域偏移问题． 二是通过学习一个共享的潜在子空间， 该子空间既包含了图像视觉空间中丰富的判别性信息， 也包含了语义空间中的类别间关系信息， 同时在子空间学习过程中， 通过重构， 缓解知识迁移过程中信息损失的问题． 本文在四个公开的零样本分类数据集上进行对比实验， 实验结果表明本文提出的零样本分类方法取得了较高的分类平均准确率， 证明了本文方法的有效性．关键词 零样本图像分类； 迁移学习； 子空间学习； 重构； 特征原型中图法分类号ＴＰ１８ＤＯＩ号１０．１１８９７／ＳＰ．Ｊ．１０１６ ．２０２１．００４０９ＡＺｅｒｏ－ＳｈｏｔＩｍａｇｅＣｌａｓｓｉｆｉｃａｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＳｕｂｓｐａｃｅＬｅａｒｎｉｎｇｗｉｔｈｔｈｅＦｕｓｉｏｎｏｆＲｅｃｏｎｓｔｒｕｃｔｉｏｎＺＨＡＯＰｅｎｇ１）， ２）ＷＡＮＧＣｈｕｎＹａｎ２）ＺＨＡＮＧＳｉ Ｙｉ ｎｇ２）ＬＩＵＺｈｅｎｇＹｉ１）， ２）１ ：） （ ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｉｅＬＬ ｉｇｅｎｉＣｏｍｐｕｔ ｉｎｇａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ？Ｍｉｎｉ ｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ？ＡｎｈｕｉＵｎｉ ｖｅｒｓｉ ｔｙ？Ｉｌｅｆｅｉ２３０６０１）２）｛ ＳｃｈｏｏｌｏｆＣｏｍｐｕｔ ｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ？ＡｎｈｕｉＵｎｉ ｖｅｒｓｉｔｙ？Ｉｌｅｆｅｉ２３ ０６０１）ＡｂｓｔｒａｃｔＩｍａｇｅｃｌａｓｓｉ ｆｉｃａｔｉ ｏｎｉｓａｎｉ ｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈｓｕｂｆｉｅｌ ｄｉ ｎｔｈｅｃｏｍｐｕｔｅｒｖｉｓｉ ｏｎ．Ｔｒａｄｉｔｉ ｏｎａｌ收稿日期：２０１９ ０８ １８； 在线发布日期：２０２０ ０５ ０５．本课题得到国家自然科学基金（６１６０２００４） 、 安徽省髙校自然科学研究重点项目（ ＫＪ２０１８Ａ００１３ ， Ｋ； Ｉ２０１７Ａ０１１）、 安徽省自然科学基金（ １９０８０８５ＭＦ１８８ ， １９０８０８５ＭＦ１８２）、 安徽省重点研究与开发计划项目（ １８０４ｄ０８０２０３０９）资助． 赵 鹏， 博士， 副教授， 硕士生导师， 中国计算机学会（ＣＣＦ） 会员， 主要研究方向为机器学习、 图像理解． Ｅｍａｉｌ： ｚｈａ〇ｐｅｎｇ＿ａｄ＠１６３． ｍｍ．汪纯燕， 硕士研究生， 主要研究方向为机器学习、 图像分类． 张思颖， 硕士研究生， 主要研究方向为机器学习、 图像分类． 刘政怡， 博士， 副教授， 硕士生导师， 中国计算机学会（ＣＣＦ） 会员， 主要研究方向为机器学习、 计算机视觉．４１０ 计 算机 学 报 ２０２１年ｉ ｍａｇｅｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎｃａｎｏｎｌ ｙｃｌ ａｓｓｉ ｆｙｔｈｅｓａｍｐｌ ｅｓｏｆｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓｗｈｉｃｈｈａｖｅａｐｐｅａｒｅｄｉ ｎｔｈｅｔｒａｉ ｎｉ ｎｇｄａｔａｓｅｔ． Ｈｏｗｅｖｅｒ，ｎｅｗｃａｔｅｇｏｒｉ ｅｓｃｏｎｔｉ ｎｕｅｔｏｅｍｅｒｇｅｉｎｒｅａｌ ｗｏｒｌ ｄａｐｐｌ ｉ ｃａｔｉ ｏｎｓ． Ｔｈｅｓａｍｐｌ ｅｓｏｆｔｈｅｎｅｗｃａｔｅｇｏｒｉｅｓｓｈｏｕｌ ｄｂｅｃｏｌ ｌ ｅｃｔｅｄａｎｄｔｈｅｃｌ ａｓｓｉ ｆｉｅｒｓｈｏｕｌ ｄｂｅｒｅｔｒａｉ ｎｅｄ．Ｄｉ ｆｆｅｒｅｎｔｆｒｏｍｔｒａｄｉ ｔｉ ｏｎａｌｃｌ ａｓｓｉｆｉ ｃａｔｉ ｏｎｍｅｔｈｏｄｓ，ｚｅｒｏ ｓｈｏｔｉ ｍａｇｅｃｌ ａｓｓｉｆｉ ｃａｔｉ ｏｎａｉ ｍｓａｔｃｌ ａｓｓｉｆｙｉ ｎｇｔｈｅｓａｍｐｌ ｅｓｏｆｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉ ｅｓｗｈｉｃｈｈａｖｅｎｏｔａｐｐｅａｒｅｄｉ ｎｔｈｅｔｒａｉ ｎｉ ｎｇｄａｔａｓｅｔ．Ｚｅｒｏ ｓｈｏｔｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎｉｓａｖｅｒｙｃｈａｌ ｌｅｎｇｉ ｎｇｔａｓｋａｎｄｈａｓａｔｔｒａｃｔｅｄｍｕｃｈａｔｔｅｎｔｉｏｎｉ ｎｒｅｃｅｎｔｙｅａｒｓ． Ｚｅｒｏ ｓｈｏｔｉ ｍａｇｅｃｌ ａｓｓｉｆｉ ｃａｔｉ ｏｎｂｒｉ ｄｇｅｓｔｈｅｓｅｅｎｃａｔｅｇｏｒｉ ｅｓａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉ ｅｓｔｈｒｏｕｇｈｔｈｅｓｅｍａｎｔｉ ｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅ，ｗｈｉｃｈｔｒａｎｓｆｅｒｓｋｎｏｗｌｅｄｇｅｆｒｏｍｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓｔｏｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓａｎｄｃｌ ａｓｓｉ ｆｉｅｓｔｈｅｓａｍｐｌ ｅｓｆｒｏｍｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓ． Ｆｉｒｓｔｌ ｙ？ｔｈｅｅｘｉｓｔｉ ｎｇｚｅｒｏ ｓｈｏｔｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎｍｅｔｈｏｄｓｔｙｐｉｃａｌ ｌ ｙｌ ｅａｒｎａｍａｐｐｉ ｎｇｆｕｎｃｔｉ ｏｎｆｒｏｍｔｈｅｖｉｓｕａｌｓｐａｃｅｔｏｔｈｅｓｅｍａｎｔｉｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅｏｎｌｙａｃｃｏｒｄｉ ｎｇｔｏｔｈｅｉｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｓａｍｐｌ ｅｓｆｒｏｍｔｈｅｔｒａｉ ｎｉ ｎｇｓｅｅｎｃａｔｅｇｏｒｉ ｅｓ．Ｔｈｅｎ，ｔｈｅｌ ｅａｒｎｅｄｍａｐｐｉ ｎｇｆｕｎｃｔｉ ｏｎｉｓｕｔｉｌｉ ｚｅｄｔｏｍａｐｔｈｅｖｉｓｕａｌｆｅａｔｕｒｅｏｆｔｈｅｔｅｓｔｓａｍｐｌ ｅｆｒｏｍｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓｔｏｔｈｅｓｅｍａｎｔｉｃｓｐａｃｅ． Ｆｉ ｎａｌ ｌ ｙ，ｚｅｒｏ ｓｈｏｔｒｅｃｏｇｎｉｔｉｏｎｃｌ ａｓｓｉｆｙｔｈｅｔｅｓｔｓａｍｐｌ ｅｓｆｒｏｍｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉ ｅｓｂｙａｓｉ ｍｐｌ ｅｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｓｅａｒｃｈｉ ｎｔｈｅｓｅｍａｎｔｉ ｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅ． Ｂｕｔｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓａｒｅｄｉｆｆｅｒｅｎｔ ，ｗｈｉｃｈｗｉｌ ｌｌ ｅａｄｔｏｔｈｅｄｏｍａｉ ｎｓｈｉ ｆｔ． Ｍｏｒｅｏｖｅｒ，ｄｉｒｅｃｔｌ ｙｌ ｅａｒｎｉｎｇｔｈｅｍａｐｐｉ ｎｇｆｕｎｃｔｉｏｎｆｒｏｍｖｉ ｓｕａｌｓｐａｃｅｔｏｓｅｍａｎｔｉ ｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅｗｉ ｌ ｌｌｅａｄｔｏｔｈｅｉｎｆｏｒｍａｔｉ ｏｎｌ ｏｓｓ．Ｉｎｏｒｄｅｒｔｏｓｏｌ ｖｅｔｈｅｐｒｏｂｌｅｍｓｏｆｔｈｅｉ ｎｆｏｒｍａｔｉ ｏｎｌ ｏｓｓａｎｄｔｈｅｄｏｍａｉ ｎｓｈｉｆｔｉｎｔｈｅｋｎｏｗｌ ｅｄｇｅｔｒａｎｓｆｅｒｏｆｚｅｒｏ ｓｈｏｔｉ ｍａｇｅｃｌ ａｓｓｉｆｉｃａｔｉｏｎ，ｗｅｐｒｏｐｏｓｅａｚｅｒｏ ｓｈｏｔｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎａｐｐｒｏａｃｈｂａｓｅｄｏｎｓｕｂｓｐａｃｅｌ ｅａｒｎｉ ｎｇａｎｄｒｅｃｏｎｓｔｒｕｃｔｉ ｏｎｆｏｒｉ ｍａｇｅｃｌ ａｓｓｉｆｉｃａｔｉ ｏｎ（ Ｚｅｒｏ ＳｈｏｔＣｌａｓｓｉｆｉ ｃａｔｉ ｏｎｂａｓｅｄｏｎＳｕｂｓｐａｃｅｌ ｅａｒｎｉｎｇａｎｄＲｅｃｏｎｓｔｒｕｃｔｉｏｎ，ＺＳＣＳＲ）．Ｆｉ ｒｓｔｌｙ，ＺＳＣＳＲｍａｋｅｓｆｕｌｌ ｕｓｅｏｆｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｙｉｎｆｏｒｍａｔｉ ｏｎｔｏｍｉｔｉｇａｔｅｔｈｅｄｏｍａｉｎｓｈｉｆｔｐｒｏｂｌ ｅｍ． Ｉｔｔｒａｎｓｆｅｒｓｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓｆｒｏｍｔｈｅｓｅｍａｎｔｉｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅｉ ｎｔｏｔｈｅｖｉｓｕａｌｓｐａｃｅ，ａｎｄｏｂｔａｉ ｎｓｔｈｅｖｉｓｕａｌｐｒｏｔｏｔｙｐｅｓｏｆｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓ．Ｔｈｅｎ，ａｃｃｏｒｄｉ ｎｇｔｏｔｈｅｖｉｓｕａｌｐｒｏｔｏｔｙｐｅｓａｎｄｓｅｍａｎｔｉｃｐｒｏｔｏｔｙｐｅｓｏｆａｌ ｌｃａｔｅｇｏｒｉｅｓｉ ｎｃｌ ｕｄｉ ｎｇｔｈｅｓｅｅｎａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉ ｅｓ， ＺＳＣＳＲｌ ｅａｒｎｓａｌ ａｔｅｎｔｓｕｂｓｐａｃｅ，ｗｈｉ ｃｈａｌ ｉｇｎｓｔｈｅｖｉ ｓｕａｌａｎｄｔｈｅｓｅｍａｎｔｉｃｓｐａｃｅｓ．Ｔｈｅｌａｔｅｎｔｓｕｂｓｐａｃｅｎｏｔｏｎｌｙｃｏｎｔａｉｎｓｔｈｅｄｉｓｃｒｉ ｍｉｎａｔｉ ｖｅｉ ｎｆｏｒｍａｔｉ ｏｎｉ ｎｔｈｅｖｉｓｕａｌｓｐａｃｅ，ｂｕｔａｌｓｏｃｏｎｔａｉ ｎｓｔｈｅｉｎｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｃａｔｅｇｏｒｙｒｅｌ ａｔｉ ｏｎｓｈｉｐｓｉ ｎｔｈｅｓｅｍａｎｔｉｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅ． Ｍｅａｎｗｈｉｌ ｅ，ｔｈｅｒｅｃｏｎｓｔｒｕｃｔｉ ｏｎｃｏｎｓｔｒａｉ ｎｔｒｅｄｕｃｅｓｔｈｅｉｎｆｏｒｍａｔｉ ｏｎｌ ｏｓｓｉ ｎｔｈｅｓｕｂｓｐａｃｅｌ ｅａｒｎｉ ｎｇ． Ｆｉｎａｌ ｌ ｙ，ｉ ｎｔｈｅｚｅｒｏ ｓｈｏｔｒｅｃｏｇｎｉ ｔｉ ｏｎ，ｔｈｅｔｅｓｔｓａｍｐｌｅｓｏｆｕｎｓｅｅｎｃｌ ａｓｓｅｓｃｏｕｌｄｂｅｃｌ ａｓｓｉｆｉｅｄｂｙｔｈｅｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｓｅａｒｃｈｉｎｄｉ ｆｆｅｒｅｎｔｓｐａｃｅｓ．Ｔｈｅｒｅａｒｅｔｗｏｍａｉ ｎｃｏｎｔｒｉ ｂｕｔｉ ｏｎｓｉ ｎｔｈｉｓｐａｐｅｒａｓｆｏｌ ｌ ｏｗｓ． （１）ＺＳＣＳＲｌ ｅａｒｎｓｔｈｅｖｉｓｕａｌｐｒｏｔｏｔｙｐｅｏｆｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓｔｈｒｏｕｇｈｔｒａｎｓｆｅｒｒｉ ｎｇｔｈｅｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓｆｒｏｍｔｈｅｓｅｍａｎｔｉｃｅｍｂｅｄｄｉ ｎｇｓｐａｃｅｔｏｔｈｅｖｉｓｕａｌｓｐａｃｅ，ｗｈｉｃｈｒｅｌｉｅｖｅｓｔｈｅｄｏｍａｉｎｓｈｉ ｆｔｐｒｏｂｌ ｅｍ． （２）ＺＳＣＳＲｌ ｅａｒｎｓａｌ ａｔｅｎｔｓｐａｃｅｔｈｒｏｕｇｈｔｈｅｌ ａｔｅｎｔｓｐａｃｅｌ ｅａｒｎｉｎｇａｎｄｒｅｃｏｎｓｔｒｕｃｔｉ ｏｎ，ｗｈｉ ｃｈｒｅｄｕｃｅｓｔｈｅｉ ｎｆｏｒｍａｔｉｏｎｌ ｏｓｓ． Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｅｖａｌ ｕａｔｅｄｆｏｒｚｅｒｏ ｓｈｏｔｒｅｃｏｇｎｉ ｔｉ ｏｎｏｎｆｏｕｒｂｅｎｃｈｍａｒｋｄａｔａｓｅｔｓ． Ｔｈｅｅｘｐｅｒｉ ｍｅｎｔａｌ ｒｅｓｕｌｔｓｓｈｏｗｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄａｃｈｉｅｖｅｓｈｉｇｈｅｒａｖｅｒａｇｅａｃｃｕｒａｃｉｅｓ，ｗｈｉｃｈｐｒｏｖｅｔｈｅｅｆｆｅｃｔｉ ｖｅｎｅｓｓｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ．Ｋｅｙｗｏｒｄｓｚｅｒｏ ｓｈｏｔｉ ｍａｇｅｃｌａｓｓｉ ｆｉｃａｔｉ ｏｎ；ｔｒａｎｓｆｅｒｌ ｅａｒｎｉ ｎｇ；ｓｕｂｓｐａｃｅｌ ｅａｒｎｉ ｎｇ；ｒｅｃｏｎｓｔｒｕｃｔｉ ｏｎ；ｆｅａｔｕｒｅｐｒｏｔｏｔｙｐｅ类别样本进行分类， 却无法对训练数据集中未出现１弓Ｉ言过的类别样本进行分类． 然而现实场景中， 新类别往往层出不穷． 收集足够数量的新类别标注样本通常传统的分类方法只能对训练数据集中出现过的费时费力， 在某些特定领域甚至无法获取足够数量的赵 鹏等：一种基于融合重构的子空间学习的零样本图像分类方法 ４１ １２ 期新类别标注样本． 零样本学习（ Ｚｅｒｏ ＳｈｏｔＬｅａｒｎｉ ｎｇ，ＺＳＬ） 应运而生， 受到越来越多的研究者的关注． 人类具备识别未见类别样本的能力［ １ ］， 例如一个只见过马而未见过斑马的孩子， 如果被告知斑马是身上有斑纹的马， 那么当孩子在动物园看到斑马时， 就能顺利地识别出斑马． 零样本学习就是受人类这类学习方式的启发． 在零样本学习中， 训练集（ 已见类别）和测试集（未见类别） 样本类别是不相交的， 通常通过一个语义空间， 建立起已见类别和未见类别间的关系， 进而实现知识的迁移． 其中语义空间通常由人工标注的属性、 文本关键词或者词向量构成． 零样本图像分类就是在图像分类中应用了零样本学习的方法．零样本图像分类方法通常分为零样本训练学习和零样本识别分类两个阶段． 现有零样本图像分类方法主要分为以下四类： （１） 基于属性的学习［２３］． 直接属性学习（ＤｉｒｅｃｔＡｔｔｒｉ ｂｕｔｅＰｒｅｄｉｃｔｉ ｏｎ， ＤＡＰ）［ ａ和间接属性学习（ＩｎｄｉｒｅｃｔＡｔｔｒｉ ｂｕｔ ｅＰｒｅｄｉｃｔｉ ｏｎ，ＩＡＰ）［ ２ ］分别直接和间接学习单个语义属性的属性分类器，零样本识别阶段对未见类别样本预测该类别包含每个属性的概率， 然后根据属性与类别的关系计算样本为各类别的分值， 并将样本预测为得分最高的类别；（２ ） 基于视觉空间到语义空间映射的学习［ Ｍ ］．基于属性的标签嵌人方法（Ａｔｔｒｉ ｂｕｔｅ ｂａｓｅｄＬａｂｅｌＥｍｂｅｄｄｉ ｎｇ，ＡＬＥ）［４］ 在训练阶段学习一个兼容性函数， 该函数用于衡量每一幅图像的视觉特征映射到语义空间后， 和语义空间中每个类别语义属性向量之间的匹配度， 确保每幅图像和所属类别语义属性向量的匹配度比其它类别的匹配度高． 测试阶段将兼容性得分最高的类别标签预测为该测试样本的标签？ 结构化联合嵌人（ ＳｔｒｕｃｔｕｒｅｄＪｏｉ ｎｔＥｍｂｅｄｄｉ ｎｇ，ＳＪＥ）［ ５ ］受ＡＬＥ的启发， 使用了多种辅助语义信息源（ 包括传统属性、词向量、 文本关键词等）替代人工标注属性． 与ＡＬＥ类似， ＳＪＥ同样使用兼容性得分函数衡量视觉特征映射到语义空间后， 与各类别语义表示的兼容性得分， 不同的是语义空间包含多种信息源， 因而需要学习多个映射； （３） 基于语义空间到视觉空间映射的学习． Ａｎｎａｄａｍ等人［１°］提出将类别间的关系划分为语义相同的类别、 语义相似的类别和语义不同的类别， 在学习语义空间到视觉空间的映射时保留类别间的关系． 将视觉特征空间作为嵌人空间，一定程度上缓解了由少数枢纽点导致的枢纽点问题（ Ｈｕｂｎｅｓｓｐｒｏｂｌ ｅｍ）． 枢纽点［ １ １ ？］是指这样一些点， 它们是大多数其它点的最近邻点． 将视觉特征映射到语义空间， 会产生一些枢纽点， 在零样本识别阶段由于采用的是最邻近搜索方法， 所以会降低识别的性能； （４） 基于潜在子空间的学习［１ ４ １ ９］？ 双视觉语义映射（ ＤｕａｌｖｉｓｕａｌｓｅｍａｎｔｉｃＭａｐｐｉ ｎｇＰａｔｈｓ， ＤＭａＰ）［１ ４］学习视觉空间到语义空间的映射， 同时抽取视觉空间中潜在类别级的流形构造新的语义空间， 并结合原始的语义空间， 不断迭代优化新的语义空间． 耦合字典学习（ Ｃｏｕｐｌ ｅｄＤｉｃｔｉ ｏｎａｒｙＬｅａｒｎｉ ｎｇ，ＣＤＬ）［１ ５］通过稱合字典学习框架分别学习两个字典， 将视觉类别特征和语义类别特征分别映射到潜在子空间， 并在潜在子空间学习过程中对齐语义类别特征和视觉类别特征．虽然零样本图像分类的研究取得了一些进展，但是知识迁移过程中仍然存在以下主要问题： 信息损失和域偏移问题．（１） 信息损失问题， 是指在学习图像的视觉特征与语义特征间映射的过程中， 由于视觉特征和语义特征的维度相差较大， 往往会出现一些具有判别能力的信息在知识迁移的过程中丢失的情况， 从而影响最终的图像分类结果ｄ２） 域偏移问题， 是指由于零样本学习在训练过程中只用到了已见类别的信息， 而训练类别和测试类别是不相交的， 同时训练类别和测试类别往往差异可能很大， 所以在测试的过程中会出现预测偏差导致域偏移问题．针对信息损失和域偏移问题， 本文提出了图像分类中基于子空间学习和重构的零样本分类（ＺｅｒｏＳｈｏｔＣｌａｓｓｉ ｆｉｃａｔｉ ｏｎｂａｓｅｄｏｎＳｕｂｓｐａｃｅｌ ｅａｒｎｉｎｇａｎｄＲｅｃｏｎｓｔｒｕｃｔｉ ｏｎ， ＺＳＣＳＲ） 方法． 该方法的主要贡献包含以下两个方面：（ １） 首先假设语义空间和图像视觉空间具有相似的类别间关系， 学习语义空间中已见类别和未见类别的关系， 并将学习到的关系迁移到图像视觉空间， 学习获得未见类别的视觉类别原型， 缓解域偏移问题．（２） 基于子空间学习和重构的方法利用已见类别和未见类别的视觉特征和语义特征， 学习一个共享的潜在子空间， 该子空间既包含了图像视觉空间丰富的判别性信息也包含了语义空间中的类别间关系信息， 同时在子空间学习过程中， 通过重构， 缓解知识迁移过程中信息损失的问题．本文第２ 节给出问题定义和介绍相关工作； 第３ 节提出基于子空间学习和重构的零样本分类方４１２ 计 算机 学 报 ２０２１年法； 第４ 节在几个通用零样本分类数据集上， 通过实验对所提出的方法进行测试， 并对实验结果和参数进行分析； 最后对本文的工作进行总结．２ 问题定义和相关工作本文的工作受到子空间学习和自编码器中重构思想的启发． 下面分别给出本文的问题定义和相关工作简介．２． １问题定义为了方便阐述， 首先给出问题定义． 设ｘｓ为已见类样本视觉特征矩阵， 其中 为已见类样本个数ｗ为样本的特征维度．分别为已见类别的语义属性特征矩阵和未见类别的语义属性特征矩阵， 其中＜： 为已见类的类别个数，？为语义特征的维度＾为未见类的类别个数［ｓｓ， ｓ？］ｅ是所有类别的语义特征矩阵．兄＝｛ｉ，…，ｃ｝ 为已见类的标签集， 叉＝｛ｃ＋ｉ，…，为未见类的标签集， ｙ？ ｎｙｓ＝０． 零样本图像分类就是给定足， ５， 兄和叉学习一个图像分类器／（？） ， 实现对未见样本心的分类， §卩 ／：ａ—＿ｙ？ ， 其中＿ｙ？为未见样本？对应的标签．２． ２ 子空间学习在图像分类问题中， 子空间学习是一种比较常见的方法． 子空间学习通过学习一个合适的子空间，使得在原空间中不易识别或区分的图像， 在子空间中类别差异扩大， 或者子空间具备原始空间不具备的某些优势， 进而将样本映射到子空间后获得更好的分类效果． 由于零样本图像分类中的视觉特征通常是通过神经网络提取， 而语义特征则是通过人工定义的属性或者文本中提取的关键词得到， 所以视觉特征和语义特征的分布通常是不同的． 如果直接学习获得视觉空间和语义空间之间的映射， 通常知识迁移能力不强， 导致零样本识别性能不好． 通过子空间的学习， 可以实现语义空间和视觉空间的对齐，获得较好的知识迁移能力．双视觉语义映射（Ｄｕａｌ ｖｉ ｓｕａｌ ｓｅｍａｎｔｉｃＭａｐｐｉ ｎｇｐａｔｈｓ，ＤＭａｐ）［ １４］通过学习一个语义子空间来对齐样本视觉空间和语义空间． ＤＭａｐ 首先学习获得样本视觉空间到原始语义空间映射， 然后根据该映射， 获得该类别样本视觉特征映射到语义空间后的均值， 并与原始语义向量表示进行融合， 迭代优化得到新的语义空间． 潜在嵌人空间学习（ ＬａｔｅｎｔＥｍｂｅｄｄｉ ｎｇｓ，ＬａｔＥｍ）［ １ ８］针对细粒度图像分类问题， 提出将视觉和语义信息映射到一个多维向量空间， 这个多维的向量空间即为学习的子空间． 在子空间中将一些复杂的属性进行分解， 来训练学习一组线性映射函数，不同的映射函数捕捉不同对象类的视觉特征， 如颜色、形状或纹理等． 针对不同的类别， ＬａｔＥｍ自动选择一组较好的线性函数模型来进行分类． 耦合字典学习（ Ｃｏｕｐｌ ｅｄＤｉ ｃｔｉ ｏｎａｒｙＬｅａｒｎｉ ｎｇ， ＣＤＬ）［ １ ５ ］采用字典学习方法获得一个子空间， 在子空间中对齐视觉和语义结构． ＣＤＬ首先通过原型学习来学得已见类别在视觉空间的类别原型表示． 然后通过字典学习，分别在视觉空间和语义空间中学习到一对字典的基， 将视觉特征和语义特征映射到子空间， 并约束同一类别的视觉特征和语义特征映射到子空间具有相同的特征表示， 从而实现视觉空间和语义空间的结构对齐．这些子空间学习虽然一定程度地提高了知识的迁移能力， 但是在学习映射的过程中难免会出现信息损失的问题， 尤其是一些子空间学习方法仅利用已见类别的视觉特征和语义特征来实现子空间学习． 而丢失的信息可能对未见类别的识别有着重要的作用， 因而影响迁移能力的提升．２． ３ 自编码器自编码器（ Ａｕｔｏｅｎｃｏｄｅｒ， ＡＥ） 是一个非监督学习算法， 通常由三部分组成： 编码器（ ｅｎｃｏｄｅｒ）、 隐含层（ｈｉ ｄｄｅｎ） 和解码器（ｄｅｃｏｄｅｒ）．自编码器将输人表示Ｘ通过编码器编码到隐含层， 再通过解码器解码回Ｘ． 其中解码可以看作是重构的过程．自编码器的目标函数一般表示如式（１） 所示：ｍｉ ｎ＼Ｘ Ｗ＊ＷＸ＼ ｌ（１）Ｗ， Ｗ＊其中， ｘｅｉ＾ｘ＂为输人样本， 《为输人样本个数Ｗ为样本特征维度． 为编码矩阵， 其中＆ 为隐含层维度，？为解码矩阵．语义自编码器（ Ｓｅｍａｎｔｉ ｃＡｕｔｏｅｎｃｏｄｅ， ＳＡＥ）［１］将自编码器的思想用于零样本图像分类， 采用了一种简单的自编码器结构， 只利用一层隐含层连接编码器和解码器． 不同于一般的ａｅ， ｓａｅ将隐含层定义为语义表示层， 具有明确的语义． ＳＡＥ 通过已见类别样本学习训练出编码和解码的映射矩阵， 并利用该映射矩阵， 将待识别的未见类别样本映射到语义空间进行识别． 语义自编码器输人？是图像样本特征， 通过映射矩阵 映射到隐含层为编码过程， 然后再通过ｗＴｅｉ＾ｘ？映射回视觉特征空间为解码过程， 解码过程即为重构， 使得重构赵 鹏等：一种基于融合重构的子空间学习的零样本图像分类方法 ４１３２ 期后的图像特征尽量地与原特征相近． ＳＡＥ目标函数如式（２） 所示：ｍｉ ｎ｜ ｜ ￣ＷＴＣ￥｜ ｜｜＋Ａ＼ ＼ ＷＸＳ￣Ｃ￥＼ ＼２Ｆ（ ２）ｗ其中， 第一项和第二项分别对？应解码过程和编码过程， ｃｅｉＴ５是输人的己见样本语义麗性矩阵， Ａ是杈重系数， 调节第一项和第二领的＇重要性－传统ＡＥ解码过裎映射寒阵为ＷＶ商ＳＡＥ中编码和：解码过程是对称的， 所以令Ｗ＋＝ ＷＴ．由于语义自编码器映射矩阵是由已见类别训练得出的， 在测试阶段直接应用到未见类别． 可能会由于己见娄别和未见类别的分布？不同， 而导致孥到的编码矩阵和解码矩阵泛化到未见类别的能力较弱？３ 基于子空间学习和重构的零样本分类方法由于已见裘别和未见类别是不相交的， 其样本分布不同＊如果在训练的过程中只利用已见类别的信息． 那么学巧到的模： 型往往不能较好地泛化到未见类别． 本文在训练过程中同时利用汜见类别和未见类规信息，以提裔模型的梗化性＞茼时通过学习共享子空间， 对齐视意空间和语夂空间， 使得学苟到的子空间中既包含瘡义空间中＇类别关系信息又包含视觉蜜间中可判别性倩息， 并且子空闻＃ｇ过程中利甩重构减少氣息损失？ 本文提出的基于子空同学习和虞构＇雖攀样本分类方法■（Ｚｅｒｏ－Ｓｈｏｉ：Ｃｌａｓｓｉ ｆｉｃａｔｉｏｎ１ ｉ？ｍｉ ｌｉ ）ｉ： Ｓｎｂ＞｜？ａｃｉ－ｌ ｅａｒｎｉ ｎｇａｎｄＲｅｅｏｉｉｓｔｒＵｃｔｉ ｏｎ，ＺＳＣＳＲ｝ 周祥包括训练孥方阶段和■零祥本识别阶段． 训． 缘学５阶段分为两步完成， 训练学习框架如＿１ 所示． 笫一歩学习＇语义空间中． 已见类别和未见类别的关系２， ＃将该关系迁移到视觉空间， 在视觉空间学习得到未见类的视觉类别原型Ｖ第二步将学习到的未见类的视觉类别原型与Ｂ见类别的视觉鸯别原遽＿合樽到所有类别在视觉空间的庳型表示， 然后采用融合重构的＇子空间： 学习？ 稂据视觉空间和语义窆间來＃苟共享子空间． 尊禅本识别阶段可以将？未见类别样本分别映射到不苘空间进行识别．ＳｔｅｐｌＳｔｅｐ２， １ 、 ，１，语义空间视觉空间语义空间共享子空间视觉空间未见类的视觉类别原型图１Ｚ３ＣＳＲ的锁：：练学￥框：無摄３． １ 未见类别的类别原型学习零祥本分类在训练过程中， 如果仅使用到ａ见类别的信息， 学习到的模型不能根好地泛化到未见类别． 从而导致分类准确率下降． 本文提出首先学习未ｊａ类剁在视觉空间的类别： 原邀， 并翁学习到的未见类别的视ｔ类跳原型作为卞一步的输人． 语义Ｍ性和视觉特征分别从不饲的视角描述Ｉｆ—： 对象， ｗ而语义空间和视觉空询上的类别关系是一致、 的＊ 虽然在语义龕间和视觉空间中样本的特征维度不同，但是它们却有■似的类别間关系． 卽如果两个类别在窜义全间中是相近的， 那么它们在视觉空间中应该也是栩近的．由于零雜本分类最终识别阶段是通过最近邻的方法实现未见类别样本识另ｉｊ， 所以学习到接近于真实分布的类别原型＊ 有 于提高识别准未见类别在视觉空间中的类别原裏学￥过程如图２所示． 画中 叠间为人工标注的羼性向量？包含了相对全面的类别描述及类别间关系鲁息． 通过在语义空间中学。习类别间关系矩阵２． 将其迁移到视觉空间，：举习莸得未见类别的视觉类别原型， 未见类别的类剔原型学召的目标函数如式（３） 所示：ｍｉ ｎｌＳｓ ＳＳｊｌ ＨＵｆｓＱＰｊｌＦｓ． ｔ．Ｉ ｋｌ２＜ｌ＜ ３）Ｑ＾ｕ其中， ｐｓ．ｅ浐＿是已见类别在＊觉空词的类剌康＇塑矩阵， 其中各类别原型取值为该类别下所有样本视觉＃征向最的均值？１是縛要学习的末见类别在枧觉空间的类别廣型矩阵． ２ｅｉｒｓ是学习到的语义空间中已见类与苯见类的类别关系矩阵．暴已见类别的类别语义特征矩阵，ｓ， 是宋见类别的类别语义特征矩砗，４１４ 计導机攀报： ＿１苹语义空间 视觉空间釋《 笨＆集别的视＊：ｎ＇＿原麵＃ｓ本文采：用交替优化方法求解自标函数（式（Ｊ０） ，即固定其它变量』求解某一变憂，具体步骤如下：（１） 固定八， 更齋２， ＃到优化函数如下式所示：其半》： Ａ＝■５Ｓ－－Ｐｓ－ＵＱＢｉ ｉ＋＾ｍ， Ｂ＝—ｓ，ｒ－ｐ，，－ｉ）（４）直接对２求导聊＃２＝（ＡＴＡ ＋ ａＩ）＾１ＡＴＢ＿其中， Ｊ为单隹矩阵． ａ为拉格朗Ｈ乘子．（２） 固定２， 更新 得到优化函数如下式所示：ｍｉ ｎ｜ ｜ Ｐ．ｓ ＳＦ？Ｉ Ｊ【５）Ｋ最后， 根据ｎ， ｐ：ｓ可樽到ｐ＝Ｄｅ， ｐ？］．３． ２ 融合重构的子空间学习视觉空间是由ｆｌ像自然的视觉．费征构成的， 包含了图像较为全Ｍ和细致的可判别僙息． 语义空间是由图像抽象的语义．屢性构成， 包含了丰富的类别俸息和类别关系ｆ息■ 单纯的＇子空间 在学习过程中＊会造成部分信息丢失， 而这些丢：失的信息可能有助于未见类别样本的识别． 本文提出的融合重构的子空间学石， 利甩所宥类别（包括已见类别和未见类： 别） 的语义和视觉信息， 学习一个共摹子貧间． 该． 子ｆｉ：间既具有视觉餐间的可判别性燈息， 又具有语义空间的类别关系信息， 同时利用重构， 减少信息丢失？ ＾ 融合重构的予空Ｍ学习的学习框、 架如ＳＴ３所示？为了在子空间学习中对齐视觉空间和语义查间， 令各类姻的视觉特征和对应的语义特征映射到共享子空间中．莫有相同的特征表示． 设雯学习的共審子空间表示为厶攀习视暈空间到共荸子空间映射的貝标函数如式（７）所示：ｍｉ ｎＡ１１ ｜Ｆ Ｚ｜ ｜ ｐ＋｜ ｜ Ｐ－ＷｌＺ Ｉ＾Ｃ７）Ｗｌ，ｚ其中聲包含Ｂ见类与未见类的所有葉规； 在＇共享子ＳＲＴ中的表： 示，＆ 为 共享 量：间． 中猶维度ｋ和ｆ 分别是已见类和未见类的类别个数＞为包含已见类和未见类的所赵 鹏等：一种基于融合重构的子空间学习的零样本图像分类方法 ４１ ５２ 期有类别的视觉类别原型矩阵．由于训练过程中无法得到未见类别的视觉特征， 所以１＼由３．１ 节学习获得．ｅｉ？４ｍ是视觉空间到共享子空间的映射矩阵． 式（７） 中第一项为视觉空间到共享子空间的映射， 第二项为根据共享子空间重构视觉空间， 权重系数；＾调节这两项之间的比重． 通过空间映射差异最小化， 实现子空间学习获得视觉空间判别性信息， 同时通过重构误差最小化， 实现子空间尽可能多地保存原始信息， 缓解了知识迁移过程中的信息损失问题． 由于映射和重构分别使用了矩阵 和它的转置矩阵Ｗ〖， 因而该目标函数隐式地约束了不会太大， 而是在一个合理的范围内．类似地， 学习语义空间到共享子空间映射的目标函数如式（８） 所示：ｍｉ ｎＸ２＼ ＼Ｗ２ Ｓ Ｚ＼ ＼２Ｆ＋＼ ＼Ｓ Ｗｔ２Ｚ＼ ＼２ｆ（８）ｗ２， ｚ同样 ［Ｓｓ， ｓ？ ］为包含已见类和未见类的所有类别的语义特征矩阵 是语义空间到共享子空间的映射矩阵． 式（８） 中第一项为语义空间到共享子空间的映射， 第二项为根据共享子空间重构语义空间， 权重系数ａ２ 调节这两项之间的比重． 通过空间映射差异最小化， 实现子空间学习获得语义空间类别间关系信息， 同时通过重构误差最小化， 实现子空间尽可能多地保存原始信息， 缓解了知识迁移过程中的信息损失问题．综上， 融合重构的子空间学习的目标函数如式（９） 所示：ｍｉ ｎＡｉ｜ ｜ 叭卜Ｚ｜ ｜ Ｈ｜Ｐ ＜Ｚ｜ ｜ ＨＷｘ， ｗ２， ｚＡｚ＼ ＼Ｗ２Ｓ Ｚ＼ ＼２ｆ＋＼ ＼Ｓ Ｗｔ２Ｚ＼ ＼２ｆ（９）本文采用交替迭代法求解目标函数（式（９） ）． 具体求解过程如下：（１） 固定Ｗ２ ， Ｚ， 更新 ， 得到优化函数如下式所示：ｍｉ ｎＡｉＷＷｊ Ｐ Ｚｌｌ＋ｌＰ Ｗ＾ＺＷｌ（ １０）可直接对Ｗ求导， 令▲ｚＺＺ＇Ｂ：ＧＵＤＺ，得：（ １１）上式可直接由Ｓｙｌ ｖｅｓｔｅｒ 方程求解．（２） 固定ＷｄＺ， 更新Ｗ２， 得到优化函数如下式所示：ｍｉ ｎＡ２＼ ＼Ｗ２ Ｓ Ｚ＼ ＼２ｆ＋＼ ＼Ｓ Ｗｔ２Ｚ＼ ＼２ｆ（ １２）Ｗ２直接对叭求导， 令Ｂ２＝ Ａ２ＳＳＴ， Ｃ２＝（Ａ２ ＋１） ＺＳＴ得：（１３）上式可直接由Ｓｙｌ ｖｅｓｔｅｒ 方程求解．（３） 固定 ， 更新Ｚ， 得到优化函数如下式所示：ｍｉ ｎＡｉ１ １＾＾ ２１ １＾＋１ １＾ ＾２１ １＾＋Ｚａ２｜ ｜ｗ２ｓ ｚ｜ ｜ ＨＩ ｜５ ｗＩｚＧ（ １４）得到ｍｉ ｎ｜ ｜ Ａ２  Ｚ｜ ｜＾，ｚ其中，＝Ｘｒ Ｗ． Ｒ Ａｉ Ｔａ２ ｗ２ ｓ， 衫３—Ａ２ １ｐＳ ｗＬ， ｊ为单位矩阵．对ｚ直接求导得Ｚ＝（ＢｊＢ３ ）１ＢｊＡ２（１５）３． ３ 算法流程本文基于子空间学习和重构的零样本分类方法中训练学习阶段流程如算法１ 所示．算法１． 基于子空间学习和重构的零样本学习．输人： 已见类别的类别语义矩阵Ｓ， ， 已见类别所有样本在视觉特征空间的特征矩阵Ｘ， ， 未见类别的类别语义矩阵 ， 最大迭代次数了输出： 叫， ｗ２ ， ｚ过程： 优化更新过程１． 初始化２， 恳， 県， 叭， ２Ｓｔｅｐｌ ．２． 通过足计算已见类别在视觉特征空间的类别原型广， 各维度的值是该类别在视觉特征空间中的所有样本在该维度上的均值３． 根据式（５ ）计算类别间关系矩阵２４．根据式（６ ）计算未见类别的类别原型＾Ｓｔｅｐ２．５． 计算所有类别的类别语义矩阵 和所有类别的类别原型矩阵６．ＦＯＲｉ＝ｌｔｏＩ７．根据式（１ １）计算映射矩阵８．根据式（１３）计算映射矩阵Ｗ２９．根据式（１ ５）计算所有类别在潜在共享子空间中的表示矩阵Ｚ１０．ＥＮＤＦＯＲ３．４ 零样本识别本文在零样本识别阶段采用最近邻方法识别未见类别样本． 由于本文方法涉及共享子空间、视觉空间和语义空间． 下面给出将待识别未见类别样本Ａ映射到不同空间下进行识别的具体步骤．３．４．１ 共享子空间中识别未见类别首先将Ａ从视觉空间映射到共享子空间中， 即ｚｕ＝Ｗ１ｘｕ．然后将语义空间中的类别语义矩阵 映射到４１６ 计 算机 学 报 ２０２１年共享子空间中， 得到未见类别在共享子空间中的新的表示厶＝Ｗ２Ｓ？．最后， 预测？对应的类别标签＿ｙ 为ｙ＝ａｒｇｍｉｎＤ（ ｚ？， ｚＪｕ） ，其中， Ｄ是一个距离函数， 本文采用的是余弦距离．４是矩阵Ｚ？中的第ｊ 列向量， 即第ｊ 个类别在共享子空间中的特征表示．３．４．２ 视觉空间识别未见类别在视觉空间的识别未见类别样本：ｒ？有以下两种方法：（１） 方法一利用３．２ 节学习到的映射矩阵将语义表示映射到视觉空间来进行未见类别的识别．首先将未见类别的语义表示矩阵映射到视觉空间得到预测的各未见类别的视觉特征矩阵夂＝Ｗ＾（Ｗ２Ｓ？ ）．然后预测；＾对应的类别标签３＾＝ａｒｇｍｉ ｎＤ〇？ ，记） ， 其中尺是矩阵夂中的第Ｊ 列向量， 即第Ｊ 个未见类别的视觉类别原型向量．（２） 方法二直接根据３．１ 节学习到的未见类别的视觉类别原型 ， 预测未见类别样本Ａ对应的类别标签＿ｙ＝ａｒｇｍｉ ｎ＿Ｄ（ ：ｒ？ ，７〇， 其中 是矩阵 中的第 列向量， 即第＿； 个未见类别的视觉类别原型向量．３．４．３ 语义空间中识别未见类别首先将Ａ从视觉空间映射到语义空间中， 即然后预测；＾对应的类别标签３＾＝ａｒｇｍｉｎ＿Ｄ（？？ ，ＪＯ， 其中匕为矩阵 中的第 列向量， 即第 个未见类别的语义表示向量．４ 实验结果与分析４． １ 数据集介绍及实验设置本文实验数据集采用零样本图像分类中普遍采用的四个公共基准数据集：Ａｎｉ ｍａｌ ｓｗｉｔｈＡｔｔｒｉｂｕｔｅｓ２（简记为ＡｗＡ２）［２ °］， ＣＵＢ ２００ ２０１１Ｂｉｒｄｓ（ 简记为ＣＵＢ）［ ２ １ ］， ａＰａｓｃａｌ ＆ａＹａｈｏｏＣ 简记为ａＰ＆Ｙ）［ ２ ２ ］和ＳＵＮＡｔｔｒｉｂｕｔｅＣ简记为ＳＵＮ）［２ ３］． 数据集ＡｗＡ２的属性维度为８５ 维， 其中４０ 个已见类别的３０３３７ 张图片作为训练集和１０ 个未见类别的６９８５ 张图片作为测试集， 共计３７３２２ 个图像样本． 数据集ＣＵＢ的属性维度为３１２ 维， 其中１５０ 个已见类别的８８５５ 张图片作为训练集和５０ 个未见类别的２９３３ 张图片作为测试集， 共计１１７８８ 个图像样本． 数据集ＳＵＮ的属性维度为１０２ 维， 其中６４５ 个已见类别的１２９００ 张图片作为训练集和７２ 个未见类别的１４４０ 张图片作为测试集， 共计１４３４０ 个图像样本． 数据集ａＰ＆Ｙ的属性维度为６４ 维， 其中２０ 个已见类别的１２６９５ 张图片作为训练集和１２ 个未见类别的２６４４ 张图片作为测试集， 共计１５３３９ 个图像样本．实验设置： 本文所有样本的视觉特征均采用Ｇｏｏｇｌ ｅＮｅｔ 提取的１０２４ 维的特征． 语义特征均采用各数据集中存储的人工定义的属性特征． 在实验过程中设置共享子空间维度为所有类别的总个数， 首先初始化所有类别在共享子空间中的表示Ｚ为所有类别的相似度矩阵．４． ２ 主流方法的对比实验为了验证本文所提的ＺＳＣＳＲ方法的有效性， 本文分别和相关的１０ 种主流方法进行了对比实验：Ｄｉ ｒｅｃｔＡｔｔｒｉ ｂｕｔｅＰｒｅｄｉ ｃｔｉ ｏｎ（ ＤＡＰ）［ Ｚ ］，ＥｍｂａｒｒａｓｓｉｎｇｌｙＳｉｍｐｌ ｅＺｅｒｏＳｈｏｔＬｅａｒｎｉ ｎｇ（ ＥＳＺＳＬ）［ Ｚ４］， Ａｔｔｒｉ ｂｕｔｅＬａｂｅｌＥｍｂｅｄｄｉ ｎｇ（ ＡＬＥ）［ ４］，ＳｔｒｕｃｔｕｒｅｄＪｏｉ ｎｔＥｍｂｅｄｄｉ ｎｇ（ ＳＪＥ）［５］，ＬａｔｅｎｔＡｔｔｒｉ ｂｕｔｅＤｉｃｔｉ ｏｎａｒｙ（ＬＤＡ）［１７］，Ｐｒｅｄｉ ｃｔｉｎｇＶｉｓｕａｌＥｘｅｍｐｌａｒｓ（ ＥＸＥＭ）［ Ｚ ５ ］，Ｓｅｍａｎｔｉ ｃＡｕｔｏｅｎｃｏｄｅｒ（ ＳＡＥ）［ １ ］，Ｓｅｍａｎｔｉｃｓ ＰｒｅｓｅｒｖｉｎｇＡｄｖｅｒｓａｒｉ ａｌ Ｅｍｂｅｄｄｉ ｎｇＮｅｔｗｏｒｋ（ ＳＰＡＥＮ）［ ７ ］，Ｓｙｎｔｈｅｓｉ ｚｅｄＣｌａｓｓｉ ｆｉｅｒｓ （ＳＹＮＣ）［２ ６］禾口ＣｏｕｐｌｅｄＤｉｃｔｉ ｏｎａｒｙＬｅａｒｎｉｎｇ（ ＣＤＬ）［ １ ５ ］． 同时为了验证本文提出框架每一部分的有效性， 本文对不同的子任务进行实验对比， ＺＳＣＳＲＥ是指删去原始空间到子空间的映射部分， ＺＳＣＳＲＤ是指删去子空间重构原始空间部分， ＺＳＣＳＲＰ是指删去学习未见类别视觉特征原型的部分． 表１ 为对比实验结果．表１ 不同方法的分类准确率 （单位： ％）ＭｅｔｈｏｄＡｗＡ２ＣＵＢａＰ＆ＹＳＵＮ￣ＤＡＰＥＳＺＳＬＡＬＥＳＪＥＬＤＡＥＸＥＭＳＡＥＳＰ ＡＥＮＳＹＮＣＣＤＬＺＳＣＳＲＺＳＣＳＲＥＺＳＣＳＲＤＺＳＣＳＲＰ ４２４０６３．０赵 鹏等：一种基于融合重构的子空间学习的零样本图像分类方法 ４１ ７２ 期表１ 中， ＤＡＰ是零样本图像分类中较为经典的方法， 训练过程中针对每个属性训练对应的属性分类器， 对测试样本直接预测各属性的概率． 但是属性分类器是分开训练的， 并没有学习到属性间的关系，ＺＳＣＳＲ相对ＤＡＰ在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了３３．６％，１５．３％，３１．５％和２３．１ ％． ＥＳＺＳＬ引人了一个双层的线性模型， 分别建模特征与语义之间的关系和语义与标签之间的关系， 在双层的线性模型知识迁移过程中会存在信息损失的问题． 相对ＥＳＺＳＬ， ＺＳＣＳＲ在数据集ＡｗＡ２、 ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了８．８％， ２１．３％， ２７．４％和１３．２％．ＡＬＥ和ＳＪＥ都是通过学习兼容性函数， 来度量图像和语义空间的兼容性． ＳＪＥ是在ＡＬＥ的基础上，联合学习多个兼容性函数来帮助预测未见类别的标签． ＺＳＣＳＲ相对于ＡＬＥ在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了２１．６％，８．８％，１１．６％和７．７％． ＺＳＣＳＲ相对于ＳＪＥ在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了１０．２ ％，５．１％，１４．９％和２２．５％．ＬＤＡ将学习获得的潜在属性空间作为语义空间， 潜在属性为已见属性的线性组合， 由于该模型通过已见类别进行训练， 在预测未见类别时， 使得未见类别易偏向于已见类， 使分类产生错误． ＺＳＣＳＲ相对于ＬＤＡ在数据集ＡｗＡ２、 ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了７％， ６．８％， ３７．５％和７．２％．ＥＸＥＭ将语义属性映射到视觉空间， 使用核回归的方法来匹配语义属性对应的视觉特征聚类中心． ＺＳＣＳＲ相对于ＥＸＥＭ在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了１３．６％， ６．５ ％， ９．３％和３％． ＳＡＥ和ＳＰＡＥＮ都采用了重构的思想， 用编码和解码两个过程来学习视觉特征空间到语义空间的映射． ＳＰＡＥＮ利用已见类别样本作为训练集， 将子空间学习分成了两个子任务， 分别实现重构和分类，并且在两个子任务中利用对抗学习实现零样本分类． ＺＳＣＳＲ相对于ＳＡＥ 在数据集ＡｗＡ２、 ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了４．５％，３．６％，１７．４％和８． １％， ＺＳＣＳＲ相对于ＳＰＡＥＮ在数据集ＡｗＡ２、 ＣＵＢ、 ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了３．８％， ６．１％， ２７．５％和３．８％． ＳＹＮＣ和ＣＤＬ都是采用了字典学习的方法． ＳＹＮＣ通过对这些字典的基的组合来合成未见类别分类器． ＣＤＬ则是通过字典的基来学习子空间， 在子空间中对齐语义和特征信息． ＺＳＣＳＲ相对于ＣＤＬ 在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分另ＩＪ提高了１８．５％， ２．５％， ４０．１％和１９．９％． ＺＳＣＳＲ相对于ＳＹＮＣ在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了２０．１％，４％，２８％和９．７％．相对于ＺＳＣＳＲＥ， ＺＳＣＳＲ 在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了４０．８％， ９．５％，１０．９％和１３．８ ％． 相对于ＺＳＣＳＲＤ，ＺＳＣＳＲ在数据集ＡｗＡ２、ＣＵＢ、 ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了６．４％， ６％， ４．９％和５．６％．相对于ＺＳＣＳＲＰ， ＺＳＣＳＲ在数据集ＡｗＡ２、ＣＵＢ、ａＰ＆Ｙ和ＳＵＮ上的分类准确率分别提高了４．１％，５．８％， ９．１％和２．７％． 从实验结果看， ＺＳＣＳＲ同时利用已见类别和未见类别信息， 通过学习视觉空间和语义空间到子空间的映射， 学习到了原始空间中的可判别信息和类别关系信息， 并且利用重构， 减少信息损失， 在未见样本识别上获得较好的识别效果．４． ３ 不同的空间中零样本识别对比实验本文提出的方法在识别阶段， 可以分别在三个空间下进行零样本识别． 为了验证不同空间下零样本识别的效果， 本文进行了对比实验， 对比实验的方法分别为３．４ 节中介绍的４ 种方法： 共享子空间中的识别方法， 语义空间中的识别方法， 视觉空间下的识别方法一和视觉空间下的识别方法二． 实验结果如表２ 所亦．表２ 不同空间中识别方法的识别准确率（单位： ％）ＡｗＡ２ ＣＵＢ ＳＵＮ ａＰ＆Ｙ语义空间７９． ７ ４５． ５ ５４． ８ ２０． ４共享子空间 ８０． ６ ５２． ７ ６１． ７ ５１． ６视觉空间方法一８４．１ ５１． ３ ６３．０ ４５． ３视觉空间方法二 ７１． ６ ３５． ４ ５８． ７ １５． ４由表２ 可以看出， 对于不同的数据集， 每个空间的表示能力不同． 实验结果显示， 在４ 个数据集上，视觉空间中方法一和共享子空间的识别性能均高于语义空间的， 说明视觉空间比语义空间包含更多的判别性信息， 共享子空间通过学习了视觉空间和语义空间的互补信息， 相较于语义空间有了一定程度的提升． 对于数据集ＣＵＢ和ａＰ＆Ｙ， 在共享子空间中的识别性能更高， 因为在共享子空间中同时学习到了图像视觉空间的判别性信息， 也学习到了语义空间类别间关系的信息， 两个空间中的信息融合互补， 所以在共享子空间中能够更好地对未见类别进行识别． 对于数据集ＡｗＡ２ 和ＳＵＮ， 在视觉空间中方法一的识别能力高于共享子空间． 在数据集４１８ 计 算机 学 报 ２０２１年ＡｗＡ２ 中， 每个类别包含了足够多的图片数量， 具有足够的判别性信息能够很好地概括每个类别， 但是类别数较少， 没有足够的类别间关系信息， 所以图像视觉空间的识别能力更好． 数据集ＳＵＮ虽然包含了较多的类别数， 但是由于ＳＵＮ是场景数据集，涵盖的类别范围较广， 用于描述每个类别的语义属性维度却没有足够多， 所以ＳＵＮ的语义并没有足够好地描述所有类别， 因而语义空间中的关系信息对分类结果的提升影响不大．视觉空间方法二是仅利用３．１ 节方法学习未见类别的视觉类别原型， 并未进一步利用３．２ 节融合重构的子空间学习， 识别性能虽然相较于其它方法来说差一点， 但是也具有一定的识别能力， 说明本文通过关系矩阵学习到的未见类别的类别原型能够较好地拟合未见类别的真实分布．为了进一步验证本文方法的适应性， 本文将预测标签集扩展到包括已见类和未见类的所有类别的标签集， 分别在四个不同的数据集上进行了对比实验， 实验结果如表３ 所示．表３ 预测标签集扩展后的不同空间中识别方法的识别准确率（单位： ％）ＡｗＡ２ ＣＵＢ ＳＵＮ ａＰ＆Ｙ语义空间 ４ ７． ６ ２ １． １ ３８． ４ １５． ６共享子空间５０． ３ ３２． ３４０． ０３８ ． ２视觉空间方法一５６． ４ ３３． ２ ４９． ６ ３０． ２视觉空间方法二 ４ ２． ７ ２０． ４ ３２． ５ １０． ９对比表２ 和表３， 可以看出， 当标签集扩展到包含了所有已见类别和未见类别的标签集时， 分类的准确率会有所下降， 这是因为部分未见类别图像会被识别成与之相似的已见类别． ＡＷＡ２ 数据集在各空间中识别准确率下降最多， 其次是ＣＵＢ数据集．因为ＡＷＡ２ 数据集为动物数据集， ＣＵＢ为鸟类数据集， 有较多的相似类别， 所以会使得部分未见类别错误分类成相似的已见类别．４．４ 参数分析为检验ＺＳＣＳＲ中各参数（ 义１， 义２ 和迭代次数ｚ）对模型性能的影响， 本节在ＳＵＮ数据集上进行对比实验． 实验中分别固定其它参数， 调节其中一个参数， 实验分别给出在不同空间中零样本识别的准确率． 以下实验结果中视觉空间的识别方法均为视觉空间方法一的结果．首先对参数〗： 对模型性能的影响进行对比实验， 设参数Ａ２ ＝１００， 迭代次数ｆ＝３１． 实验结果如表４ 所示， 可以看出 对三个空间中的识别效果的影响是不同的．Ａ： 是调节视觉空间到共享子空间映射和重构过程的重要性参数．当Ａｌ 等于０ 时， 相当于在视觉空间到共享子空间学习映射的过程中， 没有编码过程只有解码过程， 所以在学习共享子空间表示Ｚ的过程中， 没有学习到视觉特征空间中类别原型的判别性信息．Ａ： 等于１ 时， 编码和解码过程重要性相同， 此时视觉空间获得了最高的识别准确率， 随着又： 的增大， 当 等于１０ 时， 语义空间获得了最高的识别准确率．当 等于１００ 时共享子空间获得了最高的识别准确率， 说明此时在共享子空间中很好地学习到了视觉特征空间中的判别性信息， 同时通过重构的过程减少了视觉特征空间到共享子空间映射过程中的信息损失．当—％时， 几乎忽略了重构过程， 使得在映射的过程中信息损失增大， 最终识别准确率降低．表４ 不同Ａ， 下在三个不同空间中的识别准确率（单位： ％）Ａｉ０１１０１００２ ００３００４００５００６００７００８ ００９００１０００２０００共孚子空间５０． ７５３． １５５． ０６１． ７５ ８． ９５８． ３５８． ７５９． ０５９． ２５９． ２５９． ５５ ９． ２５８． ７５１． ２视觉空间５７． １６３． ０６１． ８５７． ８５ ６． ８５７． ４５８． ４５９． ２５９． ７５９． ７５９． ９６０． ０６０． ２５７． ６语义空间４５． ８５３． ５５４．８５０． ０４ ５． ６４３． ２４３． １４２． ９４２． ９４３． １４２． ８４２． ９４２． ８４０． ０然后对参数ａ２ 对模型性能的影响进行对比实验， 设参数Ａｉ＝１， 迭代次数ｆ＝３１， 实验结果如表５ 所示． 可以看到， 共享子空间在义２ 等于１０ 时，获得了最高的识别准确率． 在视觉空间和语义空间中， 当Ａ２ 等于１００ 时， 均获得了最高的识别准确率．Ａ２ 是调节语义空间到共享子空间映射的编码过程和重构的解码过程的重要性参数．Ａ２ 等于０时， 仅有重构过程， 无法学习到原语义空间中的类别信息． 随着Ａ２ 的增大， 编码过程的重要性逐渐增强， 能够通过编码过程学习语义空间的信息， 同时解码的重构过程减少了语义空间到共享子空间映射过程中的信息损失， 更好地学习了原语义空间的类别信息以及类别间关系信息．当Ａ２ 继续增大时， 重构过程的相对重要性降低， 直至被忽略， 使得原语义空间信息损失增加， 导致识别准确率下降．赵 鹏等：一种基于融合重构的子空间学习的零样本图像分类方法 ４１ ９２ 期表５ 不同Ａ２ 下三个不同空间中的识别准确率（单位： ％）入２０ １ １０ １００ ２ ００ ３００ ４００ ５００ ６００ ７００ ８ ００ ９００ １０００ ２０００共享子空间２１． ７ ４７．９６１．７５７． ５ ５３． １ ５３．３５３．３５３． １ ５２． ８ ５２． ４ ５２．３５２． ２ ５２． ２ ５１． ６视觉空间 １５． ８ ４６． ０ ６１． ８ ６３ ． ０ ６２． ４ ６２． ２ ６２． ２ ６２． １ ６２． １ ６２． ２ ６１． ９ ６１． ８ ６ １． ９ ６１． ７语义空间 １２． ４ ３９． ５ ５３． ５ ５４．８ ５ ３． ４ ５３． １ ５２． ８ ５２． ５ ５２． ２ ５１． ９ ５２． ０ ５２． ０ ５２． １ ５０． ８最后对迭代次数ｚ 对模型性能的影响进行对比实验， 设参数＝ １，Ａ２＝ １００． 实验结果如表６ 所示，可以看出共享子空间中， 识别准确率在迭代２８ 次左右时达到收敛； 在视觉空间中， 识别准确率在迭代１ 〇 次左右时达到收敛； 在语义空间中， 识别准确率在迭代３１ 次左右时达到收敛．表６ 不同迭代次数Ｚ 下的识别准确率（单位： ％）ｉ １ ４ ７ １０ １３ １６ １９ ２２ ２５ ２８ ３１ ３４共享子空间 ３５． ０ ５１． ２ ５３． ８ ５７． ６ ５８． ８ ５９． ３ ６０． ７ ６１． １ ６１． ４ ６１． ７ ６１． ７ ６１． ７视觉空间 ４４． ９ ６２． ０ ６２． ３ ６３．０ ６３． ０ ６３． ０ ６３． ０ ６３． ０ ６２． ９ ６２． ９ ６３． ０ ６３． ０语义空间 ２８． ０ ５０． ５ ５１． ４ ５２． １ ５２． ７ ５３． ０ ５３． ５ ５３． ９ ５４． ２ ５４． ５ ５４． ８ ５４． ８５ 总 结随着大规模图像数据集（ 例如ＩｍａｇｅＮｅｔ ） 的出现， 图像分类研究取得了极大的进展． 然而， 新的图像类别和新的分类需求（ 例如细粒度图像分类） 不断涌现． 获取足够的新类别的标注样本成本太大， 甚至在特定领域是非常困难的． 零样本图像分类具有非常重要的研究价值．针对零样本分类中知识迁移过程中信息损失和域偏移问题， 本文充分利用已见类别和未见类别信息， 学习语义空间的类别间关系， 同时将学习到的类别间关系迁移到视觉空间， 从而学习获得未见类别的视觉类别原型． 同时通过共享子空间的学习和重构的思想， 学习获得共享子空间， 在共享子空间中保存语义空间的关系信息和视觉空间中的判别性信息， 两个空间中的信息互补， 从而能够更好地表示各类别， 提升零样本识别效果．参 考 文 献［１］ＫｏｄｉｒｏｖＥ，ＸｉａｎｇＴａｏ，ＧｏｎｇＳｈａｏｇａｎｇ． Ｓｅｍａｎｔ ｉｃａｕｔｏｅｎｃｏｄｅｒｆｏｒｚｅｒｏ ｓｈｏｔｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉｉ， ＵＳＡ，２０１７ ：４ ４４７ ４４５６［２］ＬａｍｐｅｒｔＣＩ Ｉ ， Ｎｉｃｋｉ ｓｃｈＩ Ｉ ， Ｉ ｌａｒｍｅｌｉｎｇＳ． Ｌｅａｒｎｉｎｇｔｏｄｅｔ ｅｃｔｕｎｓｅｅｎｏｂｊｅｃｔｃｌ ａｓｓｅｓｂｙｂｅｔ ｗｅｅｎ ｃｌａｓｓａｔ ｔ ｒｉｂｕｔ ｅｔｒａｎｓｆ ｅｒ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｆｌｏｒｉｄａ，ＵＳＡ，２００９； ９５１ ９５８［３］ＬａｍｐｅｒｔＣＩ Ｉ， ＮｉｃｋｉｓｃｈＩ Ｉ，Ｉ ｌ ａｒｍｅｌｉｎｇＳ． Ａｔ ｔ ｒｉｂｕｔ ｅｂａｓｅｄｃｌａｓｓｉｆｉｃａｔ ｉｏｎｆｏｒｚｅｒｏ ｓｈｏｔｖｉｓｕａｌｏｂｊｅｃｔ ｃａｔｅｇｏｒｉｚａｔ ｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔ ｔ ｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ ＾２０１４ ，３ ６（ ３）： ４５３ ４ ６５［４］Ａｋａｔ ａＺ，ＰｅｒｒｏｎｎｉｎＦ？Ｉ ｌ ａｒｃｈａｏｕｉＺ． Ｌａｂｅｌｅｍｂｅｄｄｉ ｎｇｆｏｒａｔ ｔ ｒｉｂｕｔ ｅｂａｓｅｄｃｌａｓｓｉｆｉｃａｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏ ｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ．Ｐｏｒｔ ｌａｎｄ， ＵＳＡ，２０１３： ８ １９ ８２６［５］Ａｋａｔ ａＺ， ＲｅｅｄＳ， Ｗａｌ ｔ ｅｒＤ， ｅｔａｌ． Ｅｖａｌ ｕａｔｉｏｎｏｆｏｕｔｐｕｔｅｍｂｅｄｄｉｎｇｓｆｏｒｆｉｎｅｇｒａｉｎｅｄｉｍａｇｅｃｌａｓｓｉｆ ｉｃａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｂｏｓｔｏｎ， ＵＳＡ，２０１５： ２９２ ７ ２９３６［６］ＭｏｒｇａｄｏＰ？ＶａｓｃｏｎｃｅｌｏｓＮ． Ｓｅｍａｎｔｉ ｃａｌ ｌｙｃｏｎｓｉｓｔ ｅｎｔｒｅｇｕｌａｒｉｚａｔｉｏｎｆ ｏｒｚｅｒｏ ｓｈｏｔｒｅｃｏｇｎｉｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ．Ｈａｗａｉｉ， ＵＳＡ， ２０１７； ２０ ３７ ２０４６［７］ＣｈｅｎＬｏｎｇ，ＺｈａｎｇＩ Ｉ ａｎｗａｎｇ？ＸｉａｏＪｕｎ，ｅｔ ａｌ． Ｚｅｒｏ ｓｈｏｔｖｉ ｓｕａｌｒｅｃｏｇｎｉｔ ｉｏｎｕｓｉｎｇｓｅｍａｎｔｉｃｓｐｒｅｓｅｒｖｉｎｇａｄｖｅｒｓａｒｉａｌｅｍｂｅｄｄｉｎｇｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｕｔ ａｈ， ＵＳＡ，２０ １８： １０４３ １０ ５２［８］ＳｏｎｇＪｉｅ，ＳｈｅｎＣｈｅｎｇｃｈａｏ ， ＹａｎｇＹｅｚｈｏｕ， ｅｔ ａｌ． Ｔｒａｎｓｄｕｃｔｉｖｅｕｎｂｉａｓｅｄｅｍｂｅｄｄｉｎｇｆ ｏｒｚｅｒｏ ｓｈｏｔｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｕｔ ａｈ， ＵＳＡ，２０１８： １０２４ １０３３［９］Ａｋａｔ ａＺ，ＰｅｒｒｏｎｎｉｎＦ，Ｉ ｌ ａｒｃｈａｏｕｉＺ， ＳｃｈｍｉｄＣ． Ｌａｂｅｌｅｍｂｅｄｄｉｎｇｆｏｒｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔ ｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔ ｅｌ ｌｉｇｅｎｃｅ， ２０１６， ３８（７）：１４２５ １４３８［１０］ＡｎｎａｄａｎｉＹ， ＢｉｓｗａｓＳ． Ｐｒｅｓｅｒｖｉｎｇｓｅｍａｎｔｉｃｒｅｌａｔｉｏｎｓｆｏｒｚｅｒｏｓｈｏｔ ｌｅａｒｎｉ ｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｕｔ ａｈ， ＵＳＡ，２０ １８： ７６０３ ７６１２［１１］ＬａｚａｒｉｄｏｕＡ， ＤｉｎｕＧ，ＢａｒｏｎｉＭ． Ｉ ｌ ｕｂｎｅｓｓａｎｄｐｏｌｌｕｔ ｉｏｎ：Ｄｅｌｖｉ ｎｇｉｎｔｏｃｒｏｓｓ ｓｐａｃｅｍａｐｐｉｎｇｆｏｒｚｅｒｏ ｓｈｏｔｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＭｅｅｔ ｉｎｇｏｆ ｔｈｅＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔ ａｔｉｏｎａｌＬｉｎｇｕｉｓｔ ｉｃｓ＆－ｔｈｅＩｎｔ ｅｒｎａｔ ｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ． Ｂｅｉｊｉｎｇ？ Ｃｈｉｎａ？ ２０１５： ２７０２８０［１２］ＤｉｎｕＧ， ＬａｚａｒｉｄｏｕＡ， ＢａｒｏｎｉＭ． Ｉ ｍｐｒｏｖｉｎｇｚｅｒｏｓｈｏｔ ｌｅａｒｎｉｎｇ４２０ 计 算机 学 报 ２０２１年ｂｙｍｉｔｉｇａｔｉ ｎｇｔｈｅｈｕｂｎｅｓｓｐｒｏｂｌｅｍ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ． ＳａｎＤｉｅｇｏ，ＵＳＡ，２０１５ ： １０－２０［１３］ＳｈｉｇｅｔｏＹ，ＳｕｚｕｋｉＩ， Ｉ ｌａｒａＫ，ｅｔａｌ． Ｒｉｄｇｅｒｅｇｒｅｓｓｉｏｎ，ｈｕｂｎｅｓｓ？ａｎｄｚｅｒｏ－ｓｈｏｔ ｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉ ｎｇａｎｄＰｒｉ ｎｃｉｐｌｅｓａｎｄＰｒａｃｔｉｃｅｏｆＫｎｏｗｌｅｄｇｅ ＤｉｓｃｏｖｅｒｙｉｎＤａｔａｂａｓｅｓ．Ｐｏｒｔｏ，Ｐｏｒｔｕｇａｌ，２０１５ ：１３５－１５１［１４］ＬｉＹａｎａｎ，ＷａｎｇＤｏｎｇｈｕｉ ，Ｉ ＩｕＩ ｌｕａｎｈａｎｇ，ｅｔａｌ． Ｚｅｒｏ－ｓｈｏｔｒｅｃｏｇｎｉ ｔｉｏｎｕｓｉｎｇｄｕａｌｖｉｓｕａｌｓｅｍａｎｔｉｃｍａｐｐｉｎｇｐａｔｈｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ． Ｈａｗａｉｉ，ＵＳＡ，２０ １７：５２０７－５２１５［１５］ＪｉａｎｇＩ ｌｕａｊｉｅ ，ＷａｎｇＲｕｉｐｉ ｎｇ， ＳｈａｎＳｈｉｇｕａｎｇ，ＣｈｅｎＸｉｌｉｎ．Ｌｅａｒｎｉｎｇｃｌａｓｓｐｒｏｔｏｔｙｐｅｓｖｉａｓｔｒｕｃｔｕｒｅａｌｉｇｎｍｅｎｔｆｏｒｚｅｒｏ－ｓｈｏｔｒｅｃｏｇｎｉ ｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉ ｏｎ． Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，２０１８ ：１２ １－１３８［１６］ＦｕＹａｎｗｅｉ，Ｉ ｌｏｓｐｅｄａｌｅｓＴＭ，ＸｉａｎｇＴａｏ， ＧｏｎｇＳｈａｏｇａｎｇ．Ｔｒａｎｓｄｕｃｔｉｖｅｍｕｌｔｉ－ｖｉｅｗｚｅｒｏ－ｓｈｏｔｌ ｅａｒｎｉｎｇ． ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌ ｉｇｅｎｃｅ，２０ １５，３７（１１） ；２３ ３２－２３４５［１７］ＪｉａｎｇＩ ｌｕａｊｉｅ，ＷａｎｇＲｕｉｐｉｎｇ，ＳｈａｎＳｈｉｇｕａｎｇ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｄｉｓｃｒｉｍｉｎａｔｉｖｅｌａｔｅｎｔａｔｔｒｉｂｕｔｅｓｆｏｒｚｅｒｏ－ｓｈｏｔｃｌａｓｓｉｆｉ ｃａｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ，Ｉｔａｌｙ，２０１７ ：４２３３－４２４２［１８］ＸｉａｎＹｏｎｇｑｉｎ，ＡｋａｔａＺ，ＳｈａｒｍａＧ，ｅｔａｌ ．Ｌａｔｅｎｔ ｅｍｂｅｄｄｉｎｇｓｆｏｒｚｅｒｏ－ｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． ＬａｓＶｅｇａｓ？ＵＳＡ，２０１６ ：６９－７７［１９］ＦｕＹａｎｗｅｉ ，Ｉ ｌｏｓｐｅｄａｌｅｓＴＭ，Ｘｉａｎｇ Ｔａｏ，ｅｔａｌ．Ｔｒａｎｓｄｕｃｔｉｖｅｍｕｌｔｉ－ｖｉｅｗｅｍｂｅｄｄｉｎｇｆｏｒｚｅｒｏ－ｓｈｏｔｒｅｃｏｇｎｉｔｉｏｎａｎｄａｎｎｏｔａｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｚｕｒｉｃｈ，Ｓｗｉｔｚｅｒｌａｎｄ，２０１４ ：５８４－５９９［２０］ＸｉａｎＹｏｎｇｑｉｎ，ＬａｍｐｅｒｔＣＩ Ｉ，ＳｃｈｉｅｌｅＢ，ＡｋａｔａＺ．Ｚｅｒｏ－ｓｈｏｔｌｅａｒｎｉｎｇ—Ａｃｏｍｐｒｅｈｅｎｓｉｖｅｅｖａｌｕａｔｉｏｎｏｆｔｈｅｇｏｏｄ，ｔｈｅｂａｄａｎｄｔｈｅｕｇｌｙ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌ ｉｇｅｎｃｅ，２０１９，４０（９）： ２２５１－２２ ６５［２ １］ＷａｈＣ，ＢｒａｎｓｏｎＳ，ＷｅｌｉｎｄｅｒＰ，ｅｔａｌ ．ＴｈｅＣａｌｔｅｃｈ－ＵＣＳＤＢｉｒｄｓ－２００－２０１１ｄａｔａｓｅｔ．Ｐａｓａｄｅｎａ，ＵＳＡ：ＣａｌｉｆｏｒｎｉａＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙＣｏｍｐｕｔａｔｉｏｎ＆ＮｅｕｒａｌＳｙｓｔｅｍｓ？ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＣＮＳ－ＴＲ－２０１１－００１ ，２０１１［２２］ＦａｒｈａｄｉＡ， ＥｎｄｒｅｓＩ，Ｉ ｌｏｉｅｍＤ，ＦｏｒｓｙｔｈＤ．Ｄｅｓｃｒｉｂｉｎｇｏｂｊｅｃｔｓｂｙｔｈｅｉｒａｔｔｒｉｂｕｔｅｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉ ｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｆｌ ｏｒｉｄａ，ＵＳＡ，２００９： １７７８－１７８５［２３］ＰａｔｔｅｒｓｏｎＧ，ＸｕＣｈｅｎ，ＳｕＨａｎｇ，Ｈａｙｓ Ｊ． ＴｈｅＳＵＮａｔｔｒｉｂｕｔｅｄａｔａｂａｓｅ ：Ｂｅｙｏｎｄｃａｔｅｇｏｒｉ ｅｓｆｏｒｄｅｅｐｅｒｓｃｅｎｅｕｎｄｅｒｓｔａｎｄｉｎｇ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２０１４ ， １０８ （１－２） ：５９－８１［２４］Ｒｏｍｅｒａ－ＰａｒｅｄｅｓＢ，ＴｏｒｒＰＩ ＩＳ． Ａｎｅｍｂａｒｒａｓｓｉｎｇｌｙｓｉｍｐｌｅａｐｐｒｏａｃｈｔｏｚｅｒｏ－ｓｈｏｔｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３２ｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．Ｌｉｌ ｌｅ， Ｆｒａｎｃｅ，２０１５ ： ２１５２－２１ ６１［２５］Ｃｈａｎｇｐｉ ｎｙｏＳ，ＣｈａｏＷｅｉ－Ｌｕｎ，ＳｈａＦｅｉ． Ｐｒｅｄｉｃｔｉｎｇｖｉｓｕａｌｅｘｅｍｐｌａｒｓｏｆｕｎｓｅｅｎｃｌａｓｓｅｓｆｏｒｚｅｒｏ－ｓｈｏｔｌｅａｒｎｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ，Ｉｔａｌｙ，２０１７ ： ３４９６－３５０５［２ ６］Ｃｈａｎｇｐｉ ｎｙｏＳ， ＣｈａｏＷｅｉ－Ｌｕｎ， ＧｏｎｇＢｏｑｉ ｎｇ， ＳｈａＦｅｉ．Ｓｙｎｔｈｅｓｉｚｅｄｃｌ ａｓｓｉｆｉｅｒｓｆｏｒｚｅｒｏ－ｓｈｏｔｌｅａｒｎｉｎｇ／ ／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉ ｏｎ． ＬａｓＶｅｇａｓ，ＵＳＡ，２０１６ ：５３２７－５３３６ＺＨＡＯＰｅｎｇ，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ，Ｍ．Ｓ．ｓｕｐｅｒｖｉ ｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｍａｃｈｉｎｅｌ ｅａｒｎｉｎｇａｎｄｉ ｍａｇｅｕｎｄｅｒｓｔａｎｄｉｎｇ．ＷＡＮＧＣｈｕｎ－Ｙａｎ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉ ｎｃｌ ｕｄｅｍａｃｈｉ ｎｅｌ ｅａｒｎｉｎｇａｎｄｉ ｍａｇｅｃｌａｓｓｉｆｉ ｃａｔｉｏｎ．ＺＨＡＮＧＳｉ－Ｙｉｎｇ，Ｍ． Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｎｄｉ ｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＬＩＵＺｈｅｎｇ－Ｙｉ ，Ｐｈ．Ｄ． ， ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ ，Ｍ．Ｓ．ｓｕｐｅｒｖｉｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．ＢａｃｋｇｒｏｕｎｄＩｍａｇｅｃｌ ａｓｓｉｆｉｃａｔｉｏｎｉｓａｖｅｒｙｉｍｐｏｒｔａｎｔｔａｓｋｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｉｍａｇｅｕｎｄｅｒｓｔａｎｄｉｎｇ．Ｔｒａｄｉｔｉｏｎａｌｉ ｍａｇｅｃｌａｓｓｉｆｉｅｒｃａｎｏｎｌｙｃｌａｓｓｉｆｙｔｈｅｓａｍｐｌ ｅｓｆｒｏｍｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓｗｈｉｃｈｈａｖｅａｐｐｅａｒｅｄｉｎｔｈｅｔｒａｉｎｉｎｇｄａｔａｓｅｔ．Ｂｕｔｉｎｒｅａｌ－ｗｏｒｌｄａｐｐｌ ｉｃａｔｉｏｎｓ，ｎｅｗｃａｔｅｇｏｒｉｅｓｃｏｎｔｉｎｕｅｔｏｅｍｅｒｇｅ．Ｉｔｉｓｖｅｒｙｔｉｍｅ－ｃｏｎｓｕｍｉ ｎｇｔｏｃｏｌ ｌ ｅｃｔｅｎｏｕｇｈｌ ａｂｅｌ ｅｄｓａｍｐｌｅｓｏｆｔｈｅｎｅｗｃａｔｅｇｏｒｙａｎｄｒｅｔｒａｉｎｔｈｅｃｌａｓｓｉｆｉｅｒ．Ａｓｗｅｋｎｏｗ，ｈｕｍａｎｓａｒｅｖｅｒｙｇｏｏｄａｔｒｅｃｏｇｎｉｚｉｎｇｏｂｊｅｃｔｓｗｉｔｈｏｕｔｓｅｅｉｎｇａｎｙｖｉｓｕａｌｓａｍｐｌ ｅ．Ｉｎｓｐｉｒｅｄｂｙｔｈｅａｂｏｖｅａｂｉｌｉｔｙｏｆｈｕｍａｎ，ｚｅｒｏ－ｓｈｏｔｃｌ ａｓｓｉｆｉｃａｔｉｏｎｅｍｅｒｇｅｓａｎｄｈａｓｂｅｃｏｍｅａｖｅｒｙｉｍｐｏｒｔａｎｔｔｏｐｉｃｉｎｒｅｃｅｎｔｙｅａｒｓ．Ｚｅｒｏ－ｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎｈａｓｓｈｏｗｎｔｏｂｅｏｆｕｔｉｌ ｉｔｙｉｎｖａｒｉｏｕｓａｐｐｌ ｉｃａｔｉｏｎｓ ， ｓｕｃｈａｓｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ，ａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ，ａｃｔｉｖｉ ｔｙｒｅｃｏｇｎｉｔｉｏｎ，ｏｂｊｅｃｔｒｅｃｏｇｎｉ ｔｉｏｎ，ｅｖｅｎｔｄｅｔｅｃｔｉｏｎ，ａｎｄ赵 鹏等：一种基于融合重构的子空间学习的零样本图像分类方法 ４２１２ 期ｓｏｏｎ． Ｚｅｒｏ ｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｉｍｓｔｏｕｔｉｌｉｚｅｔｈｅｓｅｍａｎｔｉｃｐｒｏｔｏｔｙｐｅｓｏｆａｌ ｌｃａｔｅｇｏｒｉｅｓａｎｄｔｈｅｖｉｓｕａｌｆｅａｔｕｒｅｏｆｔｈｅｄａｔａｆｒｏｍｔｈｅｓｅ ｅｎｃａｔｅｇｏｒｉ ｅｓｔｏｃｌ ａｓｓｉ ｆｙｔｈｅｄａｔａｆｒｏｍｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓ．Ｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓｒｅｆｅｒｔｏｔｈｅｃａｔｅｇｏｒｉｅｓｗｉｔｈｓｕｆｆｉｃｉｅｎｔｌａｂｅｌｅｄｄａｔａ． Ｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉｅｓｒｅｆｅｒｔｏｔｈｅｎｅｗｃａｔｅｇｏｒｉ ｅｓｗｉｔｈｏｕｔｌａｂｅｌ ｅｄｄａｔａ．Ｔｈｅｓｅｍａｎｔｉｃｐｒｏｔｏｔｙｐｅｍｅａｎｓｔｈｅｅｍｂｅｄｄｅｄｌａｂｅｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｉ ｎａｓｅｍａｎｔｉｃｓｐａｃｅ．Ｓｕｃｈａｓｅｍａｎｔｉｃｓｐａｃｅｃａｎｂｅａｓｅｍａｎｔｉ ｃａｔｔｒｉｂｕｔｅｓｐａｃｅｏｒａｓｅｍａｎｔｉ ｃｗｏｒｄｖｅｃｔｏｒｓｐａｃｅ． Ｚｅｒｏ ｓｈｏｔｃｌａｓｓｉｆｉ ｃａｔｉｏｎｃａｎｂｅｔａｋｅｎａｓａｓｐｅｃｉａｌｃａｓｅｏｆｔｒａｎｓｆｅｒｌ ｅａｒｎｉｎｇ， ｗｈｅｒｅｔｈｅｓｅｅｎｃａｔｅｇｏｒｉ ｅｓａｒｅｔｈｅｓｏｕｒｃｅｄｏｍａｉ ｎｃａｔｅｇｏｒｉｅｓａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉ ｅｓａｒｅｔｈｅｔａｒｇｅｔｄｏｍａｉ ｎｃａｔｅｇｏｒｉｅｓ．Ｔｈｅｋｅｙｐｒｏｂｌ ｅｍｓｉｎｚｅｒｏ ｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｒｅｗｈａｔａｒｅｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓａｎｄｔｈｅｕｎｓｅｅｎｃａｔｅｇｏｒｉ ｅｓａｎｄｈｏｗｔｏｃｌａｓｓｉｆｙｔｈｅｕｎｓｅｅｎｄａｔａａｃｃｕｒａｔｅｌｙ． Ｍｏｓｔｅｘｉｓｔｉ ｎｇｚｅｒｏｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓｌｅａｒｎａｍａｐｐｉｎｇｆｕｎｃｔｉｏｎｆｒｏｍｔｈｅｖｉ ｓｕａｌｓｐａｃｅｔｏｔｈｅｓｅｍａｎｔｉｃｅｍｂｅｄｄｉｎｇｓｐａｃｅｏｎｌ ｙｕｓｉｎｇｔｈｅｖｉｓｕａｌｆｅａｔｕｒｅｓｏｆｔｈｅｌａｂｅｌ ｅｄｔｒａｉｎｉｎｇｄａｔａｆｒｏｍｔｈｅｓｅｅｎｃａｔｅｇｏｒｉｅｓ． Ｔｈｅｒｅａｒｅｔｗｏｍａｉ ｎｐｒｏｂｌ ｅｍｓｉｎｔｈｅｚｅｒｏｓｈｏｔｃｌａｓｓｉｆｉ ｃａｔｉｏｎ： ｄｏｍａｉ ｎｓｈｉｆｔａｎｄｉ ｎｆｏｒｍａｔｉｏｎｌ ｏｓｓ．Ｉｎｔｈｉｓｐａｐｅｒ ， ｗｅｐｒｅｓｅｎｔａｎｏｖｅｌｚｅｒｏ ｓｈｏｔｃｌ ａｓｓｉｆｉｃａｔｉｏｎａｐｐｒｏａｃｈｂａｓｅｄｏｎｓｕｂｓｐａｃｅｌｅａｒｎｉ ｎｇａｎｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎｆｏｒｉｍａｇｅｃｌａｓｓｉｆｉ ｃａｔｉｏｎ（ Ｚｅｒｏ ＳｈｏｔＣｌ ａｓｓｉ ｆｉｃａｔｉｏｎｂａｓｅｄｏｎＳｕｂｓｐａｃｅｌ ｅａｒｎｉｎｇａｎｄＲｅｃｏｎｓｔｒｕｃｔｉｏｎ， ＺＳＣＳＲ） ， ｗｈｉｃｈｒｅｌｉｅｖｅｓｔｈｅｐｒｏｂｌｅｍｓｏｆｄｏｍａｉｎｓｈｉｆｔａｎｄｉｎｆｏｒｍａｔｉｏｎｌｏｓｓｉｎｔｈｅｔｒａｎｓｆｅｒｌ ｅａｒｎｉｎｇｏｆｚｅｒｏ ｓｈｏｔｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＴｈｉｓｐａｐｅｒｉｓｓｕｐｐｏｒｔｅｄｂｙｔｈｅＮａｔｉｏｎａｌ ＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ（ ＧｒａｎｔＮｏ．６１ ６０２００４） ，ｔｈｅＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆｔｈｅＥｄｕｃａｔｉｏｎＤｅｐａｒｔｍｅｎｔｏｆＡｎｈｕｉＰｒｏｖｉｎｃｅ（ ＧｒａｎｔＮｏｓ．ＫＪ２０１８Ａ００１３ ， ＫＪ２０１ ７Ａ０１ １） ， ｔｈｅＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＡｎｈｕｉＰｒｏｖｉ ｎｃｅ（ＧｒａｎｔＮｏｓ．１９０８０８５ ＭＦ１８８， １ ９０８０８５ＭＦ１８２）， ａｎｄｔｈｅＫｅｙＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔＰｒｏｇｒａｍｏｆＡｎｈｕｉＰｒｏｖｉｎｃｅ（ＧｒａｎｔＮｏ． １８０４ｄ０８０２０３０９ ）．