第 期年 月电 子 学 报收稿日期: ; 修回日期: ; 责任编辑: 李勇锋基金项目: 国家自然科学基金( ) ; 浙江省自然科学基金重点项目( )利用网格卷积特征的三维形变目标分类史聪伟，赵杰煜，，陈 瑜( 宁波大学信息科学与工程学院，浙江宁波 ; 浙江省移动网络应用技术重点实验室，浙江宁波 )摘 要: 三维目标的形状变化给目标识别带来很大挑战，同时三维网格模型的不规则数据结构难以直接应用卷积运算提取三维目标特征对此，本文提出了一种高效的三维形变目标的网格卷积特征表示方法，准确提取形状信息并进行分类首先通过网格卷积运算获得形变目标中典型局部曲面形状分布，其次通过马尔科夫链对曲面形状的空间共现关系建模，从而形成三维模型的全局特征描述，最后采用支持向量机实现形变目标分类 该方法将连续多项式函数作为卷积模板，实现针对不规则数据结构的网格卷积运算，并且给出了卷积模板参数的无监督学习方法 在标准非刚性三维模型数据集 与 上的实验结果表明本文方法能有效提取三维网格模型的形状信息，分类准确率分别达到了 与关键词: 三维形变模型; 网格卷积; 三维形状特征; 支持向量机中图分类号: 文献标识码: 文章编号: ( )电子学报 : : :，，，( ， ， ， ， ;， ， ， ):，，， ，，，，: ; ; ;引言近年来二维图像处理中的卷积运算结合机器学习方法在图像识别领域取得了巨大成功［］三维图像 数据与二维数 据 相 比 包 含 的 信 息 更 为 丰 富，具 有 更 好 的光照不变性 和 姿 态 不 变 性 在 目 标 分 类 任 务 中 采 用 三维图像可以排除环境光照和目标姿态变化带来的严重影响，具有更高的可靠性和分类正确率 因此如何利用卷积运算更加有效地提取三维信息提高目标分类准确率成为了研究热点［，］目标分类任 务 中，三 维 目 标 形 状 变 化 带 来 了 很 大挑战三维目标模型分为刚性模型和非刚性模型［］非刚性三维模型也称为可形变模型，其变换种类多样形式复杂，特征提取的难度更高，但也更接近现实世界中物体，逐渐成为三维模型识别领域的研究重心，目前针对刚性模型的特征提取算法在非刚性模型上很难取得同样有效的结果现有三维非刚性模型特征提取方法可分为基于几第 期 史聪伟: 利用网格卷积特征的三维形变目标分类何信息分布的方法基于谱分析的方法基于局部特征的码本学习 方 法基于模型几何信息分布的特征提取方法有: 等人［］定义了测地距离等几何信息并以其分布 直 方 图 作 为 模 型 特 征 描 述 符 进 行 分 析，由于对各顶点间计算最短路径，计算复杂度高，为( ) ;等人［］引入 算子进行显著点采样来提取特征描述符，缩短了计算时间基于谱分析的方法将非刚性三维模 型 定 义 为 流 形 函 数，利 用 流 形 函 数 的 特 征值和 特 征 向 量 描 述 模 型，如 方 法［］( ) 方 法［］ ［］模 拟 表 面 热 扩散提 出 热 核 特 征 描 述( ， ) ，［］改进 方法使其具有尺度变换不变性;［］基于波动方程提出了更有优势的波 核特征( ， ) 这些方法能准确获取模型内蕴特征，对形变具有鲁棒性，但对三维网格模型质量要求苛刻在局部特征描述方法的基础上，有学者采用视觉码本 模 型 实 现 三 维 目 标 分 类，但缺失了低层特征间空间关系信息对 此［］提 出 一 种 空 间 上 下 文相 关 性 模 型( ，) ，通过马尔科夫链对低层特征的空间共现关系建模形成高层特征，提升码本模型的效果综上所述，基于几何信息分布的全局特征直观易理解但计算量大且可能会忽视 重 要 的 局 部 信 息; 基 于 谱 分 析 的 局 部 特 征具有姿态形状不变性，但计算复杂且受网格模型质量的影响卷积具有提取局部特征的能力，计算方便灵活因此学者们将三维网格模型体素化实现对三维目标的卷积特征提取［］三维体素模型的不足在于存储效率与计算效率低，易丢失复杂形状的细节信息 现有卷积模板是局部空 间 中 权 重 的 离 散 分 布 表 示，在 运 算 过 程 中要求图像具 有 规 则 的 数 据 结 构，难 以 直 接 对 不 规 则 数据进行卷积运算本文提出一种三维形变目标的网格卷积特征提取及分类方法首先通过三维网格卷积运算获取局部网格曲面形状 分 布 信 息，然后结合局部形状在模型中的空间共现关 系 形 成 三 维 形 变 目 标 的 全 局 特 征 表 示，最后采用支持 向 量 机 对 三 维 形 变 目 标 分 类本 文 方 法 中针对网格模型数据采用高阶多项式作为网格卷积模板表示，使卷积运算能够提取网格模型的局部特征，并利用无监督学 习 方 法 学 习 模 板 参 数 本 文 算 法 总 体 框 架如图 所示三维形变目标网格卷积特征提取三维网格卷积运算针对三维网格模型数据结构特点，采用多项式作为局部曲面形状的表达，并定义局部曲面之间的 形 状 差 异 度 量 对 给 定 的 输 入 三 维 形 变 目标网格模型，通 过 三 维 网 格 卷 积 运 算 计 算 可 以 获 得 典型局部曲面形状的在目标模型中的分布局部曲面形状描述及差异度量给定一个三维形变目标的网格模型 ，该三维网格模型的局部曲面窗口定义为: 以网格模型顶点 为窗口中心，采用广度优先搜索获取其前 个 邻 域 顶点，选中的顶 点 和 顶 点 间 的 边 所 构 成 连 通 的 局 部 网 格曲面即局部曲面窗口为避免刚性变换以及非刚性变换的影响，窗 口 中需要建立局部坐标系并将窗口内顶点的绝对坐标转换为局部坐标 系 内 的 坐 标 表 示 窗 口 内 局 部 坐 标 系 以 窗口中心顶点 为原点，所有顶点的平均法向量 的方向为局部坐标系的 轴方向对窗口内顶点在 平面内的投影采用 方法计算投影点的主方向 并将其作为局部坐标系的 轴方向，以单位向量 ，， 为基底建立窗口局部坐标系窗口内局部曲面较为简单，因此在窗口局部坐标系下采用高阶多项式方程 () 对其形状进行描述，其中( ) 为局部曲面的连续函数表示，为 窗 口 内 顶 点 的 相 对 坐 标，为 表 达式的参数实验过程中发现，窗口大小 过小时曲面形状趋于一致难以区分，而当 变大时 窗 口 内 曲 面 较 复杂，因此在拟 合 中 结 合 顶 点 相 对 窗 口 中 心 点 的 近 似 测地距离 来进行更好的描述最终取 ( ，，，) ，窗口曲面拟合函数如下( ) () ( )其中参数 ( ，，，) 采用最小二乘法求解计算给定两个不同顶点 与 ，以它们为中心的局部网格曲面 与 对应曲面函数表示分别为 ( ) 与( ) ，定义网格曲面 到网格曲面 的单向形状差异距离为电 子 学 报 年( ，) ( ) ( )同时为了减 少 拟 合 带 来 的 误 差，定 义 两 个 曲 面 之 间 的双向形状差异距离为， ［ ( ，) ( ，) ］( )在曲面形状 差 异 度 量 基 础 上，给 定 一 类 典 型 的 局部曲面形状，其连续曲面表示函数为 ( ) ，假设该类局部曲面形状在三维网格模型数据集中的分布服从高斯分布，其分布方差为 ，那么在给定三维网格模型中局部曲面 的形状属于该类典型局部曲面形状的概率为( ，)( ) ( )三维网格卷积运算二维图像处 理 领 域 中，常 见 的 卷 积 运 算 时 卷 积 模板移过图像 并 对 区 域 内 像 素 进 行 操 作 的 处 理，其 中 卷积模板由一个图像邻域窗口和对该窗口内的图像像素的预定义操作组成 节中给出了三维网格模型上局部曲面窗口 的 定 义，下面给出对窗口内模型顶点执行的操作定义，以此组成三维网格卷积运算 在简单曲面间的差异度 量 基 础 上，可以计算某一曲面形状与给定曲面形状的相似程度，对式( ) 求对数可得( ，) ( ) ( )由上式看出，以顶点 为中心的局部曲面 的形状属于给定的典型形状类型的概率可以表示为卷积式( ) ( ) ( )( )其中，为特征向量( ，，，) ， ( ) 表示顶点具有的属性，其基本属性就是以{ ，} 表示顶点 是否在局部 窗 口 中; 为 权 重 向 量( ，，，) ，如下:( ) ( )( )其中 与 为网格卷积模板的参数，表达典型形状的多项式函数 可视为网格卷积模板函数，因此可以根据卷积窗口内各顶点相对坐标 可以计算其相应的权重 从而对三维网格模型进行卷积运算计算假设在一个三维模型数据集中存在 种典型局部曲面形状，均用高阶多项式进行表示 给定模型内一顶点 ，以其为中心的窗口曲面 ，对其进行网格卷积运算，计算结果表示 与卷积模板对应的典型形状的差异程度，其值越大越相似因此可以根据卷积值将每个顶点标记为以其为中心的窗口曲面所属的典型形状类型( ( ) ) ( )基于上述卷积运算，可以得到三维形变模型中典型局部曲面形状的分布作为目标的特征表示具有 个顶点的三维模型样本，卷积窗口大小为，取 个不同的卷积模板进行网格卷积运算，其中 ，取值范围在到 之间本文算法对该模型样本提取特征的时间消耗可以表示为 ， 为卷积窗口建立时间，为网格卷积运算时间，整体时间复杂度为( () ) ，其中 为卷积窗口内边的数目卷积模板函数参数学习节中定义了在三维网格模型上的卷积运算，其中卷积模板由传统的离散表示变为连续函数 表示，与 为需要通过数据样本学习的卷积模板参数假设在三维模型数据集中存在 种典型局部曲面形状类型，对应 个卷积模板函数本文采用谱聚类算法对数据样本进行无监督学习获得 类典型局部曲面形状首先在 数 据 样 本 集 中 选 取 每 类 三 维 模 型 的 部 分样本，以大小为 的窗口获取样本的局部曲面，构成局部曲面集合; 然后根据式( ) 计算 中局部曲面之间的双向形状差异距离，构建相似矩阵，通过谱聚类得到聚类结果聚类结果的中心为同类曲面形状的 均值，难 以用具体曲面 进 行 表 示 因 此 本 文 方 法 采 用 高 阶 多 项 式作为聚类中心 的形状表示在前述聚类结果基础上，对每一个典型曲面形状类型 ，其类中心为 ，形状表示为 ，以划分为 类的局部网格曲面作为拟合数据，采用最小二乘法求解参数 ，按式( ) 计算参数( ，) ( )其中 表示聚类结果中归为形状类型 的曲面数量卷积特征空间相关性与目标分类卷积特征空间相关性提取上述网格卷积运算可以得到形变目标三维网格模型中典型局 部 曲 面 形 状 的 分 布，但 该 分 布 表 示 缺 失 了三维目标中 局 部 曲 面 之 间 的 关 联 信 息马 尔 科 夫 平 稳特征［，］作为对分布直方图特征的扩展，基于马尔科夫链模型能够有效获取低层特征在图像中的空间共现关系，形成中高层特征因此本文方法采用同质化感知马尔科夫平稳特征(， )［］进 一 步 补 充 形 变 目 标 中 典 型 形 状 的空间相关性信息形状的空间共现矩阵 ( ) 是构建三维模型第 期 史聪伟: 利用网格卷积特征的三维形变目标分类对应马尔科夫链的基础矩阵 中元素 表示相隔一定距离 的两个连通顶点 为中心的窗口曲面形状分别属于第类和第类典型曲面形状的共现频次，如下:{ ， ( ，) } ( )其中 为满足集合中条件的点对数量， ( ，)为令两个顶点连通的边的最小数量 矩阵 是非负对称矩阵且可 以 从 非 刚 性 三 维 网 格 模 型 直 接 计 算 得 到，避免了模型刚体变换的影响 由三维模型对应的马尔科夫链的初始状态分布 和平稳状态分布 构成向量 和向量 均为 维向量，向量元素根据空间共现矩阵 分别由式( ) 和式( ) 计算得出( ) ( )( ) ( )向量( ，) 表达了非刚性三维网格模型内同类典型局部曲面 形 状 以 及 不 同 类 型 形 状 之 间 的 空 间 信 息最终将向量( ，) 与前述典型局部形状分布结合起来作为非刚性三维网格模型的形状信息特征描述目标分类本 文 采 用 支 持 向 量 机( ，) 进行有 监 督 学 习，实 现 对 三 维 形 变 目 标 的 分 类具有很高的分类准确率，而且广泛 应 用 于 图 像 识别相关研究本算法中选取使用线性核函数的 ，三维网格模型 的特征描述 作为分类器输入，则对三维模型 分类的分类函数为 ( ) ( ) ，其中和分别是由训练学习到的相关系数和偏置系数，( ) 为 线 性 核 函 数 在 训 练 过 程 中 采 用方法构造多分类器，对 个类别的三维模型分类问题构造 个 分类器，第个 分类器使用第类三维模型 样 本 作 为 正 例，其 他 类 别 样 本 作 为 负 例 进行训练在对未知类别的三维模型样本 分 类 时，其分类结果为 ( ) 值最大的一类实验及结果分析为验证 本 文 方 法 的 有 效 性，我 们 在 标 准 三 维 形 变网格模型数据集 和 上进行实验验证实验所用计算机配置为 ( ) ( ) 处 理 器内存，分类器采用 包中的数据集 包 括 个 类 别 个 非 刚 性 三维网格模型每类均有 个模型且同类模型均有刚体变换和非刚体变换另外该数据集中，每个三维模型网格大小较为均匀训练分类器时在每类中随机取 个三维模型作为训练样本，其余作为测试样本网格卷积过程中取卷积窗口大小 ，在预处理过程中对窗口内曲面缩 放，令 窗 口 内 顶 点 相 对 坐 标 值 大 小 范 围 为［ ，］为了降 低 聚 类 过 程 的 计 算 量，实 验 中 对每一类模型随机抽取一个模型样本并取 数量的顶点选取邻域，作为学习卷积模板参数的数据样本集 实验中取聚类数 ，即 类典型的局部曲面形状，取空间共现距离 对于窗口大小 聚类数 和距离 的选取在 节中进行讨论分析通 过 多 组 实 验，将 本 文 方 法 与［］［］ ［］ ［］和［］方法 进 行 比 较，如 表 所 示其 中方法中保留前 个特征值， 方法中根据文献［］取特征维度为 ， 中取字典大小 ， 中低层字典大小取 ，高层字典大小取 从表中可以看出，对形变目标的网格卷积特征提取方法能够有效提取形状特征并且相比其他方法有一定优势表 各算法在 上的平均准确率比较算法 平均准确率 算法 平均准确率本文方法［］［］ ［］［］ ［］为进一步验证本文方法在更多类别的三维模型数据 集 中 的 效 果，使 用 数 据 集 进 行 实 验数据 集 包 括 个 类 别 个 三 维 网 格 模型，每类 个模型，每类模型均有刚体变换和非刚体变换训练分类器时在每类中随机抽取 个三维模型作为训练样本，其余作为测试样本由于该数据集网格密度比 稀疏，取卷积窗口大小 ，聚类数，其余实验参数与 数据集实验一致将 本 文 方 法 与［］ ［］［］ ［］与［］方法进行对比，分类结果如表 其中 方法中保留前 个特征值， 方法中根据文献［］取特征维度为 表 结果表明网格卷积特征提取及分类方法明显优于其他方 法，表 结 果 表 明 在 类 别 数 目增大的情况下仍然具有很好的性能表 各算法在 上的平均准确率比较算法 平均准确率 算法 平均准确率本文方法［］［］ ［］［］ ［］电 子 学 报 年表 本文算法在 类别数量不同情况下的平均准确率模型类别数平均准确率影响因素分析非刚性三维模型上卷积窗口中局部曲面块包含三维模型的局部形状信息，影响模型形状特征提取; 网格卷积模板作 为 模 型 数 据 集 中 典 型 形 状 表 示，太 少 会 减弱对目标的描述能力，反之会产生冗余的信息 因此需要考虑窗口大小 和网格卷积模板个数 的选取如图 图 所示，在不补充空间共现关系时，通过实验对比窗 口 大 小 和 卷 积 模 板 数 产 生 的 影 响 在上取 ， 时 达 到 最 优 准 确 率，在上取 ， 时 最 佳进 一 步 分 析 发现，最佳局部曲面窗口大小 与三维 网 格 模 型 的 网 格密度成正相关对模型内顶点空间信息进行编码的 受形状共现矩阵计算中顶点间距离 的影响距离过小令两个局部曲面重叠过多，减弱对空间信息的描述能力; 而距离过大时 顶 点 间 的 空 间 关 系 变 得 十 分 复 杂实 验 结果表明空间共现关系有助于提高准确率且当距离 取值为 时能够达到最优平均准确率，如图 所示可以看出，当距离 过小时由于卷积窗口曲面有较大的重叠区，反而使最终的平均分类准确率降低总结本文结合三维网格模型数据特点和图像卷积运算定义，提出一种三维形变网格模型卷积特征提取方法，获取三维模 型 局 部 几 何 形 状 信 息 并 以 此 进 行 分 类 通过对样本集合中局部曲面形状进行无监督学习计算卷积模板参数本 文 方 法 能 够 有 效 提 取 非 刚 性 三 维 网 格模型的特征，并 且 可 根 据 模 型 网 格 密 度 灵 活 调 整 网 格卷积窗口大小，对三维均匀网格模型具有普适性 与现有特征提取 方 法 相 比，本 文 方 法 在 分 类 性 能 上 有 一 定的优势目前标准三维图像数据样本集数量较少，难以支持复杂的 三 维 卷 积 神 经 网 络 的 参 数 学 习，因 此 结 合网格卷积与神经网络进行特征提取是今后可以研究的方向参考文献［］ ， ， ，［］， ，:［］ ， ， ，: ［］， ，( ) :［］ ， ， ，: ［］［］ : ，［］李海生，孙莉，武玉娟，等非刚性三维模型检索特征提取技术研究［］软件学报， ，( ) :， ， ，［］ ， ，( ) : ()［］ ，［］ ， ，( ) :［］ ， :［］ ， ，( ) :［］ ， ，［］， ，( ) :［］［］［］ : ，第 期 史聪伟: 利用网格卷积特征的三维形变目标分类［］ ， ， ，［］［］ :，［］ ，［］［］ : ，［］ ， ， ，:［］［］ : ，［］ ， ， ，:［］， ，( ) :［］ ， ， ，:［］［］ :，［］ ， ， ，［］［］: ，［］ ， ，［］ ，，:作者简介史聪伟 男， 年出生，浙江宁波人宁波大学信息科学与工程学院硕士研究生，主 要从事三维图形处理模式识别相关研究:赵杰煜( 通讯作者) 男， 年出生，浙江宁波人现为宁波大学信息科学与工程学院教授，博士生导师主要从事计算智能模式识别人机自然交互等相关研究:陈 瑜 女， 年出生，河南 安 阳 人现为宁波大学信息科学与工程学院博士研究生，主要从事图形图像深度学习等相关研究: