关键词 　 分类； 多面支持向量机； 保局投影； 主成分分析； 经验核映射

    对于二分类 问题， 传统 支 持向 量 机 （ ｓ ｕ ｐ ｐ ｏ ｒ ｔｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ， Ｓ ＶＭ ） 依据大间隔原则生成单一的分类超平面 ［１ ］ ． 存在的缺陷是计算复杂度高且没有充分考虑样本的分布 ［２ ］ ． 近年来， 作为Ｓ ＶＭ 的拓展方向之一， 多面支持向量机（ ｍ ｕ ｌ ｔ ｉ ｐ ｌ ｅ 　ｓ ｕ ｒ ｆ ａ ｃ ｅ 　Ｓ ＶＭ ，ＭＳ Ｓ ＶＭ ） 分类方法正逐渐成为模式识别领域新的研究热点． 该类方法的研究源于 Ｍ ａ ｎ ｇ ａ ｓ ａ ｒ ｉ ａ ｎ和 Ｗ ｉ ｌ ｄ在 Ｔ Ｐ ＡＭ Ｉ上提出的广义特征值近似支持向量机（ｇ ｅ ｎ ｅ ｒ ａ ｌ ｉ ｚ ｅ ｄ 　ｅ ｉ ｇ ｅ ｎ ｖ ａ ｌ ｕ ｅ 　ｐ ｒ ｏ ｘ ｉ ｍ ａ ｌ 　Ｓ ＶＭ ， Ｇ Ｅ Ｐ Ｓ ＶＭ ）［ ３ ］ ．Ｇ Ｅ Ｐ Ｓ ＶＭ 鄙弃了近似支持向量机（ｐ ｒ ｏ ｘ ｉ ｍ ａ ｌ 　Ｓ ＶＭ ，Ｐ Ｓ ＶＭ ） 中平行约束的条件， 优化目标要求超平面离本类样本尽可能的近， 离他类样本尽可能的远， 问题归结为求解２个广义特征值问题． 与Ｓ ＶＭ 相比， 除了速 度 上 的 优 势， Ｇ Ｅ Ｐ Ｓ ＶＭ 能 较 好 地 处 理 异 或（ Ｘ Ｏ Ｒ ） 问题 ［４ ］ ．

    基于 Ｇ Ｅ Ｐ Ｓ ＶＭ ， 近年 发展了 许多ＭＳ Ｓ ＶＭ 分类方法， 如对支持向量机（ｔ ｗ ｉ ｎ 　Ｓ ＶＭ ，Ｔ Ｓ ＶＭ ）［ ５ ］ 、 投影对支持向量机（ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ 　Ｔ Ｓ ＶＭ ，Ｐ Ｔ Ｓ ＶＭ ）［ ６ ］ 、 多权矢量投影对支持向量机 （ｍ ｕ ｌ ｔ ｉ －ｗ ｅ ｉ ｇ ｈ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ 　Ｓ ＶＭ ， ＭＶ Ｐ Ｓ ＶＭ ）［ ７ ］等．然而， 分析发现， 已有的 ＭＳ Ｓ ＶＭ 分类方法在学习过程中并没有充分的考虑样本之间的局部几何结构及所蕴含的鉴别信息．为了有效揭示样本内部蕴含的局部几何结构，文献［８ － １ １ ］ 分别提出了几种具有一定代表性的流行学习方法： 等距映射（ｉ ｓ ｏ ｍ ｅ ｔ ｒ ｉ ｃ 　ｍ ａ ｐ ｐ ｉ ｎ ｇ ， Ｉ Ｍ ） 、 局部线性嵌入（ｌ ｏ ｃ ａ ｌ ｌ ｙ 　 ｌ ｉ ｎ ｅ ａ ｒ 　ｅ ｍ ｂ ｅ ｄ ｄ ｉ ｎ ｇ， Ｌ Ｌ Ｅ ） 、 拉普拉斯特征映射（ Ｌ ａ ｐ ｌ ａ ｃ ｉ ａ ｎ 　ｅ ｉ ｇ ｅ ｎ ｍ ａ ｐ ， Ｌ Ｅ ） 和局部保持投影（ｌ ｏ ｃ ａ ｌ ｉ ｔ ｙ 　ｐ ｒ ｅ ｓ ｅ ｒ ｖ ｉ ｎ ｇ 　ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ ｓ ， Ｌ Ｐ Ｐ ） ． 特 别 是Ｌ Ｐ Ｐ方法不但可以保持样本间局部几何结构， 而且还可以克服其他几种方法难以在新的测试样本上获得低维的投影映射的问题， 同时容易被非线性嵌入，从而发现高维非线性流行结构 ［１ ２ ］ ． 为了充分发挥Ｌ Ｐ Ｐ方法的长处， 文献［１ ３ ］ 将 Ｌ Ｐ Ｐ方法与Ｓ ＶＭ 相结 合，提 出 了 拉 普 拉 斯 支 持 向 量 机 （ Ｌ ａ ｐ ｌ ａ ｃ ｉ ａ ｎＳ ＶＭ ， Ｌ Ｓ ＶＭ ）． 文献［１ ４ ］ 基于 Ｌ Ｐ Ｐ思想， 定义了局部保持类散度矩阵， 并在此基础上提出了最小类局部保 持 方 差 支 持 向 量 机 （ ｍ ｉ ｎ ｉ ｍ ｕ ｍ 　ｃ ｌ ａ ｓ ｓ 　ｌ ｏ ｃ ａ ｌ ｉ ｔ ｙｐ ｒ ｅ ｓ ｅ ｒ ｖ ｉ ｎ ｇ 　 ｖ ａ ｒ ｉ ａ ｎ ｃ ｅ 　Ｓ ＶＭ ， ＭＣ Ｌ Ｐ Ｖ Ｓ ＶＭ ）． 然 而，Ｌ Ｓ ＶＭ 和 Ｍ Ｃ Ｌ Ｐ Ｖ Ｓ ＶＭ 都属于单面支持向量机范畴．

    因此， 本文将Ｌ Ｐ Ｐ思想引入到 ＭＳ Ｓ ＶＭ 分类方法中， 提出局部信息保持的对支持向量机（ｌ ｏ ｃ ａ ｌ ｉ ｔ ｙｐ ｒ ｅ ｓ ｅ ｒ ｖ ｉ ｎ ｇ 　 ｔ ｗ ｉ ｎ 　Ｓ ＶＭ ， Ｌ Ｐ Ｔ Ｓ ＶＭ ） ． 该方法具有如下优势： 继承了 ＭＳ Ｓ ＶＭ 分类方法的特色， 如线性模式下对 Ｘ Ｏ Ｒ 类数据集的分类能力； 首次将 Ｌ Ｐ Ｐ思想引入到 ＭＳ Ｓ ＶＭ 分类方法中， 充分考虑了蕴含在样本内部局部几何结构中的鉴别信息， 从而在一定程度上可以提高算法的泛化性能； 通过主成分分析（ｐ ｒ ｉ ｎ ｃ ｉ ｐ ａ ｌ 　ｃ ｏ ｍ ｐ ｏ ｎ ｅ ｎ ｔ 　ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ， Ｐ Ｃ Ａ ） 降维方法可以很好地消除奇异性问题， 进而保证算法的稳定性； 采 用 经 验 核 映 射 （ ｅ ｍ ｐ ｉ ｒ ｉ ｃ ａ ｌ 　ｋ ｅ ｒ ｎ ｅ ｌ 　ｍ ａ ｐ ｐ ｉ ｎ ｇ ，Ｅ ＫＭ ）［ １ ５ － １ ６ ］ 方法，Ｌ Ｐ Ｔ Ｓ ＶＭ 可以很容易进行非线性嵌入， 得到非线性分类方法．

１　Ｔ Ｓ ＶＭ 和 Ｐ Ｔ Ｓ ＶＭ 的简单回顾

在已 有 的 ＭＳ Ｓ ＶＭ 分 类 方 法 中， Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ 在泛化性能上要优于其他分类方法 ［５ － ６ ］． 因此， 本文选择这２种多面支持向量机分类方法作为比较分析对象．

１． １　Ｔ Ｓ ＶＭ

    给定２类 ｎ 维的 ｍ 个训练样本点， 分别用 ｍ １ ×ｎ 的矩阵 Ａ 和 ｍ ２ × ｎ 的矩阵 Ｂ 表示＋１类和－１类， 这里 ｍ １ 和 ｍ ２ 分别是两类样本的数目 ． Ｔ Ｓ ＶＭ的目标是在 ｎ 维空间中寻找 ２ 个超平面：ｘＴ ｗ１ ＋ ｂ １ ＝０ ；ｘＴ ｗ２ ＋ ｂ ２ ＝０．（１要求每个类超平面离本类样本尽可能近， 离他类样本尽可能远．第１类超平面的优化准则为ｍ ｉ ｎ１２Ａ ｗ １ ＋ ｅ １ ｂ １２ ＋ Ｃ１ ｅＴ２ ξ ，ｓ ． ｔ ．－ （ Ｂ ｗ １ ＋ ｅ ２ ｂ １ ） ＋ ξ ≥ ｅ ２ ， ξ ≥０ ，（２ ）其中，• 表示 Ｌ ２ 范数， Ｃ １ 是惩罚参数，ξ 为损失变量，ｅ １ 和 ｅ ２ 是２个实体为１的列向量， Ａ ＝ ［ ｘ（ １ ）１， …，ｘ（ １ ）ｍ １ ］Ｔ ，Ｂ ＝ ［ ｘ（ ２ ）１， …，ｘ（ ２ ）ｍ ２ ］Ｔ ，ｘ（ ｉ ）ｊ表示第 ｉ 类的第 ｊ 个样本．显然， Ｔ Ｓ ＶＭ 优化目标函数中确实没有考虑到训练样本内部局部几何结构中蕴含的鉴别信息．

１． ２　Ｐ Ｔ Ｓ ＶＭＰ Ｔ Ｓ ＶＭ 的目标也是在 ｎ 维空间中寻找２个投影轴 ｗ １ 和 ｗ ２ ， 要求本类样本投影后尽可能聚集， 同时他类样本尽可能分散． Ｐ Ｔ Ｓ ＶＭ 对应的２个决策超平面为ｘＴ ｗ１ ＋ ｂ １ ＝０ ，ｘＴ ｗ２ ＋ ｂ ２ ＝０．（３ ）需要注意的是， 这里的偏置 ｂ１ ＝－１ｍ １ｅＴ１ Ａ ｗ １ ， ｂ ２ ＝－１ｍ ２ｅＴ２ Ｂ ｗ ２ ．第１类超平面的优化准则为ｍ ｉ ｎ１２ｗＴ１ Ｓ １ ｗ １ ＋ Ｃ １ ｅＴ２ ξ ，ｓ ． ｔ ．－ Ｂ ｗ １ －１ｍ １ｅ ２ ｅＴ１ Ａ ｗ（ ）１ ＋ ξ ≥ ｅ ２ ， ξ ≥０ ，（ ４ ）其中，Ｓ １ 是第１类样本的类内方差．显然， Ｐ Ｔ Ｓ ＶＭ 的优化目标函数考虑的是样本的散度， 类内方差 Ｓ １ 反应的是样本的全局分布， 不是样本之间的局部几何结构． 因此， 该方法也没有考虑蕴含在样本之间局部鉴别信息．

    ２局部保持对支持向量机（Ｌ Ｐ Ｔ Ｓ ＶＭ ）

    因为 Ｌ Ｐ Ｐ方法可以有效地保持样本之间的局部几何结构和局部鉴别信息， 所以本文的 Ｌ Ｐ Ｔ Ｓ ＶＭ方法通过引入 Ｌ Ｐ Ｐ的思想以达到保持样本内在的局部几何结构是合理的．

    ２． １　 线性Ｌ Ｐ Ｔ Ｓ ＶＭ定义１［ １ ４ ］． 假定Ｘ １ ＝ Ａ ， Ｘ ２ ＝ Ｂ ， 则第 ｌ （ ｌ ＝１ ， ２ ）类样本的局部保持类内散度矩阵为 Ｚｌ ＝ ＸＴｌ （ Ｄｌ －Ｗ ｌ ） Ｘ ｌ． 其中Ｗ ｌ （ Ｗ ｌｉ ｊ ＝ｅ ｘ ｐ（ － ｘｌｉ － ｘｌｊ２? ｔ ） ， ｔ 为热核参 数 ）是 第 ｌ 类 样 本 Ｘ ｌ 的 权 值 矩 阵， Ｄｌ（ ）ｊ是对角矩阵．局部保持类内散度矩阵 Ｚｌ 是对称的正半定矩阵， 其思想源于Ｌ Ｐ Ｐ ， 它反映了第 ｌ 类样本间的内在局部几何结构 ［１ ４ ］ ．定义２．线性 Ｌ Ｐ Ｔ Ｓ ＶＭ 对应的第１类超平面优化准则为ｍ ｉ ｎ１２ｗＴ１ Ｚ １ ｗ １ ＋ Ｃ １ ｅＴ２ ξ ２ ，ｓ ． ｔ ．－ Ｂ ｗ １ －１ｍ １ｅ ２ ｅＴ１ Ａ ｗ（ ）１ ＋ ξ ２ ≥ ｅ ２ ， ξ ２ ≥０． （ ５ ）第２类超平面优化准则为ｍ ｉ ｎ１２ｗＴ２ Ｚ ２ ｗ ２ ＋ Ｃ ２ ｅＴ１ ξ １ ，ｓ ． ｔ ． Ａ ｗ ２ －１ｍ ２ｅ １ ｅＴ２ Ｂ ｗ ２ ＋ ξ １ ≥ ｅ １ ， ξ １ ≥０．（６ ）定理１．线性Ｌ Ｐ Ｔ Ｓ ＶＭ 优化准则式（５ ） 对应的对偶问题为ｍ ｉ ｎ１２αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａ 　 Ｚ －１１ ×ＢＴ － １ｍ １ＡＴｅ １ ｅＴ（ ）２ α － ｅＴ２ α ，ｓ ． ｔ ． ０≤ α ≤ Ｃ １ ｅ ２ ．（７ ）优化准则式（６ ） 对应的对偶问题为ｍ ｉ ｎ１２γＴ 　 Ａ － １ｍ ２ｅ １ ｅＴ２（ ）Ｂ 　 Ｚ －１２ ×ＡＴ － １ｍ ２ＢＴｅ ２ ｅＴ（ ）１ γ － ｅＴ２ γ ，ｓ ． ｔ ． ０≤ γ ≤ Ｃ ２ ｅ １ ．（８ ）证明．考虑线性 Ｌ Ｐ Ｔ Ｓ ＶＭ 的优化准则式（５ ） ，式（５ ） 对应的拉格朗日函数为Ｌ （ ｗ １ ， α ，β ， ξ ２ ） ＝ １２ｗＴ１ Ｚ １ ｗ １ ＋ Ｃ １ ｅＴ２ ξ ２ －αＴ－ Ｂ ｗ １ －１ｍ １ｅ ２ ｅＴ１ Ａ ｗ（ ）１ ＋ ξ ２ － ｅ（ ）２ － βＴξ２ ， （ ９ ）其中，α ＝ （ α １ ， …， α ｍ ２ ）Ｔ ，β ＝ （ β １ ， …， β ｍ ２ ）Ｔ是非负拉格朗日系数．根据 Ｋ ａ ｒ ｕ ｓ ｈ － Ｋ ｕ ｈ ｎ － Ｔ ｕ ｃ ｋ ｅ ｒ （ Ｋ Ｋ Ｔ ）［ １ ７ ］ 条件可得： Ｌ ｗ １ ＝０ｗ １ ＝－ Ｚ －１１ ＢＴ － １ｍ １ＡＴｅ １ ｅＴ（ ）２ α ，（ １ ０ ） Ｌξ２ ＝０Ｃ １ ｅ ２ － α － β ＝０ ，（１ １ ）α ≥０ ， β ≥０．（１ ２ ）将式（１ ０ ） （ １ １ ） （ １ ２ ） 代入式（ ９ ） ， 得式（ ７ ） 成立 ．同理可证得式（８ ） 成立， 且：ｗ ２ ＝ Ｚ －１２ ＡＴ － １ｍ ２ＢＴｅ ２ ｅＴ（ ）１ γ ．（１ ３ ）证毕．通过求解定理１中２个对偶问题， 可以分别求得拉格朗日系数 α 和 γ ， 并在此基础上求出２类样本 的 投 影 轴 ｗ １ 和 ｗ ２ ．类 似 于 Ｐ Ｔ Ｓ ＶＭ ，线 性Ｌ Ｐ Ｔ Ｓ ＶＭ 的２个决策超平面为ｘＴ ｗ１ ＋ ｂ １ ＝０ ，ｘＴ ｗ２ ＋ ｂ ２ ＝０ ，（１ ４ ）其中， 偏置 ｂ１ ＝－１ｍ １ｅＴ１ Ａ ｗ １ ， ｂ ２ ＝－１ｍ ２ｅＴ２ Ｂ ｗ ２ ．线性Ｌ Ｐ Ｔ Ｓ ＶＭ 的决策函数为ｌ ａ ｂ ｅ ｌ （ ｘ ） ＝ａ ｒ ｇ 　 ｍ ｉ ｎｉ ＝１ ， ２｛ｄ ｉ ｝ ＝ｄ １  ｘ ∈ 第１类样本，ｄ ２  ｘ ∈ 第２类样本｛，（１ ５ ）其中，ｄ ｉ ＝｜ ｗＴｉ ｘ ＋ ｂ ｉ ｜ ， ｜• ｜ 表示绝对值．图１描述了 Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 和 Ｌ Ｐ Ｔ Ｓ ＶＭ 在人造数据集上的决策超平面． 显然， Ｌ Ｐ Ｔ Ｓ ＶＭ 明显区别于 Ｔ Ｓ ＶＭ 和 Ｐ Ｔ Ｓ ＶＭ． Ｌ Ｐ Ｔ Ｓ ＶＭ 的２个超平面反映了２类样本的内在局部流行结构； 而 Ｔ Ｓ ＶＭ与Ｐ Ｔ Ｓ ＶＭ 类似， 它们反映的都是每类样本分布的平均信息． 尽管３种算法对图１中人造数据集都可以得到１ ０ ０％学习精度， 但从泛化性能层面上讲，Ｌ Ｐ Ｔ Ｓ ＶＭ 明显优于其他２种算法． 图１也进一步证明了 Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ 确实没有考虑蕴含在样本间局部几何结构中的鉴别信息．

    ２． ２　 线性 Ｌ Ｐ Ｔ Ｓ ＶＭ 奇异性问题从２． １节中式（１ ０ ） （ １ ３ ） 可知， Ｌ Ｐ Ｔ Ｓ ＶＭ 在求解过程中需要计算局部保持类内散度矩阵 Ｚｌ （ ｌ ＝１ ， ２ ）的逆矩阵， 而 Ｚｌ 是正半定矩阵， 因此， 该方法不是严格的凸规划问题（ 强凸问题） ， 特别是在小样本情况下确实存在矩阵 Ｚｌ 的奇异性 ． 类似于文献［ ６ ， １ ４ ］ ，Ｐ Ｃ Ａ 降维方法可以用来解决Ｌ Ｐ Ｔ Ｓ ＶＭ 奇异性．该方法的主要思想是通过 Ｐ Ｃ Ａ 方法将原样本降维到低维空间， 使得 Ｚｌ 非奇异． 考虑 Ｌ Ｐ Ｔ Ｓ ＶＭ原始优化问题式（５ ） ， 定义第１类样本的散度矩阵：Ｓ １ ＝∑ｘ ∈ Ａ（ｘ － ｍ－１ ） （ ｘ － ｍ－１ ）Ｔ ，（１ ６ ）其中， ｍ－１ ＝１ｍ １ ∑ｘ ∈ Ａ ｘ是第１类样本的均值． 令 Ｓ １ 的非零特征值对应特征向量张成的非零空间记为 Ψ ，零特征值对应特征向量张成的零空间记为 Π ．定理２．令 ｗ １ ＝ μ １ ＋ ν１ （ ｗ １ ∈Ｒｎ ，μ １ ∈ Ψ ， ν １ ∈Π ） ， 则优化问题式（ ５ ） 等价于ｍ ｉ ｎ１２ μＴ１ Ｚ １ μ １ ＋ Ｃ １ ｅＴ２ ξ ２ ，ｓ ． ｔ ．－ Ｂ μ １ －１ｍ １ｅ ２ ｅＴ１ Ａ μ（ ）１ ＋ ξ ２ ≥ ｅ ２ ， ξ ２ ≥０．（１ ７ ）证明．因为 ν１ ∈ Π ， νＴ１ Ｓ １ ν １ ＝０ ， 所以对于第１类样本集中任意２个样本 ｘｉ ， ｘ ｊ （ ｉ ≠ ｊ ） ， νＴ１ ｘ ｉ ＝ νＴ１ ｘ ｊ 成立， 即 νＴ１ ｘ ｉ ＝ ｃ （ ｃ 是常数） ． 又因为 Ｚ １ ＝ ＸＴ１ （ Ｄ１ － Ｗ １ ）Ｘ １ ， 所以：Ｚ １ ν １ ＝ Ｘ Ｔ １ （ Ｄ１－ Ｗ１ ）Ｘ １ ν １ ＝∑ｍ １ｉ ＝１ Ｄ１ｉ ｉ ｘ（ １ ）ｉ（ｘ（ １ ）ｉ）Ｔ－ ∑ｍ １ｉ ＝１ ∑ｍ １ｊ ＝１ Ｗ１ｉ ｊｘ（ １ ）ｉ（ｘ（ １ ）ｉ）（ ）Ｔν １ ＝∑ｍ １ｉ ＝１ ∑ｍ １ｉ ＝１ Ｗ１ｉ ｊｘ（ １ ）ｉ（ｘ（ １ ）ｉ）Ｔν １ － ∑ｍ １ｉ ＝１ ∑ｍ １ｊ ＝１ Ｗ１ｉ ｊｘ（ １ ）ｉ（ｘ（ １ ）ｉ）Ｔν １ ＝∑ｍ １ｉ ＝１ ∑ｍ １ｉ ＝１ Ｗ１ｉ ｊｘ（ １ ）ｉ － ∑ｍ １ｉ ＝１ ∑ｍ １ｉ ＝１ Ｗ１ｉ ｊｘ（ １ ）（ ） ｉ ｃ ＝０． （ １ ８ ）　　 令第２类样本集在 ν １ 上的投影记为 Ｂ ν １ ＝ τ ∈Ｒｍ ２ ． 依据上述结论， 拉格朗日函数式（９ ） 变为Ｌ （ ｗ １ ， α ，β ， ξ ２ ） ＝ １２ｗＴ１ Ｚ １ ｗ １ ＋ Ｃ １ ｅＴ２ ξ ２ －αＴ－ Ｂ ｗ １ －１ｍ １ｅ ２ ｅＴ１ Ａ ｗ（ ）１ ＋ ξ ２ － ｅ（ ）２ － βＴξ２ ＝１２ （μ １ ＋ ν １ ）Ｔ Ｚ１ （ μ １ ＋ ν １ ） ＋ Ｃ １ ｅＴ２ ξ ２ ＋αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａ （μ １ ＋ ν １ ） － αＴ （ξ２ － ｅ ２ ） － βＴξ２ ＝１２ （μＴ１ Ｚ １ μ １ ＋ μＴ１ Ｚ １ ν １ ＋ νＴ１ Ｚ １ μ １ ＋ νＴ１ Ｚ １ ν １ ） ＋Ｃ １ ｅＴ２ ξ ２ ＋ αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａ μ １ ＋αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａν １ － αＴ （ξ２ － ｅ ２ ） － βＴξ２ ＝１２ μＴ１ Ｚ １ μ １ ＋ Ｃ １ ｅＴ２ ξ ２ ＋ αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａ μ １ ＋αＴτ －ｃｍ １ｅ ２ ｅＴ１ ｅ（ ）１ － αＴ （ξ２ － ｅ ２ ） － βＴξ２ ＝１２ μＴ１ Ｚ １ μ １ ＋ Ｃ １ ｅＴ２ ξ ２ ＋ αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａ μ １ ＋αＴ （τ － ｃ ｅ ２ ） － αＴ （ξ２ － ｅ ２ ） － βＴξ２ ，（１ ９根据链规则， 可以很容易证明： Ｌ ｗ１ ｗ １ ＝ ｗ ＊１＝ Ｌ μ １ μ １ ＝ μ ＊１＝０Ｚ １ μ ＊ １ ＋ αＴ 　 Ｂ － １ｍ １ｅ ２ ｅＴ１（ ）Ａ ＝０．（２ ０ ）这样， 对应于第１类样本的最优投影轴只依赖于μ １ ∈ Ψ （ ν １ ∈ Π 可任选） ．证毕．由定理２可得， 线性 Ｌ Ｐ Ｔ Ｓ ＶＭ 原始优化问题式（５ ） 的最优解可以从约减的空间 Ψ 中寻找， 且不会丢失任何鉴别信息． 假定 Ｓ １ 有 Ｎ 个非零特征值，矩阵 Ｐ １ 的每一列为非零特征值对应的特征向量， 则根据线性几何理论，Ψ 同构于 Ｎ 维实数空间 ＲＮ， 同构映射即为转换矩阵 Ｐ １ ， 因此有：μ １ ＝ Ｐ １ η １ ， μ １ ∈ Ψ ， η １ ∈ＲＮ ．（２ １ ）根据式（２ １ ） ， 式（ １ ７ ） 可进一步转变为空间中的优化问题：ｍ ｉ ｎ１２ηＴ１ Ｚ－１ η １ ＋ Ｃ １ ｅＴ２ ξ ２ ，ｓ ． ｔ ．－ Ｂ－η １ －１ｍ １ｅ ２ ｅＴ１ Ａ－η（ ）１ ＋ ξ ２ ≥ ｅ ２ ， ξ ２ ≥０．（２ ２ ）其中，Ｚ－１ ＝ ＰＴ１ Ｚ １ Ｐ １ ， Ｂ－ ＝Ｂ Ｐ １ ， Ａ－＝ Ａ Ｐ １ ． 然而， 在 ＲＮ 空间中，Ｚ－１ 可能仍然奇异． 此时， 需要 Ｐ Ｃ Ａ 方法降低到更低维空间， 直到 Ｚ－１ 非奇异为止．同理， 对于线性Ｌ Ｐ Ｔ Ｓ ＶＭ 原始优化问题式（６ ）具有上述类似的Ｐ Ｃ Ａ 降维处理过程， 以保证局部保持类内散度矩阵 Ｚ ２ 非奇异． 决 策 函 数类似 于式（１ ５ ） ， 只是式（ １ ５） 中ｄ ｉ ＝｜ ηＴｉ Ｐ ｉ ｘ ＋ ｂ ｉ ｜ ， ｂ １ ＝－１ｍ １ ×ｅＴ１ Ａ Ｐ １ η １ ， ｂ ２ ＝－１ｍ ２ｅＴ２ Ｂ Ｐ ２ η ２ ．

    ２． ３　 非线性Ｌ Ｐ Ｔ Ｓ ＶＭ对于非线性分类问题， 一般算法是引入非线性映射将样本从输入空间映射到高维隐形特征空间，然后利用核诡计在特征空间中执行线性算法 ． 然而，类似于 Ｐ Ｔ Ｓ ＶＭ 中的类内散度矩阵 Ｓ １ ? Ｓ ２ ， Ｌ Ｐ Ｔ Ｓ ＶＭ中的局部保持类内散度矩阵 Ｚ １ ? Ｚ ２ 在特征空间中不易显式表示． 文献［１ ５ － １ ６ ］ 利用经验核映射（ ｅ ｍ ｐ ｉ ｒ ｉ ｃ ａ ｌｋ ｅ ｒ ｎ ｅ ｌ 　ｍ ａ ｐ ｐ ｉ ｎ ｇ ， Ｅ ＫＭ ） 将样本从输入空间映射到经验特征空间 ． 经验特征空间保持了特征空间的几何结构， 而且， 线性算法可直接在经验特征空间上运行 ［１ ５ － １ ６ ］ ． 因 此，本 文 采 用 该 方 法 构 造 非 线 性Ｌ Ｐ Ｔ Ｓ ＶＭ．首先， 构造训练样本集核矩阵 Ｋ ｔ ｒ ａ ｉ ｎ ＝ ［ ｋｉ ｊ］ｍ × ｍ（ｋｉ ｊ＝  （ ｘ ｉ ）Ｔ （ｘ ｊ ） ＝ ｋ （ ｘ ｉ ， ｘ ｊ ） ， ｋ （ ｘ ｉ ， ｘ ｊ ） 为核函数） ．Ｋ ｔ ｒ ａ ｉ ｎ 是对称的正半定矩阵， 可分解为Ｋ ｔ ｒ ａ ｉ ｎ ＝ Ｐ ｍ × ｒ Λ ｒ × ｒ Ｐ Ｔ ｒ × ｍ ，（２ ３ ）其中，ｒ 是 Ｋ ｔ ｒ ａ ｉ ｎ 的秩， Λ 为对角矩阵 （ 对角元素为Ｋ ｔ ｒ ａ ｉ ｎ 的 ｒ 个正特征值） ， Ｐ 的每一列为正特征值对应的特征向量．然后， 使用 Ｅ ＫＭ 将训练样本从输入空间映射到经验特征空间， 公式表示为ｘ → Λ －１ ? ２ 　 ＰＴ （ｋ （ ｘ ， ｘ １ ） ， ｋ （ ｘ ， ｘ ２ ） ， …， ｋ （ ｘ ， ｘ ｍ ） ）Ｔ ．（２ ４ ）对于整个训练样本集， 则有 Ｘｅｔ ｒ ａ ｉ ｎ ＝ Ｋ ｔ ｒ ａ ｉ ｎ Ｐ Λ－１ ? ２ （Ｘｅｔ ｒ ａ ｉ ｎ为经验特征空间中的训练样本集） ． 值得注意的是，原输入空间样本的维数为 ｎ ， 而经验特征空间中样本维数为 ｒ ．最后， 以 Ｘｅｔ ｒ ａ ｉ ｎ 作为新的训练样本集， 直接执行线性Ｌ Ｐ Ｔ Ｓ ＶＭ． 测试时， 用式（２ ４ ） 将未知样本转换到经验特征空间后再决策．

    ３　 实验与分析

在人工数据集和真实数据集上分别对 Ｔ Ｓ ＶＭ ，Ｐ Ｔ Ｓ ＶＭ 与Ｌ Ｐ Ｔ Ｓ ＶＭ 进行实验． 实验环境： Ｗ ｉ ｎ ｄ ｏ ｗ ｓ ７操作系统，Ｃ Ｐ Ｕ 为ｉ ３ － ２ ３ ５ ０ Ｍ２ ． ３ＧＨ ｚ ， 内存为２Ｇ Ｂ ，运行软件为 ＭＡＴ Ｌ Ａ Ｂ 　７ ． １．

    ３． １　 测试人造数据集人造数据集经常被用来测试算法效果 ［１ ３ ］ ， 本节分别使 用交 叉 数 据 集 和流行数 据 集 来 验 证 本 文Ｌ Ｐ Ｔ Ｓ ＶＭ 分类性能， 并与 Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 进行对比．Ｆ ｉ ｇ ． ２　Ｔ ｈ ｅ 　ｐ ｌ ａ ｎ ｅ ｓ 　ｇ ｅ ｎ ｅ ｒ ａ ｔ ｅ ｄ 　ｂ ｙ 　 Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 　ａ ｎ ｄＬ Ｐ Ｔ Ｓ ＶＭ 　ｏ ｎ “ ｃ ｒ ｏ ｓ ｓ 　ｐ ｌ ａ ｎ ｅ ｓ ” ｄ ａ ｔ ａ ｓ ｅ ｔ ．图 ２　Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 和 Ｌ Ｐ Ｔ Ｓ ＶＭ 在交叉数据集上产生的分类面

    ３． １． １　 测试交叉数据集相对于单面支持向量机， 线性模式下对 Ｘ Ｏ Ｒ问题的求解能力是 Ｍ Ｓ Ｓ ＶＭ 分类算法优势之一 ［３ － ４ ， ６ ］． 因此， 本节首先验证Ｌ Ｐ Ｔ Ｓ ＶＭ 求解Ｘ Ｏ Ｒ的能力． 图２给出类 Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 与 Ｌ Ｐ Ｔ Ｓ ＶＭ 三个分类器在交叉数据集上“ｃ ｒ ｏ ｓ ｓ 　ｐ ｌ ａ ｎ ｅ ｓ ” （ Ｘ Ｏ Ｒ 的推广）［ ３ － ４ ， ６ ］上的分类性能． 显然３个算法产生的分类面重合， 而且可以较好的求解 Ｘ Ｏ Ｒ问题， 并得到１ ０ ０％的学习精度． 这 也 进 一 步 证 明 了 本 文 Ｌ Ｐ Ｔ Ｓ ＶＭ 继 承 了ＭＳ Ｓ ＶＭ 分类算法的特色， 即线性模式下对 Ｘ Ｏ Ｒ问题的求解能力优于单面支持向量机算法．

    ３． １． ２　 测试流行数据集数据集ｔ ｗ ｏ － ｍ ｏ ｏ ｎ ｓ经常被用于测试一些流行学习方法 ［１ ３ ， １ ８ ］ ． 这里通过与 Ｔ Ｓ ＶＭ 和 Ｐ Ｔ Ｓ ＶＭ 方法进行比较， 测试本文方法在２种不同复杂度ｔ ｗ ｏ －ｍ ｏ ｏ ｎ ｓ数据集（ｔ ｗ ｏ － ｍ ｏ ｏ ｎ ｓ － １ ， ｔ ｗ ｏ － ｍ ｏ ｏ ｎ ｓ － ２ ） 上保持非线性局部流行结构的性能， 如图３ （ ａ） 、 图３（ｂ ） 所示：实验设 计： ２ 种 ｔ ｗ ｏ － ｍ ｏ ｏ ｎ ｓ 数 据 集 大 小 均 为１ ０ ０ ， 其中正负类数据数各５ ０ ， 随机抽取４ ０％ 训练集和６ ０％测试集， 重复 １ ０次， 分别记录实验结果， 且将实验结果的平均值记录于表１． 参数 Ｃ １ 与 Ｃ ２ 的搜索范围均为｛０ ． ０ ０ １ ， ０ ． ０ １ ， ０ ． １ ， １ ， １ ０ ， １ ０ ０ ， １ 　０ ０ ０ ｝ ，Ｌ Ｐ Ｔ Ｓ ＶＭ 中热参数 ｔ 的搜索范围为｛０ ． ５ ， １ ， １ ． ５ ， ２ ，２ ． ５ ｝ ． 核函数选用高斯核ｅ ｘ ｐ （ － ｘ ｉ － ｘ ｊ２? ２σ２ ） ， 核宽参数 σ 的搜索范围为｛ ０ ． ５ ， １ ， ２ ， ４ ， ８ ， １ ６ ， ３ ２ ｝． 采用Ｐ Ｃ Ａ 方法将核映射后的数据集降维为１ ８．从表１可以看出：１ ） Ｌ Ｐ Ｔ Ｓ ＶＭ 方法对于流行数据集的测试性能高于 Ｔ Ｓ ＶＭ 和 Ｐ Ｔ Ｓ ＶＭ ， 这也进一步证明了本文方法能够更好地保持样本间非线性局部 流 行 结 构 鉴 别 信 息． ２ ）对 于 ｔ ｗ ｏ － ｍ ｏ ｏ ｎ ｓ － １ ，Ｌ Ｐ Ｔ Ｓ ＶＭ 测试精度比 Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ 平均高出１ ． ５个百分点． 对于ｔ ｗ ｏ － ｍ ｏ ｏ ｎ ｓ － ２ ， Ｌ Ｐ Ｔ Ｓ ＶＭ 测试精度比 Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ 平均高出３ ． ９个百分点． 这表明， 当数据集的拓扑结构变得更加复杂而不规则时， 本文Ｌ Ｐ Ｔ Ｓ ＶＭ 优势更加明显．３． ２　 测试真实数据集为了更全面地说明本文 Ｌ Ｐ Ｔ Ｓ ＶＭ 分类方法具有的分类性能， 在本节测试 Ｕ Ｃ Ｉ数据集， 同时与Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 进行对比， 以增加本文算法分类性能的说服力．Ｕ Ｃ Ｉ数 据 集 经 常 被 用 来 测 试 算 法 的 分 类 精度 ［４ － ７ ， １ ４ ， １ ９ ］ ． 在该测试阶段， 我们抽取该数据集的１ ０个 ２ 分 类 数 据 子 集： Ｉ ｏ ｎ ｏ ｓ ｐ ｈ ｅ ｒ ｅ ， Ｍ ｏ ｎ ｋ ３ ， Ｈ ｅ ａ ｒ ｔ ，Ｇ ｌ ａ ｓ ｓ ７ ， Ｐ ｉ ｍ ａ ＿ ｉ ｎ ｄ ｉ ａ ， Ｂ ｕ ｐ ａ ＿ ｌ ｉ ｖ ｅ ｒ ， Ｈ ｅ ｐ ａ ｔ ｉ ｔ ｉ ｓ ， Ｖ ｅ ｒ ｔ ｅ ｂ ｒ ａ ｌ ，Ｐ ａ ｒ ｋ ｉ ｎ ｓ ｏ ｎ ｓ ， Ｗｄ ｂ ｃ来分别测试 Ｔ Ｓ ＶＭ ， Ｐ Ｔ Ｓ ＶＭ 和本文 Ｌ Ｐ Ｔ Ｓ ＶＭ． 对于每个数据子集， 选用５ － 折交叉验证方法 ［２ ０ ］ ． 实验结果给出了平均识别精度和训练时间． 相关参数搜索范围同３． １． ２节实验． 表２和表３分别给出了线性模式及非线性模式下３种分类方法的测试结果． 同样，３种分类方法在非线性模式下都存在奇异性问题， 因此， 我们在实验中采用 Ｐ Ｃ Ａ方法对经验核映射后的数据集降维． 为公平起见， 降维后的特征维数都为 ｍ ｉ －２ （ ｍ ｉ 为第 ｉ 类训练样本数，ｉ ＝１ ， ２ ） ．从训练时间上看： 宏观上，３种方法基本处于同样的数量级， 这主要是因为３种算法的时间复杂度主要都集中在二次规划求解上， 均为 Ｏ （ ｍ３１ ＋ ｍ３２ ） ；微观 上，本 文 的 Ｌ Ｐ Ｔ Ｓ ＶＭ 要 略 快 于 Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ ， 从实验过程上看， 这主要是因为Ｌ Ｐ Ｔ Ｓ ＶＭ二次规划求解的收敛速度略快 ．从泛化性能上看： 无论是线性模式还是非线性模式， 本文的 Ｌ Ｐ Ｔ Ｓ ＶＭ 方法对未知样本的识别精度总体上均高于 Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ． 这进一步表明，考虑样本间局部结构信息确实能够一定程度上提高多面分类器的泛化性能．

    ４　 结 　　 论

    本文根据已有 ＭＳ Ｓ ＶＭ 方法存在的不足， 将Ｌ Ｐ Ｐ 基本原理引入到 ＭＳ Ｓ ＶＭ 中， 提出一种全新的ＭＳ Ｓ ＶＭ 方法： 局部保持对支持向量机 Ｌ Ｐ Ｔ Ｓ ＶＭ ，该方 法 不 仅 继 承 了 ＭＳ Ｓ ＶＭ 方 法 较 好 的 异 或（ Ｘ Ｏ Ｒ ） 问题的求解能力， 而且在一定程度上克服了已有 ＭＳ Ｓ ＶＭ 方法没有充分考虑训练样本间局部几何结构信息的缺陷． 在小样本情况下， Ｐ Ｃ Ａ 方法被用来实现高维样本空间的降维处理， 从而保证了本文 Ｌ Ｐ Ｔ Ｓ ＶＭ 方法的有效性． 对于非线性分类问题， 本文采用经验核映射方法构造经验核空间， 这样，Ｌ Ｐ Ｔ Ｓ ＶＭ 方法可以直接在经验核空间中执行． 实验中选用具有代表性的 Ｔ Ｓ ＶＭ 和Ｐ Ｔ Ｓ ＶＭ 作比较， 结果表明本文Ｌ Ｐ Ｔ Ｓ ＶＭ 方法具有较好的泛化性能．

参 考 文 献［ １ ］ Ｙ ａ ｎ ｇ 　 Ｘ ｕ ｂ ｉ ｎ ｇ ， Ｃ ｈ ｅ ｎ 　Ｓ ｏ ｎ ｇ ｃ ａ ｎ．Ｐ ｒ ｏ ｘ ｉ ｍ ａ ｌ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｂ ａ ｓ ｅ ｄ 　ｏ ｎ 　ｐ ｒ ｏ ｔ ｏ ｔ ｙ ｐ ａ ｌ 　ｍ ｕ ｌ ｔ ｉ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｈ ｙ ｐ ｅ ｒ ｐ ｌ ａ ｎ ｅ ｓ［ Ｊ ］ ． Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ 　ａ ｎ ｄ 　Ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ， ２ ０ ０ ６ ，４ ３ （ １ ０ ） ： １ ７ ０ ０ － １ ７ ０ ５ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 杨绪兵，陈松灿．基于原型超平面的多类最接近支持向量机［ Ｊ ］ ． 计算机研究与发展，２ ０ ０ ６ ， ４ ３ （ １ ０ ） ： １ ７ ０ ０ － １ ７ ０ ５［ ２ ］ Ｇ ａ ｏ 　Ｊ ｕ ｎ ， Ｗ ａ ｎ ｇ 　 Ｓ ｈ ｉ ｔ ｏ ｎ ｇ ， Ｄ ｅ ｎ ｇ 　 Ｚ ｈ ａ ｏ ｈ ｏ ｎ ｇ ．Ｇ ｌ ｏ ｂ ａ ｌ 　ａ ｎ ｄ 　ｌ ｏ ｃ ａ ｌｐ ｒ ｅ ｓ ｅ ｒ ｖ ｉ ｎ ｇ 　 ｂ ａ ｓ ｅ ｄ 　ｓ ｅ ｍ ｉ － ｓ ｕ ｐ ｅ ｒ ｖ ｉ ｓ ｅ ｄ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ［ Ｊ ］ ．Ａ ｃ ｔ ａ 　Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ａ 　Ｓ ｉ ｎ ｉ ｃ ａ ， ２ ０ １ ０ ， ３ ８ （ ７ ） ： １ ６ ２ ６ － １ ６ ３ ３ （ ｉ ｎＣ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 皋军，王士同，邓赵红 ． 基于全局和局部保持的半监督支持向量机［ Ｊ ］ ． 电子学报， ２ ０ １ ０ ， ３ ８ （７ ） ： １ ６ ２ ６ － １ ６ ３ ３ ）［ ３ ］ Ｍ ａ ｎ ｇ ａ ｓ ａ ｒ ｉ ａ ｎ 　Ｏ 　Ｌ ， Ｗ ｉ ｌ ｄ 　Ｅ．Ｍ ｕ ｌ ｔ ｉ ｓ ｕ ｒ ｆ ａ ｃ ｅ 　ｐ ｒ ｏ ｘ ｉ ｍ ａ ｌ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｖ ｉ ａ 　ｇ ｅ ｎ ｅ ｒ ａ ｌ ｉ ｚ ｅ ｄ 　ｅ ｉ ｇ ｅ ｎ ｖ ａ ｌ ｕ ｅ ｓ ［ Ｊ ］ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎ 　Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ 　ａ ｎ ｄ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ，２ ０ ０ ６ ， ２ ８ （ １ ） ： ６ ９ － ７ ４［ ４ ］ Ｙ ｅ 　Ｑ ｉ ａ ｏ ｌ ｉ ｎ ， Ｚ ｈ ａ ｏ 　Ｃ ｈ ｕ ｎ ｘ ｉ ａ ， Ｃ ｈ ｅ ｎ 　Ｘ ｉ ａ ｏ ｂ ｏ ． Ａ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎｍ ｅ ｔ ｈ ｏ ｄ 　ｆ ｏ ｒ 　ＴＷＳ ＶＭ 　ｖ ｉ ａ 　ａ 　ｒ ｅ ｇ ｕ ｌ ａ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎ 　ｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ ［ Ｊ ］ ．Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ 　ａ ｎ ｄ 　Ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ， ２ ０ １ １ ， ４ ８（ ６ ） ： １ ０ ２ ９ － １ ０ ３ ７ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 业巧林，赵春霞，陈小波 ． 基于正则化技术的对支持向量机特征选择算法［ Ｊ ］ ． 计算机研究与发展， ２ ０ １ １ ， ４ ８ （６ ） ： １ ０ ２ ９ －１ ０ ３ ７ ）［ ５ ］ Ｊ ａ ｙ ａ ｄ ｅ ｖ ａ ， Ｋ ｈ ｅ ｍ ｃ ｈ ａ ｎ ｄ ａ ｉ 　Ｒ ， Ｃ ｈ ａ ｎ ｄ ｒ ａ 　Ｓ． Ｔ ｗ ｉ ｎ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ 　ｆ ｏ ｒ 　ｐ ａ ｔ ｔ ｅ ｒ ｎ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ［ Ｊ ］ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎＰ ａ ｔ ｔ ｅ ｒ ｎ 　Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ 　ａ ｎ ｄ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， ２ ０ ０ ７ ， ２ ９ （ ５ ） ：９ ０ ５ － ９ １ ０［ ６ ］ Ｃ ｈ ｅ ｎ 　Ｘ 　Ｂ ，Ｙ ａ ｎ ｇ Ｊ ， Ｙ ｅ 　Ｑ 　Ｌ ， ｅ ｔ 　ａ ｌ ． Ｒ ｅ ｃ ｕ ｒ ｓ ｉ ｖ ｅ 　ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ 　ｔ ｗ ｉ ｎｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｖ ｉ ａ 　ｗ ｉ ｔ ｈ ｉ ｎ － ｃ ｌ ａ ｓ ｓ 　ｖ ａ ｒ ｉ ａ ｎ ｃ ｅ 　ｍ ｉ ｎ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ［ Ｊ ］ ． Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ， ２ ０ １ １ ， ４ ４ （ １ ０ ） ： ２ ６ ４ ３ － ２ ６ ５ ５［ ７ ］ Ｙ ｅ 　Ｑ 　Ｌ ， Ｚ ｈ ａ ｏ 　Ｃ 　Ｘ ， Ｙ ｅ 　Ｎ ， ｅ ｔ 　ａ ｌ ．Ｍ ｕ ｌ ｔ ｉ － ｗ ｅ ｉ ｇ ｈ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ［ Ｊ ］ ． Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎＬ ｅ ｔ ｔ ｅ ｒ ｓ ， ２ ０ １ ０ ， ３ １ （ １ １ ） ： ２ ０ ０ ６ － ２ ０ １ １［ ８ ］ Ｔ ｅ ｎ ｅ ｎ ｂ ａ ｕ ｍ 　Ｊ 　Ｂ ， Ｓ ｉ ｌ ｖ ａ 　Ｖ　Ｄ ， Ｌ ａ ｎ ｇ ｆ ｏ ｒ ｄ 　Ｊ 　Ｃ． Ａ 　ｇ ｌ ｏ ｂ ａ ｌｇ ｅ ｏ ｍ ｅ ｔ ｒ ｉ ｃ 　ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ 　ｆ ｏ ｒ 　ｎ ｏ ｎ ｌ ｉ ｎ ｅ ａ ｒ 　ｄ ｉ ｍ ｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ ｉ ｔ ｙ 　 ｒ ｅ ｄ ｕ ｃ ｔ ｉ ｏ ｎ［ Ｊ ］ ． Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， ２ ０ ０ ０ ， ２ ９ ０ （ ５ ５ ０ ０ ） ： ２ ３ １ ９ － ２ ３ ２ ３［ ９ ］ Ｒ ｏ ｗ ｅ ｉ ｓ 　Ｓ 　Ｔ ， Ｓ ａ ｕ ｌ 　Ｌ 　Ｋ．Ｎ ｏ ｎ ｌ ｉ ｎ ｅ ａ ｒ 　ｄ ｉ ｍ ｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ ｉ ｔ ｙ 　 ｒ ｅ ｄ ｕ ｃ ｔ ｉ ｏ ｎｂ ｙ 　 ｌ ｏ ｃ ａ ｌ ｌ ｙ ｌ ｉ ｎ ｅ ａ ｒ 　ｅ ｍ ｂ ｅ ｄ ｄ ｉ ｎ ｇ ［ Ｊ ］ ． Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， ２ ０ ０ ０ ， ２ ９ ０ （ ５ ５ ０ ０ ） ：２ ３ ２ ３ － ２ ３ ２ ６［ １ ０ ］ Ｂ ｅ ｌ ｋ ｉ ｎ 　Ｍ ， Ｎ ｉ ｙ ｏ ｇ ｉ 　Ｐ． Ｌ ａ ｐ ｌ ａ ｃ ｉ ａ ｎ 　ｅ ｉ ｇ ｅ ｎ ｍ ａ ｐ ｓ 　ｆ ｏ ｒ 　ｄ ｉ ｍ ｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ ｉ ｔ ｙｒ ｅ ｄ ｕ ｃ ｔ ｉ ｏ ｎ 　ａ ｎ ｄ 　ｄ ａ ｔ ａ 　ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ［ Ｊ ］ ．Ｎ ｅ ｕ ｒ ａ ｌ 　Ｃ ｏ ｍ ｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ，２ ０ ０ ３ ， １ ５ （ ６ ） ： １ ３ ７ ３ － １ ３ ６ ９［ １ １ ］ Ｈ ｅ 　Ｘ 　Ｆ ， Ｎ ｉ ｙ ｏ ｇ ｉ 　Ｐ．Ｌ ｏ ｃ ａ ｌ ｉ ｔ ｙ 　ｐ ｒ ｅ ｓ ｅ ｒ ｖ ｉ ｎ ｇ 　ｐ ｒ ｏ ｊ ｅ ｃ ｔ ｉ ｏ ｎ ［ Ｏ Ｌ ］ ．［ ２ ０ １ ２ － ０ ７ － ０ ８ ］ ． ｈ ｔ ｔ ｐ ：? ? ｗｗｗ． ｄ ｏ ｃ ｉ ｎ． ｃ ｏ ｍ ? ｐ － ２ ０ ２ ４ ５ ８ ４ ５ ２． ｈ ｔ ｍ ｌ［ １ ２ ］ Ｃ ａ ｉ 　Ｄ ， Ｈ ｅ 　Ｘ 　Ｆ ， Ｈ ａ ｎ 　Ｊ 　Ｗ．Ｓ ｅ ｍ ｉ－ ｓ ｕ ｐ ｅ ｒ ｖ ｉ ｓ ｅ ｄ 　ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｎ ｔａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ［ Ｏ Ｌ ］ ． ［ ２ ０ １ ２ － ０ ７ － ０ ８ ］ ．ｈ ｔ ｔ ｐ ： ? ? ｗ ｅ ｎ ｋ ｕ． ｂ ａ ｉ ｄ ｕ． ｃ ｏ ｍ ?ｖ ｉ ｅ ｗ ? ５ ２ １ ５ ０ ３ ６ ａ ｂ ８ ４ ａ ｅ ４ ５ ｃ ３ ｂ ３ ５ ８ ｃ ０ ｄ ． ｈ ｔ ｍ ｌ［ １ ３ ］ Ｂ ｅ ｌ ｋ ｉ ｎ 　Ｍ ， Ｎ ｉ ｙ ｏ ｇ ｉ 　Ｐ ， Ｓ ｉ ｎ ｄ ｈ ｗ ａ ｎ ｉ 　Ｖ．Ｍ ａ ｎ ｉ ｆ ｏ ｌ ｄ 　ｒ ｅ ｇ ｕ ｌ ａ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎ ：Ａ 　ｇ ｅ ｏ ｍ ｅ ｔ ｒ ｉ ｃ 　ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ 　ｆ ｏ ｒ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ｆ ｒ ｏ ｍ 　ｌ ａ ｂ ｅ ｌ ｅ ｄ 　ａ ｎ ｄｕ ｎ ｌ ａ ｂ ｅ ｌ ｅ ｄ 　ｅ ｘ ａ ｍ ｐ ｌ ｅ ｓ ［ Ｊ ］ ．Ｔ ｈ ｅ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇＲ ｅ ｓ ｅ ａ ｒ ｃ ｈ ， ２ ０ ０ ６ ， ７ （ １ １ ） ： ２ ３ ９ ９ － ２ ４ ３ ４［ １ ４ ］ Ｗ ａ ｎ ｇ 　 Ｘ　Ｍ ， Ｃ ｈ ｕ ｎ ｇ 　 Ｆ 　Ｌ ， Ｗ ａ ｎ ｇ 　 Ｓ 　Ｔ．Ｏ ｎ 　ｍ ｉ ｎ ｉ ｍ ｕ ｍ 　ｃ ｌ ａ ｓ ｓｌ ｏ ｃ ａ ｌ ｉ ｔ ｙ 　ｐ ｒ ｅ ｓ ｅ ｒ ｖ ｉ ｎ ｇ 　 ｖ ａ ｒ ｉ ａ ｎ ｃ ｅ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ［ Ｊ ］ ．Ｐ ａ ｔ ｔ ｅ ｒ 　Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ， ２ ０ １ ０ ， ４ ３ （ ８ ） ： ２ ７ ５ ３ － ２ ７ ６ ２［ １ ５ ］ Ｘ ｉ ｏ ｎ ｇ 　 Ｈ　Ｌ ， Ｓ ｗ ａ ｍ ｙ 　 Ｍ　Ｎ 　Ｓ ， Ａ ｈ ｍ ａ ｄ 　Ｍ　Ｏ．Ｏ ｐ ｔ ｉ ｍ ｉ ｚ ｉ ｎ ｇ 　 ｔ ｈ ｅｋ ｅ ｒ ｎ ｅ ｌ 　ｉ ｎ 　ｔ ｈ ｅ 　ｅ ｍ ｐ ｉ ｒ ｉ ｃ ａ ｌ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｐ ａ ｃ ｅ ［ Ｊ ］ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎＮ ｅ ｕ ｒ ａ ｌ 　Ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ， ２ ０ ０ ５ ， １ ６ （ ２ ） ： ４ ６ ０ － ４ ７ ４［ １ ６ ］ Ｗ ａ ｎ ｇ 　 Ｙ　Ｙ ， Ｃ ｈ ｅ ｎ 　Ｓ 　Ｃ ， Ｘ ｕ ｅ 　Ｈ．Ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅｉ ｎ ｃ ｏ ｒ ｐ ｏ ｒ ａ ｔ ｅ ｄ 　ｗ ｉ ｔ ｈ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｔ ｉ ｏ ｎ ［ Ｊ ］ ． Ｅ ｘ ｐ ｅ ｒ ｔ 　Ｓ ｙ ｓ ｔ ｅ ｍ ｓｗ ｉ ｔ ｈ 　Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ， ２ ０ １ １ ， ３ ８ （ １ ０ ） ： １ ２ ５ ０ ６ － １ ２ ５ １ ３［ １ ７ ］ Ｄ ｅ ｎ ｇ 　 Ｎ ａ ｉ ｙ ａ ｎ ｇ ， Ｔ ｉ ａ ｎ 　Ｙ ｉ ｎ ｇ ｊ ｉ ｅ ．Ｔ ｈ ｅ 　Ｎ ｅ ｗ　Ｍ ｅ ｔ ｈ ｏ ｄ 　ｏ ｆ 　Ｄ ａ ｔ ａＭ ｉ ｎ ｉ ｎ ｇ — Ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　Ｖ ｅ ｃ ｔ ｏ ｒ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ［ Ｍ ］ ．Ｂ ｅ ｉ ｊ ｉ ｎ ｇ ： Ｓ ｃ ｉ ｅ ｎ ｃ ｅＰ ｒ ｅ ｓ ｓ ， ２ ０ ０ ４ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 邓乃杨，田英杰 ． 数据挖掘中的新方法—支持向量机［ Ｍ ］ ．北京：科学出版社， ２ ０ ０ ４ ）［ １ ８ ］ Ｈ ｅ 　Ｘ 　Ｆ ， Ｙ ａ ｎ 　Ｓ 　Ｃ ， Ｈ ｕ 　Ｙ 　Ｘ ， ｅ ｔ 　ａ ｌ ．Ｆ ａ ｃ ｅ 　ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇＬ ａ ｐ ｌ ａ ｃ ｉ ａ ｎ 　ｆ ａ ｃ ｅ ｓ ［ Ｊ ］ ． Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎ 　Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ 　ａ ｎ ｄＭ ａ ｃ ｈ ｉ ｎ ｅ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， ２ ０ ０ ５ ， ２ ７ （ ３ ） ： ３ ２ ８ － ３ ４ ０［ １ ９ ］Ｄ ｉ ｎ ｇ 　 Ｌ ｉ ｚ ｈ ｏ ｎ ｇ， Ｌ ｉ ａ ｏ 　Ｓ ｈ ｉ ｚ ｈ ｏ ｎ ｇ ．ＫＭＡ － ａ ： Ａ 　ｋ ｅ ｒ ｎ ｅ ｌ 　ｍ ａ ｔ ｒ ｉ ｘａ ｐ ｐ ｒ ｏ ｘ ｉ ｍ ａ ｔ ｉ ｏ ｎ 　ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ 　ｆ ｏ ｒ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ［ Ｊ ］ ．Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ 　ａ ｎ ｄ 　Ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ， ２ ０ １ ２ ， ４ ９（ ４ ） ： ７ ４ ６ － ７ ５ ３ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 丁立中，廖士中．ＫＭＡ － ａ ：一个支持向量机核矩阵的近似计算算法［ Ｊ ］ ．计算机研究与发展， ２ ０ １ ２ ， ４ ９ （４ ） ： ７ ４ ６ － ７ ５ ３ ）［ ２ ０ ］ Ａ ｂ ｒ ｉ ｌ 　Ｌ 　Ｇ ， Ａ ｎ ｇ ｕ ｌ ｏ 　Ｃ ， Ｖ ｅ ｌ ａ ｓ ｃ ｏ 　Ｆ ， ｅ ｔ 　ａ ｌ ． Ａ 　ｎ ｏ ｔ ｅ 　ｏ ｎ 　ｔ ｈ ｅ 　ｂ ｉ ａ ｓ 　ｉ ｎＳ ＶＭ ｓ 　ｆ ｏ ｒ 　ｍ ｕ ｌ ｔ ｉ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ［ Ｊ ］ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎ 　Ｎ ｅ ｕ ｒ ａ ｌＮ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ， ２ ０ ０ ８ ， １ ９ （ ４ ） ： ７ ２ ３ － ７ ２ ５