摘 要:  针对光滑孪生支持向量机(smooth twin support vector machines,简称 STWSVM)采用的 Sigmoid 光滑函数逼近精度低和 STWSVM 对异常点敏感的问题,引入一种性能更好的光滑函数——CHKS 函数,提出了光滑 CHKS孪生支持向量机模型(smooth CHKS twin support vector machines,简称 SCTWSVM).在此基础上,根据样本点的位置为每个训练样本赋予不同的重要性,以降低异常点对非平行超平面的影响,提出了加权光滑 CHKS 孪生支持向量机(weighted smooth CHKS twin support vector machines,简称 WSCTWSVM).不仅从理论上证明了 SCTWSVM 具有严凸性和任意阶光滑的性能,而且在数据集上的实验结果表明,相对于 STWSVM,SCTWSVM 可以在更短的时间内获得更高的分类精度,同时验证了 WSCTWSVM 的有效性和可行性.

关键词:  孪生支持向量机;光滑孪生支持向量机;CHKS 函数;光滑;加权

支持向量机(support vector machine,简称 SVM)自 1995 年由 Vapnik 提出以来就受到理论研究和工程应用两方面的重视,目前已成为机器学习的研究热点,并在很多领域如模式识别、时间序列预测、图像处理等得到了成功的应用 [14] .与其他机器学习方法相比,比如与人工神经网络相比 [5,6] ,SVM 成功地解决了高维问题和局部极小值问题,因此具有更好的泛化能力.虽然 SVM 已经取得了较好的学习性能,但是它的训练时间非常高,达到O(l 3 ).其中,l 是整个训练集的样本数.为了提高 SVM 的训练速度,探寻关于 SVM 优化问题合理且高效的算法已成为 SVM研究领域的一个重要研究课题.目前,大多数改进算法的一个共同思想就是用分解的方法将大规模二次规划问题转化为小规模问题求解.常用的算法包括选块算法(chunking algorithm) [7] 、分解算法(decompositionalgorithm) [8] 、 序列最小优化算法(sequential minimal optimization,简称 SMO) [9] 等等.这些经典的改进方法在一定程度上节省了计算机内存,提高了算法的计算效率,但算法的设计和实现比较复杂.

近年来,很多学者开始研究基于标准 SVM 的变形算法.例如,2001 年,Fung [10] 等人提出了近似支持向量机分类器(proximal support vectormachine,简称 PSVM).与 SVM不同,PSVM的基本思想是在每类样本集中设置与样本点邻近的平行超平面,并且使两个平行超平面之间的距离达到最大.该算法的时间复杂度为 O(n 3 ),其中,n 为样本的维数.基于 PSVM 的思想,2006 年,Mangasarian 等人 [11] 提出了广义特征近似支持向量机(proximal support vector machines viageneralized eigenvalues,简称 GEPSVM).该算法舍弃了 PSVM平行约束的条件,优化目标要求超平面离本类样本尽可能地近,离它类样本尽可能地远,问题归结为求解两个广义特征值问题.与 PSVM 相比,GEPSVM 能够更好地处理异或(XOR)问题.

2007 年,Jayadeva 等人 [12] 在深入研究了标准 SVM 形式的基础上,借鉴 GEPSVM 的思想提出了孪生支持向量机(twin support vector machines,简称 TWSVM).TWSVM 将 GEPSVM 问题转换为两个较小的形如 SVM 的凸二次规划问题,因此时间开销缩减到 SVM 的 1/4.鉴于其明显的分类优势,TWSVM 已被应用于说话人识别 [13] 、医学检测 [14,15] 等领域.然而,TWSVM 的标准算法是在对偶空间求解两个二次规划问题,这种求解方法对于样本数目较大的问题将受到时间和内存的制约.为了解决这个问题,2008年,Kumar等人 [16] 引入正号函数,把TWSVM原始模型转化成两个不光滑的无约束优化问题,力求在原始空间求解 TWSVM 模型.为了可以使用具有快速收敛能力的梯度方法求解无约束优化问题,Kumar 等人采用 Sigmoid 光滑函数,对不光滑的无约束优化问题做光滑处理,提出了可以直接在原空间求解 TWSVM 模型的光滑孪生支持向量机(smooth twin support vectormachines,简称 STWSVM).相对于 TWSVM,在 NDC 大数据集上的实验结果表明,STWSVM 的效率得到了很大的提高.然而,Sigmoid 函数对正号函数的逼近精度比较低,导致 STWSVM 的分类精度不够理想.并且和 SVM 一样,STWSVM 对异常点非常敏感.然而,STWSVM 并没有考虑输入样本点对最优分类超平面产生的不同影响.CHKS 函数是一种比 Sigmoid 函数具有更好逼近能力的光滑函数,已经被成功地应用到光滑支持向量机中 [17] .在本文中,我们引入 CHKS 函数,采用 CHKS 函数逼近孪生支持向量机的不可微项,提出了光滑 CHKS 孪生支持向量机模型(smooth CHKS twin support vector machines,简称 SCTWSVM).在此基础上,通过为每个训练样本赋予不同的样本重要性来减弱异常样本对超平面的影响,提出了加权 CHKS 孪生支持向量机学习算法(weightedsmooth CHKS twin support vector machines,简称WSCTWSVM).我们不仅从理论上证明了SCTWSVM具有严凸性、 任意阶光滑和全局收敛的性能,而且在 UCI 数据集和 NDC 大数据集上的实验结果表明 SCTWSVM 能够在更短的时间内获得比 STWSVM 更高的分类精度,并且,WSCTWSVM 比 SCTWSVM 具有更好的分类性能.

1 光滑 CHKS 孪生支持向量机

1.1 SCTWSVM原理及其性质给定两类 n 维的 m 个训练点,分别用 m 1 n 的矩阵 A 和 m 2 n 的矩阵 B 表示+1 类和1 类,这里,m 1 和 m 2 分别代表两类样本的数目.TWSVM 的目标是在 n 维空间中寻找两个非平行的超平面:x T w 1 +b 1 =0,x T w 2 +b 2 =0,要求每一个超平面离本类样本尽可能地近,离它类样本距离尽可能地远.TWSVM 可以归结为求解下面两个二次规划问题: 其中,c 1 ,c 2 是两个惩罚参数,e 1 ,e 2 是两个全由 1 组成的列向量,(1) (1) (1) (2) (2) (2) ( )1 2 1 1 2 2[ , ,..., ] , [ , ,..., ] ,T T im m jA x x x B x x x x   表示第 i 类的第 j 个样本.在 TWSVM 算法中,TWSVM 丧失了稀疏性,当训练样本集较大时,算法效率将会比较低.为了提高 TWSVM的训练速度,本文在求解公式(1)和公式(2)时不是在对偶空间寻找原始问题的最优解,而是直接在原空间求解原始问题.

由 KKT 条件,公式(1)和公式(2)的最优解有:(2) =max{0,e2 +(Bw(1) +e2 b(1) )}(3)(1) =max{0,e1 (Aw(2) +e1 b(2) )}(4)将公式(3)、公式(4)代入公式(1)和公式(2),得:(1) (1) (2)(1) (1) 2 (1) (1)1 1 2 2 2, ,1min || || max{0,( )}2Tw bAw eb c e e Bw e b    (5)(2) (2) (1)(2) (2) 2 (2) (2)2 2 1 1 1, ,1min || || max{0,( )}2Tw bBw e b c e e Aw eb    (6)令  1 (w (1) ,b (1) )=(u 1 ) + =max{0,e 2 +(Bw (1) +e 2 b (1) )},  2 (w (2) ,b (2) )=(u 2 ) + =max{0,(e 1 Aw (2) e 1 b (2) )}, 其中 ,(u 1 ) + 和 (u 2 ) + 称为正号函数 .定理 1 ( 不光滑性 ).  无约束的孪生支持向量机模型由公式 (5) 和公式 (6) 给出 , 该模型连续但不光滑 .由定理 1 可知 , 公式 (5) 和公式 (6) 的第 2 项不光滑 , 无法用梯度方法进行求解 , 因为使用梯度方法求解无约束优化问题的前提条件是要求目标函数为一阶或二阶可微 . 为此 , 本文采用 CHKS 函数2 24( , )2x xx   来逼近  (x)=max{0,x}, 其中 ,  是足够小的参数 . 可得  1 (w (1) ,b (1) ) 和  2 (w (2) ,b (2) ) 的光滑函数分别为(1) (1) (1) (1) (1) (1) 2 21 2 2 2 21 1( , , ) ( ) ( ) 42 2w b e Bw e b e Bw e b           (7)(2) (2) (2) (2) (2) (2) 2 22 1 1 1 11 1( , , ) ( ) ( ) 42 2w b e Aw eb e Aw eb           (8)采用公式 (7) 和公式 (8) 作为光滑函数 , 可以得到光滑 CHKS 孪生支持向量机的模型为(1) (1) (2)(1) (1) (1) (1) 2 (1) (1)1 1 1 2 1, ,1min ( , , ) || || ( , , )2Tw bw b Aw eb c e w b       (9)(2) (2) (1)(2) (2) (2) (2) 2 (2) (2)2 2 2 1 2, ,1min ( , , ) || || ( , , )2Tw bw b Bw e b c e w b       (10)引理 1 .  1 (w (1) ,b (1) ,  ) 和  2 (w (2) ,b (2) ,  ) 由公式 (9) 和公式 (10) 给出 , 则有 :(1) 对任意的 w (1) R n ,w (2) R n ,b (1) R,b (2) R,  1 (w (1) ,b (1) ,  ) 和  2 (w (2) ,b (2) ,  ) 分别关于 w (1) ,b (1) 和 w (2) ,b (2) 任意阶光滑 .(2) 对任意的 w (1) R n ,w (2) R n ,b (1) R,b (2) R,  1 (w (1) ,b (1) ,  ) 和  2 (w (2) ,b (2) ,  ) 单调递增 .(3) 对任意的 w (1) R n ,w (2) R n ,b (1) R,b (2) R,  >0, 有 :   1 (w (1) ,b (1) ) ≤  1 (w (1) ,b (1) ,  ) ≤  1 (w (1) ,b (1) )+  ;   2 (w (2) ,b (2) ) ≤  2 (w (2) ,b (2) ,  ) ≤  2 (w (2) ,b (2) )+  (4) 对任意的  >0,  1 (w (1) ,b (1) ,  ) 和  2 (w (2) ,b (2) ,  ) 是连续可微且严格凸的 .证明 :(1)  容易证明  1 (w (1) ,b (1) ,  ) 和  2 (w (2) ,b (2) ,  ) 是任意阶光滑的 , 因此结论 (1) 成立 . 证明略 .(2)  在此我们只证明  1 (w (1) ,b (1) ,  ) 是单调递增的 ,  2 (w (2) ,b (2) ,  ) 同理可证 ;对任意的 xR n ,  >0, 有 :2 21 12 2 2 2 2 2( , ) 2 ( , ) 1 40,  1 0.24 4 2 4x x x x xxx x x                       因此 , 函数  1 (x,  ) 关于  是单调递增函数 , 即对任意的 0<  1 <  2 , 有  1 (x,  1 )<  1 (x,  2 ); 再由  1 (w (1) ,b (1) ,  ) 的定义 , 结论显然是成立的 .(3) 2 22 2 2 2144( , ) max{0, } .2 2 2x xx x x xx x       因此对任意的 w (1) R n ,b (1) R,  >0, 有 0 ≤  1 (w (1) ,b (1) ,  )  1 (w (1) ,b (1) ) ≤  .由  1 (w (1) ,b (1) ,  ) 的定义 , 易得 :  1 (w (1) ,b (1) ) ≤  1 (w (1) ,b (1) ,  ) ≤  1 (w (1) ,b (1) )+  . 2 (w (2) ,b (2) ) ≤  2 (w (2) ,b (2) ,  ) ≤  2 (w (2) ,b (2) )+  , 同理可证 .(4)  由定理 1 可知 , 对任意的  >0,  1 (w (1) ,b (1) ,  ) 显然是连续可微的 . 下面证明它是严格凸函数 .由公式 (7) 和公式 (9) 可得 :(1)(1)(1) (1)(1) (1) (1) (1) 1 2 2 21 1(1) (1) 22 2(1) (1)(1) (1) (1) (1)1 2 2 21 1 1 1(1) (1) 22 2( , , ) ( ) 1 ,2( ) 4( , , ) ( ) 1 .2( ) 4TwTbc e e Bw e bw b A Aw eb Be Bw e bc e e Bw e bw b e Aw eb ee Bw e b                        于是有 :(1) (1) (1) (1)2 (1) (1) 1 1 11(1) (1) (1) (1)1 1 1 1 1 1 1 1( , , ) ( , , )( , , ) ,( , , ) ( , , )T TT TAA BB w b Ae B w bw bAe Be w b ee ee w b               其中 , 2(1) (1) 1 213(1) (1) 22 22( , , ) .( ) 4Tc ew be Bw e b   对任意的11 0( , )T T nR     且  1 0,  R n , 由于  1 (w (1) ,b (1) ,  )>0, 有 :2 (1) (1) (1) (1) (1) (1)1 1 1 1 1 0 0 1(1) (1) 2 2 (1) (1)1 0 1 0 1 0 1 1 0 1 1 12 2 (1) (1)0 1( , , ) ( )( ) ( )( ) ( , , ) ( , , )( , , ) ( , , )|| || ( ) ( , , ) 0.T T T T TT Tw b A A B B w b Ae B w bAe Be w b ee ee w bA B w b                                  因此 , 对任意的  >0,  1 (w (1) ,b (1) ,  ) 是严格凸函数 . 同理可证  2 (w (2) ,b (2) ,  ) 是连续可微且严格凸的 .  □引理 2 .  设1 1( , )k kw b 和2 2( , )k kw b 是目标函数公式 (9) 和公式 (10) 的极小点 ,* *1 1( , ) w b 和* *2 2( , ) w b 是公式 (5) 和公式(6) 的极小点 , 则当光滑因子  趋于无穷小时 , 有 :* *1 1 1 1 1 10 ( , , ) ( , )k kw b w b C      ≤ ≤ (11)* *2 2 2 2 2 20 ( , , ) ( , )k kw b w b C      ≤ ≤ (12)其中 ,C 为常数 .由引理 1 容易得到引理 2 的结论 , 在此证明略 .定理 2 . SCTWSVM 模型的解全局收敛于 TWSVM 原问题的解 . 即 , 设1 1( , )k kw b 和2 2( , )k kw b 是目标函数公式 (9)和公式 (10) 的极小点 , 则存在公式 (5) 和公式 (6) 的极小点* *1 1( , ) w b 和* *2 2( , ) w b , 使得 :* *1 1 1 1lim( , ) ( , )k kkw b w b (13) lim( , ) ( , )k kkw b w b (14)证明 : 由于  1 (w 1 ,b 1 ,  ) 和  2 (w 2 ,b 2 ,  ) 是严格凸函数 , 可得问题公式 (9) 和公式 (10) 的极小值点1 1 2 2( , ) ( , )k k k kw b w b 和唯一 . 由引理 2 可知 ,* * * *1 1 1 1 1 1 2 2 2 2 2 20 ( , , ) ( , ) ,0 ( , , ) ( , ) ,k k k kw b w b w b w b           ≤ ≤ ≤ ≤ 因此 , 点列1 1 1{( , )}k kkw b和2 2 1{( , )}k kkw b收敛 , 再由  1 (w 1 ,b 1 ) 和  2 (w 2 ,b 2 ) 的连续性可证 .  □

1.2 非线性SCTWSVM由前面的分析我们知道 ,SCTWSVM 可以解决线性分类问题 , 如果将前面的结论推广到非线性 SCTWSVM,就可以处理非线性问题 .基于核空间的 TWSVM 的两个超平面可以表示为K(x T ,C T )u 1 +b 1 =0,K(x T ,C T )u 2 +b 2 =0  (15)其中 ,C=[A T ,B T ] T , 则非线性 TWSVM 的优化问题为(1) (1) (2)(1) (1) 2 (2)1 1 2, ,(1) (1) (2)2 2(2)1min || ( , ) ||2s.t. ( ( , ) )0T Tw bTK A C w eb c eK B C w e b e   ≥≥(1) (1) (2)(2) (1) 2 (1)2 2 1, ,(2) (2) (1)1 1(1)1min || ( , ) ||2s.t. ( ( , ) )0T Tw bTK B C w e b c eK A C w e b e  ≥≥公式 (16) 和公式 (17) 模型可转化为无约束规划问题 :(1) (1) (2)(1) (1) 2 (1) (1)1 1 2 2 2, ,1min || ( , ) || max{0,( ( , ) )}2T T Tw bK A C w eb c e e K B C w e b    (18)(2) (2) (1)(2) (2) 2 (2) (2)2 2 1 1 1, ,1min || ( , ) || max{0,( ( , ) )}2T T Tw bK B C w e b c e e K A C w eb    (19)引入 CHKS 光滑函数 :(1) (1) (1) (1) (1) (1) 2 211 2 2 2 2(2) (2) (2) (2) (2) (2) 2 212 1 2 1 11 1( , , ) ( ( , ) ) ( ( , ) ) 4 ,2 21 1( , , ) ( ( , ) ) ( - ( , ) ) 4 .2 2T TT Tw b e K B C w e b e K B C w e bw b e K A C w e b e K A C w eb               可得非线性 SCTWSVM 模型 :(1) (1) (2)(1) (1) (1) (1) 2 (1) (1)3 1 1 2 11, ,1min ( , , ) || ( , ) || ( , , )2T Tw bw b K A C w eb c e w b       (20)(2) (2) (1)(2) (2) (2) (2) 2 (2) (2)4 2 2 1 12, ,1min ( , , ) || ( , ) || ( , , )2T Tw bw b K B C w e b c e w b       (21)经过推论易知 , 前面的定理也适用于非线性 SCTWSVM.1.3 SCTWSVM算法由定理 2 可知 ,SCTWSVM 的目标函数是任意阶光滑的 , 因此可以使用具有快速收敛能力的 Newton-Armijo方法 [18] 进行求解 . 因为目标函数是严凸的 , 因此使用 Newton-Armijo 方法训练可以全局收敛 , 并且可以得到唯一的极小点 .Newton-Armijo 求解 SCTWSVM 的过程如下 :算法 1 .Input: 给定初始点 (w 0 ,  0 )R n+1 ,  , 令迭代步骤 i=0.Output: 目标函数的最优值 .Step 1.  计算  i (w i ,b i ;  ) 和 g i =  (w i ,b i ;  Step 2.  如果 ||g i || ≤  , 则选取 (w * ,b * )=(w i ,b i ), 停机 ; 否则 , 由方程  2  (w i ,b i ;  )d i =g i 计算下降方向 d i .Step 3. (Armijo 步 ) 取1 1 10, , max 1, , ,...2 2 4i          , 使得 :  (w i ,b i ;  )  ((w i ,b i )+  i d i ;  ) ≥   i g i d i 成立 ,令 (w i+1 ,b i+1 )=(w i ,b i )+  i d i .Step 4.  令 ii+1, 转 Step 2.

2 加权光滑 CHKS 孪生支持向量机

2.1 加权光滑CHKS孪生支持向量机模型和 STWSVM 一样 ,SCTWSVM 没有考虑到不同位置的训练样本对最优分类超平面产生的不同影响 . 当训练样本出现噪声等异常点时 , 给每个样本赋予相同的惩罚参数值将会影响到分类超平面的拓扑结构 , 进而降低算法的泛化能力 . 在这一节中 , 在 SCTWSVM 的基础上 , 我们将对处于不同位置的样本赋予不同的惩罚系数 , 提出加权光滑 CHKS 孪生支持向量机学习算法 (WSCTWSVM).对于线性情况 ,WSCTWSVM 的模型为(1) (1) (2)(1) (1) (1) (1) 2 (1) (1)1 1 1 1 2 1, ,1min ( , , ) || || ( , , )2Tw bw b Aw eb s c e w b       (22)(2) (2) (1)(2) (2) (2) (2) 2 (2) (2)2 2 2 2 1 2, ,1min ( , , ) || || ( , , )2Tw bw b Bw e b s c e w b       (23)对于非线性情况 ,WSCTWSVM 的模型为(1) (1) (2)(1) (1) (1) (1) 2 (1) (1)3 1 1 1 2 11, ,1min ( , , ) || ( , ) || ( , , )2T Tw bw b K A C w eb s c e w b       (24)(2) (2) (1)(2) (2) (2) (2) 2 (2) (2)4 2 2 2 1 12, ,1min ( , , ) || ( , ) || ( , , )2T Tw bw b K B C w e b s c e w b       (25)其中 ,s 1 ,s 2 (0,1] 分别表示正负类样本的加权系数值组成的向量 .

2.2 加权系数的设计和 TWSVM 一样 , 在用 SCTWSVM 求解最优分类超平面时 , 离每类样本集中心远的样本是少量的 , 这些样本点被称为异常点 . 分类超平面对这些样本点的分布是比较敏感的 , 若降低这些样本对分类超平面的影响 , 则可以提高算法的泛化能力 .在本节中 , 计算每个样本点的权重值 , 采用的是基于样本点和其类中心的距离方法 . 离类中心近的样本点对最优分类超平面的贡献比较大 , 因此对此类样本的加权系数赋值为 1; 对离中心较远的那部分样本点的加权系数赋值为足够小的正数 , 以降低这类样本对分类超平面拓扑结构的影响 ; 中间的一部分样本根据距离的大小赋值为 0~1 之间的数 .正类的类中心定义为1,iiyxxl负类的类中心定义为1,iiyxxli=1,2,…,l. 其中 ,l + 和 l  分别表示正、负类样本的样本总数 .计算正、负类样本到其对应类中心的最远距离 , 并将其定义为正、负类的半径 .正类的半径定义为{ : 1} { : 1}max || ||, max || ||.i ii ix y x yr x x r x x        根据每个样本到该类的距离 , 可以定义每个样本的加权系数 :311, , 110 , , 1 ,1 || || /( ), 1iii ir x ys r r yx x r y                 其余的其中,r=||x + x i ||,p=||x  x i ||,  =10 6 .  的引入是为了避免加权系数为 0.

3 实验与分析

为了测试所提出的算法的有效性,在本节中,我们将做两组实验:在第1个实验中,为了测试SCTWSVM的性能,我们将对 NDC 大数据集进行测试,并与 STWSVM 和 TWSVM 的测试结果进行比较;在第 2 个实验中,为了测试 WSCTWSVM 的性能,我们将对 10 个 UCI 数据集进行测试,测试结果将与 SCTWSVM,STWSVM 和TWSVM进行比较.所有实验都在Intel(R) Core(TM)2 Duo CPU E4500,2G内存和MATLAB7.11.0的环境中进行.

3.1 NDC大数据集上的实验为了测试 SCTWSVM 的分类性能,下面我们对大数据集 NDC 进行实验.NDC 数据集是由 David Musicant’sNDC 数据产生器 [19] 产生的.表 1 描述了 NDC 数据集的内容.在这个实验中,我们设定 SCTWSVM,STWSVM 和TWSVM 的惩罚参数 c 1 =c 2 =1,高斯核函数的参数  =2 17 ,Newton-Armijo 算法结束时,下降方向的模为  1 =1.0E3,CHKS 函数的参数  =1.0E5.表 2 是线性 SCTWSVM,STWSVM 和 TWSVM 处理几个 NDC 数据集的训练时间、迭代步数、 训练正确率和测试正确率的比较结果.表 3 显示的是非线性 SCTWSVM,STWSVM 和 TWSVM 对几个 NDC 数据集的测试结果. 从表 2 中我们可以看出:当训练样本达到 100 000 时,采用 TWSVM 算法已经没有意义,训练时间过长,甚至出现死机现象;然而,SCTWSVM 和 STWSVM 在训练样本达到 500 000 时仍然可以在较短的时间内得到比较令人满意的分类精度,这表明了光滑孪生支持向量机在处理大数据集时具有优势.NDC1 和 NDC2 是两个高维的大数据集,从表 2 的实验结果也可以看出,SCTWSVM 和 STWSVM 处理高维数据集同样是有效的.并且,相对于STWSVM,SCTWSVM 所需的迭代步数比较少,可以在更短的时间内获得更优的分类精度,这说明 SCTWSVM的学习性能优于 STWSVM 的学习性能.从表 3 中我们也可以看出:SCTWSVM 的分类精度略高于 STWSVM 的分类精度,并且已经相当接近于 TWSVM 的精度.对于少数数据集,SCTWSVM 的分类精度甚至高于 TWSVM 的分类精度,而 SCTWSVM 所用的 CPU 时间是最少的.实验结果充分说明了 SCTWSVM 的学习能力比 STWSVM要强,特别适用于处理大数据集.3.2 UCI数据集上的实验为了测试 WSCTWSVM 的性能,下面我们对 10 个 UCI 数据集进行实验.在这个实验中,非线性算法采用的核函数为高斯核函数,WSCTWSVM,SCTWSVM,STWSVM 和 TWSVM 的参数 c 1 和 c 2 以及核函数的参数  都是采用网格划分方法进行确定,搜索范围为[2 7 ,2 12 ].Newton-Armijo 算法结束时,下降方向的模为  1 =1.0E3,CHKS函数的参数  =1.0E5.表 4 是线性 WSCTWSVM,SCTWSVM,STWSVM 和 TWSVM 处理 UCI 数据集时测试正确率、时间以及几种算法之间在置信水平为 0.05 下的配对 t 检验的比较结果.表 5 显示的是非线性WSCTWSVM,SCTWSVM,STWSVM 和 TWSVM 对 UCI 数据集的测试结果. 从表 4 和表 5 我们可以看出,在 0.05 的置信水平下,配对 t 检验计算出的 p 值表明:对于一部分数据集,其 P值<0.05,表示该算法的分类精度和WSCTWSVM的分类精度有显著性差异.虽然WSCTWSVM所耗费的时间略多于 SCTWSVM,但少于 STWSVM.这一结果表明,根据样本点的位置为 SCTWSVM 的每一个样本赋予不同的重要性,可以降低异常样本对分类超平面拓扑结构的影响,进而可以提高算法的泛化能力.

4 结束语

光滑孪生支持向量机(STWSVM)的分类精度比较低,为了进一步地提高其学习性能,采用 CHKS 函数逼近孪生支持向量回归机的不可微项,并用 Newton-Armijo 算法求解相应的模型,提出了一种光滑孪生支持向量机模型——光滑 CHKS孪生支持向量机(SCTWSVM).和 STWSVM一样,SCTWSVM对异常样本点比较敏感.为了减弱异常样本点对分类超平面拓扑结构的影响,通过为每个训练样本赋予不同的样本重要性,提出了加权SCTWSVM(WSCTWSVM).我们不仅从理论上证明了 SCTWSVM 具有严凸性和满足任意阶光滑的性能,而且在 DNC 大数据集和 UCI 数据集上的实验表明了 SCTWSVM 比 STWSVM 具有更好的学习性能.实验结果也表明了 WSCTWSVM 的有效性和可行性.鉴于 SCTWSVM 和 WSCTWSVM 的良好性能,把它们应用到其他领域是下一步的工作.

References :[1] Zeng ZQ, Gao J. Simplified support vector machine based on reduced vector set method. Ruan Jian Xue Bao/Journal of Software,2007,18(11):27192727 (in Chinese with English abstract). http://www.jos.org.cn/1000-9825/18/2719.htm [doi: 10.1360/jos182719][2] Ding SF, Qi BJ. Research of granular support vector machine. Artificial Intelligence Review, 2012,38(1):17. [doi: 10.1007/s10462-011-9235-9][3] Shi FQ, Xu J. Emotional cellular-based multi-class fuzzy support vector machines on product’s KANSEI extraction. AppliedMathematics & Information Sciences, 2012,6(1):4149.[4] Ding SF, Jin FX, Zhao XW. Modern Data Analysis and Information Pattern Recognition. Beijing: Science Press, 2013. 3538 (inChinese).[5] Ding SF, Xu L, Su CY, Jin FX. An optimizing method of RBF neural network based on genetic algorithm. Neural Computing andApplications, 2012,21(2):333336. [doi: 10.1007/s00521-011-0702-7][6] Ding SF, Jia WK, Su CY, Zhang LW, Liu LL. Research on neural network algorithm based on fact or analysis and cluster analysis.Neural Computing and Applications, 2011,20(2):297302. [doi: 10.1007/s00521-010-0416-2][7] Cortes C, Vapnik VN. Support vector networks. Machine Learning, 1995,20:273297. [doi: 10.1007/BF00994018] [8] Osuna E, Freund R. An improved training algorithm for support vector machines. In: Proc. of the 1997 IEEE Workshop on NeuralNetworks for Signal Processing. New York: IEEE Press, 1997. 276285. [doi: 10.1109/NNSP.1997.622408][9] Platt JC. Using analytic QP and sparseness to speed training of support vector machines. In: Kearns M, Solla S, Cohn D, eds.Advances in Neural Information Processing Systems 11. Cambridge: MIT Press, 1999. 557563.[10] Fung G, Mangasarian OL. Proximal support vector machine classifiers. In: Proc. of the 7th ACM SIFKDD Int’l Conf. onKnowledge Discovery and Data Mining. New York: IEEE Press, 2001. 7786. [doi: 10.1145/502512.502527][11] Mangasarian OL, Wild EW. Multi-Surface proximal support vector machine classification via generalized eigenvalues. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2006,28(1):6974. [doi: 10.1109/TPAMI.2006.17][12] Jayadeva KR, Suresh C. Twin support vector machines for pattern classification. IEEE Trans. on Pattern Analysis and MachineIntelligence, 2007,29(5):905910. [doi: 10.1109/TPAMI.2007.1068][13] Cong HH, Yang CF, Pu XR. Efficient speaker recognition based on multi-class twin support vector machines and GMMs. In: Proc.of the 2008 IEEE Conf. on Robotics, Automation and Mechatronics. Piscataway: IEEE Press, 2008. 348352. [doi: 10.1109/RAMECH.2008.4681433][14] Zhang XS, Gao XB, Wang Y. Twin support tensor machine for MCS detection. Journal of Electronics (China), 2009,26(3):318325. [doi: 10.1007/s11767-007-0211-0][15] Zhang XS, Gao XB. MCs detection approach using bagging and boosting based twin support vector machine. In: Proc. of the 2009IEEE Int’l Conf. on Systems, Man, and Cybernetics. Piscataway: IEEE Press, 2009. 50005005. [doi: 10.1109/ICSMC.2009.5346375][16] Kumar MA, Gopal M. Application of smoothing technique on twin support vector machines. Pattern Recognition Letters, 2008,29(13):18421848. [doi: 10.1016/j.patrec.2008.05.016][17] Wu Q. Research on learning algorithms for support vector machines based on optimization theory [Ph.D. Thesis]. Xi’an: XidianUniversity in Candidacy, 2009 (in Chinese).[18] Yuan YX, Sun WY. Optimization Theory and Methods. Beijing: Science Press, 1997. 4549 (in Chinese).[19] Kumar MA, Gopal M. Least squares twin support vector machines for pattern classification. Expert Systems with Applications,2009,36(4):75357543. [doi: 10.1016/j.eswa.2008.09.066]