摘  要：为了解决支持向量回归机多项式光滑函数的逼近精度问题，根据该类光滑函数的复杂性，提出五步求的基本思路：首先把多项式光滑函数的逼近精度问题表示为一个求逼近函数的最大值问题，接着证明这个逼近函数是一个对称函数，然后分别求出逼近函数在 ] , 0[  和 ) , (   区间上的最大值，最后对这2个最大值进行比较，得出光滑函数的逼近精度。通过实例计算，结果证明了该方法的有效性和正确性，解决了无穷多个多项式光滑函数的逼近精度问题，为光滑支持向量回归机提供了基本的理论支持。
关键词：支持向量回归机；光滑函数；逼近精度
The approximation accuracies of polynomial smoothing functions for support vector regression
Abstract: In order to solve the problem of polynomial smooth functi on’s approximation accuracies for support vector regression, according to the complexity of these smooth functions, the basic idea in five steps is presented in this paper: first, the problem of the approximation accuracy in the polynomial sm oothing functions is represented as one of maximization in an  approximation function ; second, the function is then proved to be a symmetric function;  third, the maximum values of the approximation function is calculated respectively at the interval  ] , 0[   and  ) , (   ; fourth, the two maximum values are compared, and finally the approximation accuracy is finally obtained. Through the examples, the results prove the correctness and effectiveness of the method, and the approximation accuracy problem of the infinite polynomial smoothing functions is systematically solved in this paper, which pro vides smooth support vector regression with a basic theoretical support.
Keywords: support vector regression; polynomial smooth function; approximation accuracies
　　光滑函数在支持向量机中得到了成功应用，特别是对分类问题获得了良好的效果[1-3]。对回归问题，国内外有学者进行了深入研究，如 Lee 等找到一类2p - 函数，并作为光滑函数对回归问题中的目标函数进行光滑处理，提出 - 不敏感的光滑支持向量回归机模型。其实验结果表明，这种光滑支持向量回归机在一定程度上改善了回归效果[4]。为使支持向量回归机的效果得到进一步改善，针对原支持                                                         收稿日期：2012-11-02 . 基金项目：广东省自然科学基金资助项目（9151170003000017 ）；东莞市科技计划资助项目（2012108102027）. 通信作者：熊金志. E-mail：dgxiongjinzhi@126.com. 向量回归机中 - 不敏感损失函数的平方项不光滑的问题，2008年笔者又提出了一类多项式光滑函数[5]。这类多项式光滑函数的形式复杂，具有以下 3 个显著特点：1 ）这种多项式光滑函数有无穷多个，2）每个多项式光滑函数都是某个多项式函数的复合函数，3 ）每个多项式光滑函数都是三段函数[5-6]。按照光滑技术的基本思路，用多项式光滑函数对原支持向量回归机模型进行光滑处理，可以得到支持向量机的光滑模型，从而提高回归速度，而这个过程必须用到多项式光滑函数的逼近精度[4]。因此，多项式光滑函数的逼近精度是光滑支持向量回归机必须解决的一个重要问题。该问题是否存在一个统一的求解方法，多年来一直是一个尚待解决的问
　　 1  支持向量回归机及其光滑函数
　　1.1  回归问题
　　对数据集11 {( , ), , ( , )}nmm Sy y RR  xx ，令矩阵  12,,, m  Ax x x,ix 是一个n 维向量，每个ix 对应有一个观测值 iy 。显然nm R A ，即{( , ) | , }nii i i Sy y RR AA ，i =1,2,3,…,m，其中iA是矩阵A 的第i 个向量。回归的目的是利用给定的数据集S ，训练出一个回归函数 () f x ，使 () f x 能对新的输入x 较准确地预测出输出y ，这就是回归问题。采用的标准是 - 不敏感损失函数：| ( )| max{0,| ( )| } yf yf    xx。对于线性回归的情形，T() f b  xwx，其中n R w 是一个待定向量，b 是一个待定常量[8-9]。
　　1.2  支持向量回归机
　　上述回归问题可表示为下面的无约束最优化问题[5]： 1T2 2(,)11min ( ) | | .22 nmii bRiCbby  www Aw   (1) 式中：C 为一个大于0 的惩罚参数。式（1 ）称为无约束的支持向量回归机模型。由于式（1 ）中2| |不光滑，导致此模型的目标函数不光滑。因此该支持向量回归机不能用快速的Newton-Armijo算法进行求解，使得模型的精度和效率受到影响。为此，用一类d 阶光滑的多项式函数 ) , (2k x pd作为光滑函数，逼近上述支持向量回归机模型的2| | ，得到 111T2 2,(,) (,)1T2 2(,)1mi n ( , ) : min ( ) ( , )221ˆˆ min ( ) 1 ( 1 , ).22nnnmdk d i ibb iTdbCbbpbykCbpAwbyk RRRwwwwww Awww (2) 因此该支持向量回归机是光滑的，可用快速的Newton-Armijo算法进行求解，从而提高模型的精度和效率。称式(2)为d 阶多项式光滑的支持向量回归机，多项式函数 ) , (2k x pd 称为支持向量回归机的多项式光滑函数[5]。 容易看出，在把原支持向量回归机模型变换为光滑的支持向量回归机的过程中，光滑函数起了关键作用，因此光滑函数与2| | 的逼近精度是光滑支持向量回归机的一个重要理论问题[5]，也是本文要研究的问题。为便于研究，下面列出支持向量回归机的多项式光滑函数。
　　1.3 光滑函数
　　文献已对 - 不敏感损失函数| | x 及其平方函数2| |x 的多项式光滑函数进行了定义和说明，在此不再赘述。为便于分析，先给出支持向量回归机的多项式光滑函数。 引理1[5]   设 ) , ( k x pd是正号函数x 的d 阶多项式光滑函数，令函数 ) , (2k x pd满足下式： 2 2 2) , ( ) , ( ) , ( k x p k x p k x pd d d      ，  （3） 则 ) , (2k x pd是2| |x 的d 阶多项式光滑函数。 可见，2| |x 的光滑函数 ) , (2k x pd 是正号函数x 的光滑逼近 (, )dp xk的复合函数，而 ) , ( k x pd由文献[6]知有无穷多个，皆可由一个递推公式求出。 所以，由引理1 可求得一类2| |x 的具有d 阶光滑的多项式光滑函数： { ) , (2k x pd ，d =1, 2, 3, …}       （4 ） 显然，这种光滑函数有无穷多个，下面以d =1,2,3,4,5为例分别求出2| |x 的前5 个光滑函数。 1 ）当d =1时，2| |x 的光滑函数为 212121) , ( ) , ( ) , ( k x p k x p k x p       .   （5 ） 式中：       kxkkxk kx xkkx xk x p1, 00 ,1 1,412141,) , (21 第3 期  冯能山，等：支持向量回归机多项式光滑函数的逼近精度  ·3·    2 ）当d =2时，2| |x 的光滑函数为 22222) , ( ) , ( ) , ( k x p k x p k x p       ，  （6 ） 式中：        kxkkxkkx kxkkx xk x p1, 00 ,1 1), 3 ( ) 1 (1611,) , (32 3 ）当d =3时，2| |x 的光滑函数为 232323) , ( ) , ( ) , ( k x p k x p k x p       . 式中：       kxkxkkx x k kxkkx xk x p1, 01 1), 5 4 ( ) 1 (3211,) , (2 2 43 4 ）当d=4时，2| |x 的光滑函数为 242424) , ( ) , ( ) , ( k x p k x p k x p       . 式中： 533 2241,1(1)(5 25 4735),256(, )1110,xxkkx k x k x kxkpxkxkkxk   5 ）当d=5时，2| |x 的光滑函数为 252525) , ( ) , ( ) , ( k x p k x p k x p       . 式中： 644 33 2251,1( 1) ( 42 102 122 63),512(, )1110,xxkkx kx kx kx kxkpxkxkkxk    
　　2  多项式光滑函数的逼近精度及其求解步骤
　　2.1  任意阶多项式光滑函数的逼近精度 支持向量回归机的任意阶多项式光滑函数) , (2k x pd ，其具体形式皆可由式(4)推出，这种光滑函数显然有无穷多个。这无穷多个光滑函数逼近 -不敏感损失函数的平方项2| |x 的精度问题，显然皆可描述为求2 2| | ) , ( x k x pd 的最大值问题。记 2 2| | ) , ( ) , (  x k x p k x Fd d  ，     （7 ） 称 ) , ( k x Fd 为光滑函数 ) , (2k x pd 的误差函数，这种光滑函数显然也有无穷多个，且与光滑函数) , (2k x pd 一一对应。 定理1    误差函数 ) , ( k x Fd 由式（7 ）给出，则 1) ) , ( k x Fd 是x 的对称函数， 2) 2/ ) , ( k r k x Fd d， 其中dr 为一与 ) , (2k x pd 的光滑阶数d 相关的误差系数。 证明 1) 将 x  代入式(7)，结合式（5 ），可得      2 2| | ) , ( ) , (  x k x p k x Fd d2 2| | ) , ( x k x pd ) , ( k x Fd  , 可见 ) , ( k x Fd 是对称函数。因此在整个x 轴上求) , ( k x Fd 的最大值问题可转换成在x 轴的右半轴上求 ) , ( k x Fd 的最大值问题。 2) 下面把x 轴的右半轴分成2个区间进行证明： ①当    x 0 时，显然 0 | | x 。所以 ) , ( k x Fd = , ) , ( ) , ( | | ) , (2 2 2 2k x p k x p x k x pd d d         ·4·  智   能   系   统   学   报   第8 卷  此时显然有 0    x   和 0     x ，因2) , ( k x pd是单调增函数[6]，可得 2) , 0( 2 ) , ( k p k x Fd d           （8 ） ②当   x 时， 0     x ，显然有0         x x ，因此 0 ) (    x 。因 ) , ( k x pd是单调增函数[6]，可知 ) , 0( ) , ( k p k x pd d    ；由二分法可算出 ) , ( k x pd与正号函数x 的逼近精度：2 2 2/ ) , ( k s x k x pd d ，其中ds 为一与 ) , (2k x pd 的光滑阶数 d 相关的系数；由文献[4] 知，2 2 2) ( ) ( | |       x x x ，所以 22 (, ) (, ) | |dd Fxk pxk x    22 2 (( ,) ( )) ( ,) dd p xk x pxk   ， 即 ) , ( k x Fd . ) , 0( /2 2k p k sd d    （9 ） 综合①、②，取式（8 ）和式（9 ）中右端的最大值，令 dr =max{2 2) , 0( 2 k p kd,2 2) , 0( k p k sd d }, 可得 2/ ) , ( k r k x Fd d,  x  R .    （10 ） 证毕。
　　2.2  求逼近精度的一般步骤 这无穷多个多项式光滑函数有一个共同特征：都是正号函数x 的光滑逼近 (, )dp xk的形如式（5 ）的复合函数，而 ) , ( k x pd皆可由文献[6]的递推公式求出。上文我们求出了任意阶光滑函数的逼近精度的表达式（10），下面对这些求解过程进行归纳和总结，可发现求解的一般规律。根据这个规律，提出五步求的基本思路，即求逼近精度的一般步骤： 1 ）把求光滑函数 ) , (2k x pd 的逼近精度问题表示为一个在整个x 轴上求误差函数 ) , ( k x Fd 的最大值问题， ) , ( k x Fd =2 2| | ) , ( x k x pd； 2 ）证明 ) , ( k x Fd 是对称函数，把在整个x 轴上求 ) , ( k x Fd 的最大值问题转换成在x 轴的右半轴上求 ) , ( k x Fd 的最大值问题； 3 ）求当    x 0 时误差函数 ) , ( k x Fd 的最大值； 4 ）求当   x 时误差函数 ) , ( k x Fd 的最大值； 5 ）对这2 个最大值进行比较，最大者即为光滑函数的逼近精度。
　　2.3  一阶至五阶多项式光滑函数的逼近精度
　　仿照定理1 及求任意阶多项式光滑函数的逼近精度的基本思想和步骤，下面具体求出一阶至五阶多项式光滑函数的逼近精度。 推论1  一阶多项式光滑函数的逼近精度为2/ 1534 . 0 k 。 证明 1 ）把求光滑函数 ) , (21k x p的逼近精度问题表示为一个在整个x 轴上求误差函数 ) , (1k x F的最大值问题。支持向量回归机的一阶多项式光滑函数，其形式如式(5)。把多项式光滑函数应用于支持向量回归机，首先必须解决多项式光滑函数逼近 -不敏感损失函数的平方项2| |x 的精度问题。该问题可描述为一个求2 21| | ) , ( x k x p  的最大值问题，记 2 21 1| | ) , ( ) , (  x k x p k x F   ，   (11) 称 ) , (1k x F为光滑函数 ) , (21k x p的误差函数。因此，求多项式光滑函数逼近 - 不敏感损失函数的平方项2| |x 的精度问题，就可转换成求 ) , (1k x F的最大值问题。 2 ）证明 ) , (1k x F是对称函数，把在整个x 轴上求 ) , (1k x F的最大值问题转换成在x 轴的右半第3 期  冯能山，等：支持向量回归机多项式光滑函数的逼近精度  ·5·    轴上求 ) , (1k x F的最大值问题。将 x  代入式(11) ，结合式（5 ），可得      2 21 1| | ) , ( ) , (  x k x p k x F2 21| | ) , ( x k x p  ) , (1k x F , 可见 ) , (1k x F是对称函数。因此在整个x 轴上求) , (1k x F的最大值问题就转换成了在x 轴的右半轴上求 ) , (1k x F的最大值问题。 3 ）求当    x 0 时误差函数 ) , ( k x Fd 的最大值。此时显然  0 | | x 。所以  ) , (1k x F= , ) , ( ) , ( | | ) , (21212 21k x p k x p x k x p           此时显然有 0    x 和 0     x ，因21) , ( k x p 是单调增函数[3,6]，可得 . / 125 . 0 )41( 2) , 0 ( 2 ) , (2 221 1kkk p k x F  4 ）求当   x 时误差函数 ) , ( k x Fd 的最大值。此时， 0     x ，显然有  0         x x ，因此  0 ) (    x 。因 ) , (1k x p 是单调增函数[3,6]，可知  ) , 0( ) , (1 1k p k x p     ；由二分法[10]可算出 ) , (1k x p 与正号函数x 的逼近精度[3]： 22 21111) , (kx k x p  ；由文献[5] 知，2 2 2) ( ) ( | |       x x x ，所以 22 11(, ) (, ) | | Fxk pxk x   22 2 11 (( ,) ( )) ( ,) px k x p x k   22 121(0, ) 0.1534 / .11pk kk  5 ）对这2 个最大值进行比较，最大者即为光滑函数的逼近精度。 综合4 ）和5）的结果易知， 1534 . 01 r ，) , (1k x F2/ 1534 . 0 k  。2/ 1534 . 0 k 即为一阶多项式光滑函数的逼近精度。 证毕。 2.4  二阶多项式光滑函数 支持向量回归机的二阶多项式光滑函数，其形式如式(6)。仿照上面求一阶多项式光滑函数的逼近精度的基本思想和步骤，可把二阶多项式光滑函数逼近 - 不敏感损失函数的平方项2| |x 的精度问题描述为求2 2| | ) , ( x k x p  的最大值问题。记 2 22| | ) , ( ) , (  x k x p k x F   ， 称 ) , (2k x F为光滑函数 ) , (2k x p的误差函数。 推论2    二阶多项式光滑函数的逼近精度为2/ 08779 . 0 k . 证明过程与定理1 及推论1 类似，在此省略。 以上内容求出了一阶和二阶光滑函数的逼近精度，同理，以同样的步骤，可求出三阶、四阶和五阶光滑函数的逼近精度，求解过程省略。表 1 列出一阶至五阶多项式光滑函数的逼近精度。 表1 多项式光滑函数的逼近精度 Table 1 The approximation accuracies of polynomial smoothing functions 光滑函数 光滑 阶数d误差系数rd 逼近精度) , (21k x p1 0.1534 2/ 1534 . 0 k  ) , (2k x p2 0.08778 2/ 08778 . 0 k) , (23k x p3 0.03578 2/ 03578 . 0 k) , (24k x p4 0.02763 2/ 02763 . 0 k) , (25k x p5 0.02433 2/ 02433 . 0 k因此，依照上述五步求的基本思路和步骤，可求支持向量回归机无穷多个光滑函数的逼近精度。  ·6·  智   能   系   统   学   报   第8 卷 
　　3  结束语
　　为求支持向量回归机光滑函数的逼近精度，首先把求光滑函数的逼近精度问题转化成求误差函数的最大值问题，然后证明该误差函数是对称函数，把这个最大值问题转换成在 x 轴的右半轴上求最大值的问题；而后分别求当    x 0 时和   x时误差函数的最大值；最后对这2 个最大值进行比较，求出光滑函数的逼近精度。并以多个多项式光滑函数为例，解决了它们的逼近精度问题。在此基础上，总结出求此类精度问题的一般规律，对无穷多个光滑函数的精度问题提出了五步求的基本思路。研究结果还表明：对支持向量回归机的无穷多个多项式光滑函数，都可按照本文的思路和步骤，分5 个步骤用二分法解决其逼近精度问题。该方法成功解决了支持向量回归机中一个尚待解决的问题，即支持向量回归机无穷多个光滑函数的逼近精度问题，为光滑支持向量回归机的进一步研究工作提供了基本的理论支持。
　　参考文献: [1]  LEE Y J, MANGASARIAN O L. SSVM: a smooth support vector machine for classification[J]. Computational Optimization and Applications, 2001, 22(1): 5-21. [2]  CHANG C C, CHIEN L J, LEE Y J. A novel framework for multi-class classification via ternary smooth support vector machine[J]. Pattern Recognition, 2011, 44(6): 1235-1244. [3]  钱晓山，阳春华．基于GEP 的最小二乘支持向量机模型参数选择[J]．智能系统学报, 2012, 7(3): 225-229. QIAN Xiaoshan, YANG Chunhua. A parameter selection method of a least squares s upport vector machine based on gene expression programming[J]. CAAI Transactions on Intelligent Systems, 2012, 7(3): 225-229. [4]  LEE Y J, HSIEH W F, HUANG C M.   -SSVR: a smooth support vector machine for   -insensitive regression[J]. IEEE Transactions on Knowledge and Data Engineering, 2005, 17(5): 5-22. [5]  熊金志，胡金莲，袁华强，等．支持向量回归机的光滑函数研究[J]．模式识别与人工智能, 2008, 21(3): 273-279. XIONG Jinzhi, HU Jinlian, YUAN Huaqiang, et al. Smoothing functions for support vector regressions[J]. Pattern Recognition and Artific ial Intelligence, 2008, 21(3): 273-279. [6]  熊金志，胡金莲，袁华强，等．一类光滑支持向量机新函数的研究[J]．电子学报, 2007, 35(2): 366-370. XIONG Jinzhi, HU Jinlian, YUAN Huaqiang, et al. Research on a new class  of functions for smoothing support vector machines[J]. Ac ta Electronica Sinica, 2007, 35(2): 366-370. [7]  熊金志，徐建敏，袁华强．多项式光滑的支持向量回归机一般模型的收敛性研究[J]．计算机研究与发展, 2011, 48(3): 464-470. XIONG Jinzhi, XU Jianmin, YUAN Huaqiang. Convergenceness of a general formulation for polynomial smooth support vector regressions[J]. Journal of Computer Research and Development, 2011, 48(3): 464-470. [8]  李国正，王猛，曾华军．支持向量机导论[M] ．1 版．北京：电子工业出版社, 2004: 89-99. [9]  邓乃扬，田英杰．数据挖掘的新方法—支持向量机[M] ．北京：科学出版社, 2008: 111-122. [10]   李庆扬，王能超，易大义．数值分析[M] ．5 版．北京：清华大学出版社, 2011: 125-136.