摘要:统计学习理论建立在结构风险最小化原则的基础上。与传统统计学习理论相比,V.Vapnik等人提出的统计学习理论是一种针对小样本情况研究统计学习规律的理论。与此同时,在这一理论基础上发展起来的支持向量机可用于模式识别和回归估计,因其具备理论完备化、全局优化、推广性好、适应性强等优点而不同于其余机器学习算法,并且也有力地推动着机器学习理论和技术的发展。然而支持向量机全局化的方法并不蕴含一致性理论,局部支持向量机的提出符合了 “全局i -致性蕴含局部性”的思路。近年来,局部支持向量机在理论研宄及应用方面都得到了.彳定程度的关注,如遥感图像分类、脑电图信号处理、网络流量预测等领域。
　　本文首先对机器学习和统计学习理论进行简单的介绍,并在此基础上引入支持向量机的特点及研究现状。其次,阐述局部支持向量机的研宄现状及其意义,详细介绍并说明局部支持向量机在学习性能上的特点和优势及其一些改进策略。最后,分析当前几种局部支持向量机算法及其改进思路。
　　本文具体完成工作如下:
　　针对局部支持向量机在大规模数据集中时间复杂度比较高的问题,提出基于协同聚类的局部支持向量机,在不降低分类精度的情况下,成功降低了算法的时间复杂度。
    (2)详细介绍加权支持向量机,并将加权思想应用到局部支持向量机中,提出加权局部支持向量机,以提高小样本数据的分类精度。
　　详细介绍单类支持向量机,并将其用于局部支持向量机,提出单类局部支持向量机进行探索性研究。
关键词:局部支持向量机;支持向量机;协同聚类;单类支持向量机;加权支持向量机
ABSTRACTABSTRACTStatistical learning theory (SLT) is built on the basis of structural risk minimizationprinciple. Compared with the traditional statistical learning theory, statistical learningtheory proposed by V.Vapnik is presented to exploit the rule of statistical learning for -small samples. Support vector machine (SVM) which is developed based on SLT isoften used for pattern recognition and regression estimation. SVM is better than othermachine learning algorithm in performance because it is based on the completed SLT,its optimization problem is a global optimization problem, and it is the one of bestmethods in gereralization performance. Global optimization of support vector machinemethod, however, does not imply consistency theory. The local support vector machine(LSVM) which is proposed in recent years is consistent with the idea of “consistencyimplies locality”. In recent years, LSVM has received concerns in both theoreticalresearch and application scope, such as remote sensing image classification, the EEGsignal processing and network traffic prediction.
    Firstly, the paper gives a simple introduction of machine learning and SLT:furthermore,the characteristics and research of SVM are introduced. Secondly, itexpounds the current situation and significance of LSVM, details the features andadvantage on learning performance and some improved strategies, and finally analysesseveral current algorithm and their improved ideas of LSVM.
    This paper completes the following work:
    (1) Because of the high complexity of large-scale data sets in LSVM, the paperproposes a LSVM based on cooperative clustering (C2LSVM), and reduces the timecomplexity successfully without reducing the classification accuracy.
    (2) Detailing the weighted support vector machine (WSVM) and applying theweighted thought into Falk-SVM. Proposing weighted Falk-SVM (WFalk-SVM),it isused to improve the accuracy of the classification of small sample data sets.(3) Detailing one-class support vector machine (OCSVM), applying it toFalk-SVM, and proposing OCFalk-SVM for an exploratory study.
KEYWORDS: Local Support Vector Machine; Support Vector Machine;Cooperative Clustering; Weighted Support Vector Machine; One-Class Support VectorMachine 
 目录 
ABSTRACT 
11.1 研究背景 1
1.1.1机器学习的定义与发展 2
1.1.2统计学习理论的主要内容 2
1.2 研宄现状 4
1.2.1支持向量机的研究 4
1.2.2局部支持向量机的研宄 4
1.2.3加权支持向量机的研宄 5
1.2.4单类支持向量机的研究 5
1.3 问题的提出及研宄意义 6
1.4 论文主要工作 6
1.5 本章小结 7
2 支持向量机 8
2.1 支持向量机的理论基础 8
2.2 最优分类超平面 8
2.3 线性情形 9
2.3.1 线性可分 9
2.3.2线性不可分 11
2.4 非线性情况及核函数 11
2.5 Libsvm的特点及应用 13
2.6 本章小结 13
3 局咅支持1?量机 14
3.1 局部支持向量机的发展背景 14
3.1.1理论背景 14
3.1.2应用背景 15
3.1.3局部支持向量机与支持向量机的对比 15
3.2 局部支持向量机及其形式 16
3.2.1 SVM-KNN 17
3.2.2 kNNSVM 17
3.2.3 LSVM 18
3.3 局部支持向量机的几种改进 19
3.3.1 PSVM 20
3.3.2 Falk-SVM 21
3.4 分析局部支持向量机及其改进 23
3.5 本章小结 24
4 基于协同聚类的局部支持向量机 25
4.1 聚类分析及相关概念 25
4.1.1簇和聚类 25
4.1.2聚类分析流程图 26
4.2 常用聚类算法 26
4.2.1尽均值算法 27
4.2.2 h中心点算法 28
4.3 协同聚类 29
4.3..1协同的生物学背景 29
4.3.2协同聚类思想 29
4.3.3基于协同聚类的局部支持向量机 31
4.4 实验 31
4.4.1分类实验 32
4.4.2关于单个支持向量机模型的研宄实验 35
4.5 本章小结 37
5 加权局部支持向量机 38
5.1 加权支持向量机 38
5.1.1 加权支持向量机算法公式 38
5.1.2加权方式 39
5.2 Weighted Falk-SVM 算法 40
5.3 实验 41
5.3.1分类实验 41
5.3.2单个加权局部支持向量机模型实验 43
5.4 本章小结 46
6 单类局部支持向量机 47
6.1 单类问题 47
6.2 单类支持向量机 47
6.2..1超球体算法 48
6.2.2超平面算法 49
6.3 单类支持向量机的改进方式 50
6.3.1引入未标号数据——BSVM 50
6.3.2选择样本点 51
6.3.3改变优化目标 51
6.4 单类局部支持向量机 52
6.5 实验 53
6.5.1 OCFalk-SVM 与 Falk-SVM 对比实验 53
6.5.2单个模型分类实验 54
6.5.3 Libsvm单类验证实验 56
6.6 本章小结 58
7 结论与展望 59
7.1 研宄工作总结 59
7.2 实验评价 59
7.3 进-步研宄的考虑 60 

　　1引言
　　20世纪90年代,可用于模式分类和回归估计的支持向量机的提出受到研宄人员的极大关注[M]。相对于传统的模式分类、机器学习的方法如人工神经网络等,支持向量机有其优越性,例如其泛化能力强、全局优化等特点因此受到人们前所未有的重视。
　　随着时代的快速发展,网络数据的迅速传输,需要处理的数据量越来越庞大,而支持向量机对于大规模样本数据集的处理结果并不十分理想,这在一定程度上限制了支持向量机的广泛发展。在局部学习算法的启发下一些研究人员提出了局部支持向量机的思想,除理论研宄之外,局部支持向量机的应用也得到了一定程度的关注,如局部支持向量机在遥感图像分类[8]、脑电图信号处理[9]、网络流量预测[|°]等领域的应用,但局部支持向量机方面仍有很大的研宄空间,如进一步提高分类精度、降低时间复杂度等。
　　下面将详细介绍本文的研究背景、现状、意义以及主要工作。
　　1.1研究背景
　　机器学习自它诞生之日就受到研究人员的广泛关注,人们把用己知数据合成计算机程序的过程称之为学习方法,把从已知数据中学习并获得规律的能力称之为学习能力。该学习方法的推广能力是指获得的规律不仅能解释巳知数据,还能正确预测未知数据。但是机器学习的重要理论基础是传统的统计学,样本数目趋于无限大时的渐进理论,因此当样本数目有限时很难取得较理想的结果。Vapnik提出的统计学习理论[ii](Statistical Learning Theory, SLT)不同于传统统计学,它是-种着重于小样本情况下的统计规律,即研宄如何在有限信息的情况下获取最优结果,同时也考虑了渐进性能方面的要求,不但为机器学习的问题在理论上创建了一个较好的框架,也由此发展出了一种新的学习方法 支持向量机(SupportVector Machine, SVM)。
　　支持向量机通过结构风险最小化原则[i2](Structural Risk Minimization, SRM)进行训练,釆用VC维(由Vapnik和Chervonenkis提出,故称^^0维)理论对相应的结构风险进行度量,具有突出的理论优势,近年来支持向量机也成功应用于人脸识另IJ、文本挖掘等多个领域。但是支持向量机仍然存在许多有待改进和发展的地方,例如提高测试样本的分类精度,降低时间复杂度等都是值得进一步探索和研究的问题。而在此基础上提出的局部支持向量机[i、Local Support Vector Machine,1LSVM)正是针对该问题提出的,目前局部支持向量机取得了…些理论成果,发展势头良好,但在提高分类精度和减少时间复杂度等问题上还需做大量工作,局部支持向量机的研宄空间也还很大,有较高的研宄意义,值得人们对其进…步探讨。
　　1.1.1 机器学习的定义与发展
　　机器学习[“,'5](Machine Learning)是指通过研究计算机怎样模拟或实现人类的学习行为,来获取新的知识或技能,对己有的知识结构进行重组使之不断改善自身的性能。机器学习是人工智能的核心,其应用遍及人工智能的各个分支,如专家系统、模式识别、计算机视觉、自然语言理解等领域。对于机器学习的概念至今为止也没有一个被普遍接受的统一定义,本文采用-?种较通用且正式…点的定义:机器学习是一门研究机器获取新知识和新技能,并识别现有知识的学问。机器学习包括三方面问题:模式识别、回归函数估计和概率密度估计。
　　1.1.2 统计学习理论的主要内容20世纪70年代,Vapnik提出了一种专门研宄有限样本情况下机器学习规律的理论,即统计学习理论。1998年,Vapnik等人提出r ?种新的模式识别的方法,即支持向量机⑴】,在解决小样本、高维数据及非线性等机器学习问题中取得较好表现。统计学习理论[16]的研宄主要有三个方面的内容,分别是:函数集的VC维、泛化性的界、结构风险最小化原则。
　　(!) VC 维
　　VC维统计学习理论的重要概念之-是迄今为止描述函数集学习性能的--项重要指标。对于_ ?个指标函数集,如果存在n个样本能够被函数集中的函数按所有可能的2n种形式分开,则称函数集能够把《个样本打散,那么函数集的VC维的定义即它能打散的最大样本数目《。VC维的值越大说明学习能力越强,因此可以通过增大函数集VC维来提高学习能力。然而目前尚没有通用的可以用来计算任意函数集VC维的理论,如何用实验或者理论的方法计算VC维是当前统计学习理论中有待商讨解决的问题[17]。
　　泛化性的界
   ‘统计学习理论中把泛化性的界定义为各个类型的函数集的经验风险和实1?、?风险之间的关系,如式1-1所>』;':2北 京 交通 大学硕 士学位 论 文 引 id//z(ln(2?//)) + 1)-111(77/4)+ ——一丄」 (1-1)其中《表示样本数,/2表示VC维,7是满足oqd的参数,且经验风险和实际风险之间至少以1-U的概率满足此式。从1-1式可以看出构成实际风险;的第一部分是经验风险足;m;/一,另一部分称为置信范围,它同时受样本个数《和VC维/Z的影响。置信范围不仅能够表示实际风险与经验风险的上确界,还能反映复杂结构带来的风险,因此1-1式可以简单的表示为式1-2:^ Kmp 0) + ^{hln) (1.2)由1-2式可以看出,在有限样本数目n确定的情况下,置信范围随着机器学习VC维h的增大而增大,直接导致实际风险经验风险二者之间差异增大,因此机器学习过程中会出现过学习的现象。
　　(3)结构风险最小化原则结构
　　风险最小化原则[12]的基本思想是指:为了得到较小的实际风险,可以在最小化经验风险的同时,通过控制VC维的h来缩小置信范围,以达到在机器学习过程中对未知样本增大泛化能力的目的。如图1-1所示,实际风险的界是经验风险和置信范围的和,随着结构元素序号的增加,经验风险减小,置信范围增大,最小的实际风险的上界将在某个适当的元素上取得。为了取得最小实际风险的边界,必须综合考虑经验风险和置信范围的变化。欠学习 过学习风险t < ?\ 实际风险的界\\ 置倍范围经验风1?函数集+集:SIzdSI^ 5*3 VC 维:hY<h2i]ii图1-1结构风险最小化原理图Figure 1-1 The Schcinatic of Structural Risk Minimization3北 jk. 交通大学硕 士学位论文 引 “1.2研究现状在统计学习理论基础上发展起来的支持向量机克服了神经网络分类和传统统计学分类方法的许多缺点,乂因其在有限样本情况下能够获得较好的推广能力而备受关注。研宄人员乂在支持向量机的基础上提出了局部支持向量机,进一步促 .进了其在各个领域的发展。 I .
　　1.2.1 支持向量机的研究
　　近年来,支持向量机因具有通用、稳健性强、有效性、计算较简单等优点,使得该方法成为构造数据挖掘分类器的一项技术,并表现出极好的学习能力尤其是泛化能力,在许多领域都有应用,比如模式识别[18]等。但是,支持向量机的应用同其理论发展相比还是滞后的,原因在于支持向量机算法是一个凸优化问题,在机器学习过程中需要采用所有的样本,对于超庞大的数据集来说是相当耗时的。并且在解决分类问题时,需要求解函数的二次规划,同样需要消耗大量空间和时间,这也是影响其发展的一个原因。于是,如何更好的构造基于支持向量机的分类器,提高支持向量机的归纳能力和分类速度,成为--个重要的研宄热点。目前,对支持向量机的研究主要集中在以下几个方面:提高测试速度、改进训练模型算法、核函数的构造、改进以及相应参数的调整、利用SVM解决多类问题等。
　　1.2.2 局部支持向量机的研究
　　以减少参与分类的样本数目,提高分类速度为目的的局部支持向量机--经提出就倍受关注。标准的支持向量机以及其-?些变形在每次训练时都要使用全部样本,这并不符合“一致性蕴含局部性” 的思路,而局部支持向量机的提出正好符合这一思路。局部支持向量机的构造方法有多种:定义与样本间的欧氏距离相关的核函数、将距离转化为核矩阵、直接选取h近邻中的样本构造等。其中直。 接选取;t-近邻构造模型的思路相对比较直观,并且简单有效,例如:kNNSVM(k-Nearest Neighbor Support Vector Machine)禾P HLSVM(Hard LocalizedSupport Vector Machine)。近几年,局部支持向量机的改进算法主要有以下几种:
　　B lanzieri 与 Melgani 提出的 kNNSVM 算法[21]。(2) Zhang 等人提出的 SVM-KNN[22] (Support Vector Machine K-NearestNeighbor)算法。(3) Cheng 等人提出的称为 LSVM[23] (Localized Support Vector Machine)和PSVM(Profile Support Vector Machine)的局部支持向量机算法,其中PSVM用到了---种称为MagKmeans的聚类方法124]。(4) Segata 和 Blanzieri 针对 PSVM 中存在的问题,提出了 Falk-SV\f[25’26] (FastLocal Kernel Support Vector Machine)算法。
　　1.2.3 加权支持向量机的研究
　　标准支持向量机对不同的样本采用相同的精度要求和惩罚系数,这显然是不合理的。因为在实际应用中,对于某些重要的样本,常常要求较大的训练误差,反之,对重要性相对较低的样本,则需要较小的训练误差,例如股市预测,近期数据的重要性必然要远远髙于早期数据的重要性。因此,在描述问题时,每个样本都应具有不同的惩罚系数和误差要求,在此基础上,范昕炜等首先提出了对每--类样本赋予不同权值的加权支持向量机[27](Weighted Support Vector Machine, WSVVf)。该算法显著的改善了系统的泛化能力,提高了分类精准度。
　　1.2.4 单类支持向量机的研究
　　提出支持向量机的本质是为求解二类分类问题,但现实中许多问题并不是-:类分类的或者即使是::类分类却无法或很难收集到足够多的两类样本。前者对应多类问题,本文中不做研宄,后者则对应单类问题,如异常检测或离群点识别等。在这种情况下,提出了单类支持向量机(One Class Support Vector Machine, OCSVM)的概念。单类支持向量机是一种用途广泛的分类器,它能够应用于负类样本难以收集的领域,如故障检测、入侵检测与诊断和遥感数据分类等。因此,无论在理论研究还是实际应用方面,单类支持向量机的研究与发展受到越来越多的关注。单类支持向量机主要分为两种:即超球法[28]和超平面法各种关于单类支持向量机的改进主要包括i".种方法:使用未标号数据选择样本点[3二33]和修改优化目标[34】。
　　1.3问题的提出及研究意义
　　相对于支持向量机,目前存在的一些局部支持向量机算法及其变形算法,如上文中已经提到的…?,在分类精度和时间复杂度上都有所改进,不仅为局部支持向量机的发展奠定了一定的理论基础,而且也进…步加速、拓展了支持向量机和局部支持向星机在各领域中的应用。然而,这與局部支持向量机在训练时,仍然存在一些有待改进的问题。例如:中,需要为每一个测试样本构造一个模型,直接导致在测试样本较多的情况下时间复杂度过高。PSVM和Falk-SVM的提出都是为了降低kNNSVM的时间复杂度,PSVM通过应用聚类方法获得聚类中心,Falk-SVM采用启发式的方法获取中心,它们共同的目的即减少需要构造的模型数量。但与此同时也引入了…些新的问题,如:在训练时使用了测试样本;采用线性核;用于平衡正负样本的聚类算法时间复杂度过高等,使得并不能很好的实现局部支持向量机的目标,因此,在局部支持向量机这方面仍存在相当大的研宄空间。由于从理论和实验中都己经验证了 Fa】lc-SVM的快速和准确度[25,26],实际上Falk-SVM是迄今为止见诸报端的各种局部支持向量机中,分类精度以及训练和测试速度都最好的一种局部支持向量机。可是即便Falk-SVM己经取得了引人注目的成效,在大规模的数据集中,构造每一个局部模型涉及到的样本数量仍然非常庞大,因此本文也将在Falk-SVM的基础上就如何提高分类准确度以及降低分类时间复杂度的问题展开讨论研究,另外,在局部支持向量机中引入加权支持向量机和单类支持向量机也是本文研究的另外两个方面。
　　1.4论文主要工作
　　在上述背景及问题的提出之下,本文完成的工作是:(1)介绍机器学习及统计学习理论的相关知识。(2)介绍支持向量机的理论基础、线性情况和非线性情况下的算法思想。(3)介绍局部支持向量机及其变形的工作原理及其相关知识。(4)介绍协同聚类的方法及其在局部支持向量机中的应用,提出基于协同聚类的局部支持向量机。(5)介绍加权支持向量机的工作原理并提出加权局部支持向量机。(6)介绍单类支持向量机的工作原理并提出单类局部支持向量机》(7)详细叙述上述各种算法所需的实验条件,实验过程和结果分析。(8)总结本文的研究分析及不足之处,说明下一步的研究内容。6北京交通大学硕士 学位论文 引 言本义首先分析了基于协同聚类的支持向量机、加权支持向量机、单类支持向量机的理论知识,并在此基础上进行局部改进,最后通过实验验证了本文理论上对局部支持向量机的时间复杂度和分类精度方面的改进是非常有效的。
　　本文的章节内容安排如下:
　　介绍课题的研宄背景及范围,叙述了机器学习、统计学习理论做为支持向量机的理论基础的__ _?竖相关内容,分析当前支持向量机和局部支持向量机的发展状况,提出本文要讨论的问题和研究意义。
　　第2章介绍支持向量机的产生背景、工作原理。
　　第3章介绍局部支持向量机的产生背景、工作原理及其当前的各种变形算法。
　　第4章介绍协同聚类的理论基础、算法思想及基于协同聚类的局部支持向量机算法,并进行实验对比分析引入协同聚类的效果。
　　第5章介绍加权支持向量机的工作原理、算法实现,并完成将加权支持向量机引入到局部支持向量机的实验,对实验结果进行对比分析。
　　第6章介绍单类支持向量机的工作原理、算法实现,并完成在局部支持向量机中引入单类支持向量机的实验,对实验结果进行对比分析。
　　第7章总结全文,对本课题研宄做分析和总结,分析算法的不足之处,并给出本课题将来的研宄内容和方向。
　　1.5 本章小结
　　局部支持向量机的理论基础的提出已经很多年,但其存在的-些问题使得局部支持向量机并没有得到广泛的应用,通过克服局部支持向量机的自身缺陷促进其在各领域的使用是…个值得挑战的研究方向。本章主要阐述了局部支持向量机的研宄背景、发展历程,介绍了机器学习、统计学习理论的思想原理及在此基础上支持向量机和局部支持向量机的提出,分析了二者产生的理论基础,实际应用以及当前存在的缺陷。针对这些问题分析了本文的研宄价值和意义。最后阐述了本文研究工作的主要内容及框架结构。
　　7结论与展望
　　本章内容是本文的总结性章节,这?章将总结本文的工作,并指出本文所提方法中的改进之处及仍存在的--些不足,并提出一些建议以改进日后的工作。
　　7.1研究工作总结局部支持
　　向量机自从提出后,无数学者对其方法进行多方面的探索研宂,除了进--步促进了支持向量机在实际生活中的应用与发展外,与此相关的领域也得到很大发展。局部支持向量机备受关注的今天,其发展势头越来越大,但在众多局部支持向量机算法中仍存在时间复杂度高,分类精度低的问题。所以本文针对如何提高局部支持向量机的时间复杂度和分类精度两方面做工作。大量已有的局部支持向量机算法的相关研宄,给本文的研究提供了丰富的参考资料。现有的关于局部支持向暈机算法的研宄大多集中在两种理论知识:统计学习理论、机器学习。本文的研宄同样是借助这些背景知识,从而研宄协同聚类思想和加权思想在局部支持向量机中的应用。
　　本文所做的工作主要如下:(1)介绍局部支持向量机的理论基础知识及部分局部支持向量机算法改进的工作原理及相关知识。(2)详细介绍提出的基于协同聚类的局部支持向量机、加权局部支持向量机、单类局部支持向量机这:^.种算法的工作原理及算法步骤。(3)通过实验对厂种算法分别进行实验分析,统计这二种算法的改进效果。
　　7.2实验评价
　　在局部支持向量机算法的研宄中,虽然大量学者对其进行研宄并试图寻找具有更高分类精度和更低时间复杂度的方法,但距离理想的结果仍存在一些问题。本文的研究在一定程度上进一步改善了局部支持向量机的分类精度和算法复杂度,对促进局部支持向量机在实际中的应用是非常有意义的。针对本文的研究评价如下: °
　　基于协同聚类的局部支持向量机算法C2svm在数据量较大的情况下能够给出更好的时间复杂度,并且一定程度上还能提高测试样本的分类精度。(2)加权局部支持向量机算法WFalk-SVM的提出较好的提高了测试样本集中59北京交通大学硕 士学位论文 结论正负样本不均衡情况—K的分类精度。(3)引入单类思想的局部支持向量机算法OCFalk-SVM,在针对提高小样本或稀缺样本的分类精度上有很大改进。
　　7.3进一步研究的考虑
　　通过本文的实验研究分析,基于协同聚类的局部支持向量机、加权局部支持向量机、单类局部支持向量机,在一定程度上都获得较大的进展,并对分类结果的时间复杂度和分类精度都有较大改善,但由于数据集的多种多样,千变万化,算法的有效性不一定适用于所有数据集,另外针对实验中的不足,需要改进和研宄的地方还有很多。(1)在基于协同聚类的局部支持向量机算法中,中心点的选取方法和数量需要进一步研究,以提高效率。(2)加权局部支持向量机证实了其对改善样本不均衡数据集分类效果的可行性和有效性,但对于不适合于所有数据集的问题有待进-?步讨论研宄。(3)单类支持向量机实验中凸显出来的在提高小类别样本分类精度时大类别样本被误判的问题,将是日后研宄工作的重点。总之,局部支持向量机的研宄已经在很大程度上促进了其在各领域的应用,对局部支持算法的改进也成为扩大局部支持向量机应用范围的推动力,本文所提出的二个算法,在-?定程度上对局部支持向量机在时间复杂度和分类精度上进行了改进,而其中尚存的一些问题也将成为未来研究的重点。相信未来在局部支持向量机方面的研宄将有更多更大的改进,从而使其在现实生活中的方方面面发挥更重要的作用。
　　参考文献参考文献[1] Burges C J C. A tutorial on support vector machines for pattern recognition[J]. DataMining and Knowledge Discovery, 1998, 2(2): 121-167.[2] Scholkopf B, Smola A. Learning with Kernels[M]. Cambridge, MA: MIT Press, 2001.[3] Smola A, Scholkopf B. A tutorial on support vector regression[M]. Statistics and _Computing, 2004, 14(3): 199-222.[4] Vapnik V. The Nature of Statistical Learning Theory[M]. Berlin: Springer Verlag, 2000.[5] Cherkassky V,Mulier F. Learning from Data: Concepts, Theory and Methods NY: JohnViley & Sons, 1997.[6] Bottou L,Vapnik V. Local learning algorithms[J]. Neural Computation, 1992,4(6):888-900.[7] Vapnik V,Bottou L. Local algotithms for pattern recognition and dependenciesestimation[J], Neural Computation, 1993,5(6):893-909.[8] Blanzieri E,Melgani F. Nearest neighbor classification of remotesensing images with themaximal principle[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008,46(6):1804-1811.[9] Shcn Minfen, Chen Jialiang,Lin Chunhao. Modeling of Nonlinear Medical Signal Basedon Local Support Vector Machine[C]. //Proc. Of International Instrumentation andMeasurement Technology Conference 2009,Singapore, 2009:675-679.[10] Mcng Qing-Fang, Chen Yuc-Hui, and Peng Yu-Hua. Small-time scale network trafficprediction based on a local support vcctor machinc regression model [J]. Chinese PhysicsB, 2009, 18(6):2194-2199.[11] Vapnik V. Statistical Learning Theory[M]. New York: John Wiley and Sons, 1998.[12] 边肇祺等.模式识别.北京:清华大学出版社,1988.[13] Brailovsky V L, Barzilay O, Shahavc R. On global, local, mixed and neighborhoodkernels for support vcctor machincs[J]. Pattern Recognition Letters, 1999,20(11-13):1183-1190.[14] Langlcy P, and M.B.Morgan (1994). Elements of Machinc Learning.[15] Mitchcll T.M. (1997). Machinc Learning.[16] Vapnik Vladimir N. (2000). The Nature of Statistical Learning Theory, 2nd cd.[17] Vapnik V, Levin E, Lc Cun Y. Measuring the VC-dimcnsion of a learning machinc.Neural Computation, 1994, 6:851-876.[18] Cortes C, Vapnik V. Support vcctor networks Machinc Learning, 1995, 20:273-297.[19] Zakai A, Ritov Y. Consistency and localizability[J]. Journal of Machinc LearningResearch, 2009’ 10(2009):827-856.[20] Zhang T. Statistical behavior and consistency of classification methods based on convcxrisk minimization[J]. Annals of Statistics, 2004, 32(1):56-134.[21] Blanzieri E, Mclgani F. An adaptive SVM nearest neighbor classificr for remotely sensedimagcry[C]. 2006. Dcvcr, Colorado, 2006:3931-3934.61北京交通大学硕 士学位论义 参考文献[22] Zhang H, Berg A C, Mai re M, et al. SVM-KNN: Discriminative nearest neighborclassification for visual category recognition[C]. //Proc. of IEEE Computer SocietyConference on Computer Vision and Pattern Recognition 2006. New York, NY,2006:2126-2136.[23] Cheng H, Tan P-N, Jin R. Localized support vector machine and its efficientalgorithm[C]. //Proc. of STAM International Conference on Data Mining 2007,Minneapolis, Minnesota, 2007:461-466.[24] Cheng H, Tan P-N, Jin R. Efficient Algorithm for Localized Support Vector Machine[J].IEEE Transactions on Knowledge and Data Engineering, 2010,20(4):537-549.[25] Segata N, Blanzieri E. Fast and Scalable Local Kernel Machines[J]‘ Journal of MachineLearning Research, 2010,11(2010):1883-1926.[26] Segata N. Local Approaches for Fast, Scalable and Accurate Learning with Kernels[D].Trent。,University of Trento, 2009.[27] 范昕炜,杜树新,吴铁军.可补偿类差异的加权支持向量机算法[J].中国图象图形学报,2003, 8A(9):1037-1042.[28] Scholkopf B, Piatt J,Shawe-Taylor, J et al. Estimating the support of a high-dimensionaldistribution[J.]. Neural Computation, 2001,13(7):1443-1471.[29] Liu Bing, Dai Yang, Li Xiao-li, et al. Building text classifiers using positive andunlabeled cxamplcs[C]. //Proc. of the 3rd IEEE International Conference on DataMining, Melbourne, Florida, 2003: 179—188.[30] Jordi M M, Francesca B, Luis G C, et al. Semisupervised One-Class Support VectorMachines for Classification of Remote Sensing Data[J]. IEEE Transactions onGcoscicncc and Remote Sensing, 2010,48(8):3188-3197.[31] Mancvitz L M,Youscf M. Onc-class SVMs for document classification[J]. Journal ofMachinc Learning Research, 2001, 2(2001): 139-154.[32] Li Yuhua. Sclccting training points for onc-class support vcctor machines [J]. PatternRecognition Letters, 2011,32(11): 1517—1522.[33] Laskov P, Schafcr C, Kotcnko I. Intrusion dctcction in unlabeled data with quarter spheresupport vcctor machincs[C]. //Proc. of Dctcction of Intrusions and Malwarc &Vulnerability Assessment, 2004,Dortmund, 2004: 71-82.[34] Rajascgarar S, Lcckic C, J. Bczdck C, ct al. Centered hypcrsphcrical and hypcrcllipsoidalonc-class support vcctor machines for anomaly dctcction in sensor networks [J]. IEEETransactions on Information Forcnsics and Security,2010, 5(3): 518-533.[35] 邓乃扬,田英杰.支持向量机一一理论、算法与拓展.北京:科学出版社,2009.[36] 陈宝林.最优化理论与算法(第2版).北京:清华大学出版社,2005.[37] 王宜举,修乃华.非线性规划理论与算法(第2版).西安:陕西科学技术出版社,2008.[38] Hcrbrich R. Learning Kernel Classifiers: Thocry and Algorithms. The MIT Press, 2002.[39] http://www.csic.ntu.edu.tw/~cjlin/[40] 尹传环,牟少敏,田盛丰,黄厚宽,朱莹莹.局部支持向量机的研究进展[J].计算机科学,2012,39(1):170-174.[41] Stcinwart I. Support vcctor machines arc universally consistcnt[J]. Journal ofComplexity, 2002,18(3):768-791.62北京交通大学硕士学位论文 参考文献[42] T.M. Cover and P.E. Nearest neighbor pattern classification. IEEE Transactions onInformation Theory, 13(1):21 -27,1967.[43] Chen L. New analysis of the sphere covering problems and optimal polytopeapproximation of convex bodies[J]. Journal of Approximation Theory, 2005,133(1):134-145.[44] 董宁.数据挖掘技术在CRM中的应用[J].计算机工程与设计,2007,28(6):1429-1432.[45] 岳峰,孙亮,王宽全,王永吉,左旺孟.基因表达数据的聚类分析研宄进展.自动化学报,2008,34(2): 113-120.[46] 刘建华.计算机技术在考古学与文物保护中的应用[J].中原文物,2004,(5):75-80.[47] 陈良维.数据挖掘中聚类算法研宄[J].微计算机信息,2006,22(7-3):209-211.[48] 汤效琴,戴汝源.数据中聚类分析的技术方法[J].微计算机信息,2003,19(1):3-4.[49] 孙吉贵,刘杰,赵连宇.聚类算法研宂[J].Journal of Software,200S,丨9(1 ):48-61.[50] 巩敦卫,孙晓燕.协同进化遗传算法理论及应用[M].北京:科学出版社,2009.[51] Chew Hong-gunn, Crisp D J, Bogner R E, et al. Target detection in radar imagery usingsupport vector machine with training size biasing[A]. Sundararajan N, Proceeding of thesixth International Conference on Control, Automation, Robotics and Vision[ C ].Singapore : Proceedings: CD-ROM. 2000.[52] Chew Hong-gunn, Bogner Robert E, Lim Cheng-chow. Dual nu-support vector machinewith error rate and training size biasingfA]. V John mathews. Proceedings of 26th IEEETCASSP(international Conference on Acoustics, Speech, and Signal Processing) [ C ].Salt Lake city,UT, USA :TEEE, 2001.1269-1272.[53] Scholkopf B,Smola A, Williamson R C, et al. New support vector algorithm [ J ]. NeuralComputation, 2000,12 (5) : 1207-1245.[54] Lin Ch-fu, Wang Shang-dc. Fuzzy support vcctor machincs[J].IEEE Transaction onNeural Networks, 2002,13 (2):464-471.[55] 尹传环,牟少敏,田盛丰,黄厚宽.单类支持向量机的研宄进展[J].计算机丄程弓应2012,48(12):1-5.[56] Biccgo M,Figucircdo MAT. Soft clustering using weighted onc-class support vcctormachines [J]. Pattern Recognition, 2009,42(1): 27-32.63