关键词 　 特征选择； 支持向量机； 相关性； 特征子集区分度； 特征区分度

   １　 引 　 言

    特征选择是模式识别、 数据挖掘等领域的重要研究内容， 它通过选择原始特征集合中的重要特征构成特征子集， 达到降低数据维数， 同时保持或提高系统分类性能的目的 ． 与特征提取不同， 特征选择保留的是原始物理特征， 因此， 可以真正地降低存储需要、 测量需求、 计算开销等； 而特征提取所保留的特征是原始特征的线性组合， 降维后的特征与原始每一个特征都相关， 因此特征提取保留下的特征没有任何物理意义， 这对癌症等疾病诊断研究没有任何意义 ． 另外， 特征提取也不能降低存储需要、 测量需求、 计算开销等， 不具有特征选择的这些优点 ［１ ］． 特征选择对于构建一个简洁、 高效的分类系统有重要作用 ． 它不仅可以揭示系统所隐藏的潜在模式和规律， 并使分类结果的可视化成为可能 ［１ ］ ．因此， 特征选择， 特别是基于最具有泛化能力和最小错分率的学习机— — —支持向量机（Ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　Ｖ ｅ ｃ ｔ ｏ ｒ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ，Ｓ ＶＭ ） 的特征选择研究备受关注［ ２ － ９ ］ ．

    现有特征选择研究主要着眼于选择最优特征子集所需要的两个主要步骤 ［１ ０ ］ ： 特征子集搜索策略和特征子集性能评价准则． 经典的特征子集搜索策 略 包 括： 顺 序 前 向 搜 索 （ Ｓ ｅ ｑ ｕ ｅ ｎ ｔ ｉ ａ ｌ 　Ｆ ｏ ｒ ｗ ａ ｒ ｄＳ ｅ ａ ｒ ｃ ｈ ， Ｓ Ｆ Ｓ ）［ １ １ ］ 、 顺序后向搜索（Ｓ ｅ ｑ ｕ ｅ ｎ ｔ ｉ ａ ｌ 　Ｂ ａ ｃ ｋ ｗ ａ ｒ ｄＳ ｅ ａ ｒ ｃ ｈ ， Ｓ Ｂ Ｓ ）［ １ ２ ］ 、 顺 序 前 向 浮 动 搜 索 （Ｓ ｅ ｑ ｕ ｅ ｎ ｔ ｉ ａ ｌＦ ｏ ｒ ｗ ａ ｒ ｄ 　Ｆ ｌ ｏ ａ ｔ ｉ ｎ ｇ 　 Ｓ ｅ ａ ｒ ｃ ｈ ，Ｓ Ｆ Ｆ Ｓ ）［ １ ３ ］ 、 顺序后向浮动搜索（ Ｓ ｅ ｑ ｕ ｅ ｎ ｔ ｉ ａ ｌ 　Ｂ ａ ｃ ｋ ｗ ａ ｒ ｄ 　Ｆ ｌ ｏ ａ ｔ ｉ ｎ ｇ Ｓ ｅ ａ ｒ ｃ ｈ ， Ｓ Ｂ Ｆ Ｓ ）［ １ ３ ］４种． 

特征子集性能评价准则有独立于分类器的评价方法、 以分类器分类准确率评价的方法， 以及将两者相结合的评价方法．特征选择方法依据其与分类器的关系分为Ｆ ｉ ｌ ｔ ｅ ｒ方法、 Ｗ ｒ ａ ｐ ｐ ｅ ｒ方法和 Ｅ ｍ ｂ ｅ ｄ ｄ ｅ ｄ 方法 ３ 类 ［ １ ４ － １ ６ ］ ．Ｆ ｉ ｌ ｔ ｅ ｒ［ １ ４ ］ 方法根据每一个特征对分类贡献的大小，定义其重要度， 选择重要的特征构成特征子集． 该方法独立于学习过程， 时间效率较高， 但是该方法需要一个阈值作为特征选择的停止准则． Ｆ ｉ ｌ ｔ ｅ ｒ方法选择的特征子集的分类性能不仅与特征重要性计算方法， 即特征排序准则有关； 而且与特征搜索策略， 以及特征选择过程的停止准则密切相关．Ｗ ｒ ａ ｐ ｐ ｅ ｒ［ １ ５ ］ 方法依赖于学习过程， 将训练样本分成训练子集和测试子集两部分 ． Ｗ ｒ ａ ｐ ｐ ｅ ｒ 方法中的学习算法完全是一个“ 黑匣子” ， 仅以每一组特征子集训练所得分类器的分类准确率作为该组特征分类性 能 的 度 量 ． 为 选 择出性能最好的特征子集，Ｗ ｒ ａ ｐ ｐ ｅ ｒ 算法需要的计算量巨大； 而且该方法所选择的特征子集依赖于具体学习机； 容易产生“ 过适应” 问题， 推广性能较差 ． 另外， 确定搜索策略以搜索所有可能的特征组合， 评价学习机的性能以引导或停止搜索， 以及选择具体的学习算法是 Ｗ ｒ ａ ｐ ｐ ｅ ｒ 方法的关键．Ｅ ｍ ｂ ｅ ｄ ｄ ｅ ｄ［ １ ６ ］ 方法将特征选择集成在学习机训练过程中， 通过优化一个目标函数在训练分类器的过程中实现特征选择． 

    该方法不用将训练数据集分成训练集和测试集两部分， 避免了为评估每一个特征子集对学习机所进行的从头开始的训练， 可以快速地得到最佳特征子集， 是一种高效的特征选择方法， 但是构造一个合适的函数优化模型是该方法的难点．Ｆ ｉ ｌ ｔ ｅ ｒ算法和 Ｗ ｒ ａ ｐ ｐ ｅ ｒ算法相结合的混合特征选择方法集成了 Ｆ ｉ ｌ ｔ ｅ ｒ 方法的高效与 Ｗ ｒ ａ ｐ ｐ ｅ ｒ 方法的高准确率， 可得到更优的特征子集 ［１ ７ － １ ９ ］ ， 是目前特征选择方法研究的一个新趋势． 然而， 现有特征选择研究多集中于考虑单个特征对于分类的贡献， 以此来评价特征的重要性， 从而依次选择重要的特征构成特征子集． 这样进行特征选择忽略了特征之间的相关性对于分类的影响， 或者对特征之间的相关性考虑不足， 特征之间的联合作用对于分类的贡献经常被忽略．Ｈ ａ ｌ ｌ 的Ｃ Ｆ Ｓ （ Ｃ ｏ ｒ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ 　ｂ ａ ｓ ｅ ｄ 　Ｆ ｅ ａ ｔ ｕ ｒ ｅ 　Ｓ ｅ ｌ ｅ ｃ ｔ ｏ ｒ ，Ｃ Ｆ Ｓ ）［ ２ ０ ］ 特征选择方法基于特征之间的相关性考虑， 通过计算特征之间的相关性， 以及特征与类标的相关性， 来实现特征选择， 从而使得被选特征子集的特征之间尽可能不相关， 而与类标高度相关． 但是ＨＡ Ｌ Ｌ 的 Ｃ Ｆ Ｓ 计算特征相关性的方法只适用于离散型数据， 非离散的数据需要进行离散化预处理； 另外， 特征之间的相关性只注重了特征两两之间的相关性， 对于多个特征对于分类的联合贡献考虑不足．本文 基 于 特 征 之 间 相 关 性 的 考 虑， 提 出 Ｄ Ｆ Ｓ（ Ｄ ｉ ｓ ｃ ｅ ｒ ｎ ｉ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆ 　Ｆ ｅ ａ ｔ ｕ ｒ ｅ 　Ｓ ｕ ｂ ｓ ｅ ｔ ｓ ， Ｄ Ｆ Ｓ ） 特征子集区分度衡量准则， 通过计算特征子集中特征的联合Ｆ － ｓ ｃ ｏ ｒ ｅ 值 来 判 断 特 征 子 集 的 类 别 间 区 分 能 力大小， 以此作为特征子集对分类贡献大小的度量， 并结合 Ｓ Ｆ Ｓ 、 Ｓ Ｂ Ｓ 、 Ｓ Ｆ Ｆ Ｓ 和 Ｓ Ｆ Ｂ Ｓ 　４ 种特征搜索策略，以 Ｓ ＶＭ 为分类工具引导特征选择过程， 实现特征选择 ． Ｕ Ｃ Ｉ 机器学习数据库数据集的实验测试表明， 本文提出的 Ｄ Ｆ Ｓ 准则是一种有效的特征子集类间区分能力度量准则； 基于 Ｄ Ｆ Ｓ 与 Ｓ ＶＭ 的特征算法实现了有效的特征选择， 具有很好的泛化性能； 但是 所 选 择 的 特 征 子 集 的 规 模 不 一 定 是 最好的 ．

    ２　 特征子集评价准则

    现有特征选择研究中特征重要性的评价多是计算单个特征的类间区分能力， 选择对分类贡献大的特征构成特征子集， 而忽略了特征之间的相关性对于特征类间区分能力大小的影响， 或者对特征之间的相关性考虑不足． Ｈ ａ ｌ ｌ［ ２ ０ ］ 通过计算特征之间的相关性、 特征与类标的相关性提出 Ｃ Ｆ Ｓ特征子集评价准则， Ｃ Ｆ Ｓ计算整个特征子集的类间区分能力实现特征选择， 使得被选特征子集中的特征之间尽可能不相关， 而与类标高度相关． 但 Ｃ Ｆ Ｓ［ ２ ０ ］ 只适用于离散型数据； 另外， Ｃ Ｆ Ｓ 更注重了特征两两之间的相关性， 对于多个特征对于分类的联合贡献考虑不足．为此， 本文首先将 Ｐ ｅ ａ ｒ ｓ ｏ ｎ 相关系数引入 Ｃ Ｆ Ｓ ， 以计算特征两两之间的相关性， 使得 Ｃ Ｆ Ｓ可应用于实值特征； 然后将Ｐ ｅ ａ ｒ ｓ ｏ ｎ相关系数所表达的正、 负相关性进行统一， 不区分正、 负相关， 只考虑相关， 从而得到 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ （ Ｃ ｏ ｒ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ 　ｂ ａ ｓ ｅ ｄ 　Ｆ ｅ ａ ｔ ｕ ｒ ｅ 　Ｓ ｅ ｌ ｅ ｃ ｔ ｏ ｒｂ ａ ｓ ｅ ｄ 　ｏ ｎ 　ｔ ｈ ｅ 　ａ ｂ ｓ ｏ ｌ ｕ ｔ ｅ 　ｏ ｆ 　Ｐ ｅ ａ ｒ ｓ ｏ ｎ ’ ｓ 　ｃ ｏ ｒ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎｃ ｏ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ ， Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ ） 特征子集评价准则 ． 

    其次， 本文在文献［１ ９ ］ 对单个特征的类间区分能力， 即对分类的贡献的研究基础上， 考虑多个特征对于分类的联合贡献， 提出 Ｄ Ｆ Ｓ 特征子集评价准则， 并结合４种特征搜索策略 Ｓ Ｆ Ｓ 、 Ｓ Ｂ Ｓ 、 Ｓ Ｆ Ｆ Ｓ和 Ｓ Ｆ Ｂ Ｓ ， 提出４种基于 Ｄ Ｆ Ｓ特征子集评价准则的特征选择算法．

    ２ ． １　Ｃ Ｆ Ｓ特征子集评价准则Ｃ Ｆ Ｓ 特征子集评价准则［ ２ ０ ］ 的定义如式（１ ） 所示：Ｍ ｓ ＝ｋ ｒｃ ｆｋ ＋ ｋ （ ｋ －１ ） ｒ槡 ｆ ｆ（１ ）式（１ ） 中的 Ｍ ｓ 度量了包含 ｋ 个特征的特征子集 Ｓ的类别辨识能力，ｒｃ ｆ表示特征 ｆ （ｆ ∈ Ｓ ） 与类别 ｃ 的相关系数的均值，ｒｆ ｆ 是特征之间的相关系数均值 ．式（１ ） 的分子表达了特征子集 Ｓ 的类预测能力； 分母表示了特征子集 Ｓ 中特征的冗余程度 ． 因此分子越大表示特征子集 Ｓ 的类预测能力越强， 分母越小表示该特征子集的冗余性越小 ． 特征选择， 就是选择一组特征构成特征子集， 该子集与类别高度相关， 但是子集中的特征之间高度不相关 ［１ ２ ］ ．由此可见 Ｍ ｓ的值越大， 当前特征子集 Ｓ 对于分类的贡献越大，是优良的特征子集 ． 我们使用 Ｐ ｅ ａ ｒ ｓ ｏ ｎ 相关系数计算相应特征之间的相关性， 以便 Ｃ Ｆ Ｓ 准则可应用于任意类型的特征值 ． Ｐ ｅ ａ ｒ ｓ ｏ ｎ相关系数的计算公式如式（２ ） 所示 ．ｒ ＝∑ Ｘ Ｙ －∑ Ｘ ∑ＹＮ∑ Ｘ２ － ∑ （ ）Ｘ２烄烆烌烎Ｎ∑Ｙ２ － ∑ （ ）Ｙ２烄烆烌烎槡 Ｎ（２ ）其中， Ｘ ，Ｙ 表示待求相关系数的两个向量， 可以是两列特征向量， 或者一列特征向量与一列类标向量，Ｎ 是样本个数．

    ２ ． ２　Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ特征子集评价准则由于Ｐ ｅ ａ ｒ ｓ ｏ ｎ相关系数可能为正值， 也可能为负值， 也即待判断相关程度的两向量可能正相关， 也可能负相关． 而无论正相关还是负相关， 相关系数的绝对值越大， 也即相关系数越接近＋１或－１ ， 则相关性越强； 相关系数越接近于 ０ ， 则相关度越弱 ． 因此， 我们将式（１ ） 所示 Ｃ Ｆ Ｓ准则中计算相关系数的Ｐ ｅ ａ ｒ ｓ ｏ ｎ 相关系数进行改进， 取其绝对值， 得到特征子集评价准则 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ ． Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则中的相关系数计算公式如式（３） 所示．

    ２ ． ３　Ｄ Ｆ Ｓ特征子集评价准则设 ｍ 维实空间 Ｒ ｍ 中的两类分类问题， 训练集样本的规模为 ｎ ， 正类和负类的样本数分别为 ｎ ＋ 和ｎ － ． 即训练集是｛ （ ｘ ｋ ， ｙ ｋ ） ｜ ｘ ｋ ∈ Ｒ ｍ ， ｍ ０ ， ｙ ｋ ∈ ｛ １ ，－１ ｝ ， ｋ ＝１ ， …， ｎ ｝ ， ‖ ｛ ｙ ｋ ｜ ｙ ｋ ＝＋１ ， ｋ ＝１ ， …， ｎ ｝ ‖＝ｎ ＋ ， ‖ ｛ ｙ ｋ ｜ ｙ ｋ ＝－１ ， ｋ ＝１ ， …， ｎ ｝ ‖＝ ｎ － ． 则含有 ｉ （ ｉ ＝１ ， ２ ， …， ｍ ） 个特征的特征子集的区分度 Ｄ Ｆ Ｓ 的定义如式（４） 所示．Ｄ Ｆ Ｓ ｉ ＝∑ｉｊ ＝１（ｘ－ （ ＋ ）ｊ－ ｘ－ｊ ）２ ＋ （ｘ－ （ － ）ｊ－ ｘ－ｊ ） （ ）２１ｎ ＋ －１ ∑ｎ ＋ｋ ＝１∑ｉｊ ＝１（ｘ（ ＋ ）ｋ ， ｊ － ｘ－ （ ＋ ）ｊ）（ ）２＋１ｎ － －１ ∑ｎ －ｋ ＝１∑ｉｊ ＝１（ｘ（ － ）ｋ ， ｊ － ｘ－ （ － ）ｊ）（ ）２（４ ）其中，ｘ－ｊ ， ｘ－ （ ＋ ）ｊ，ｘ－ （ － ）ｊ分别为第 ｊ 个特征在整个数据集上的均值， 在正类数据集上的均值和在负类数据集上的均值；ｘ（ ＋ ）ｋ ， ｊ为正类第 ｋ 个样本点的第 ｊ 个特征的值；ｘ（ － ）ｋ ， ｊ为第 ｋ 个负类样本的第 ｊ 个特征的值 ．式（４ ） 可以简记为式（ ５ ） ．Ｄ Ｆ Ｓ ｉ ＝‖ ｘ－（ ＋ ） －ｘ－ ‖ ２ ＋‖ｘ－（ － ） －ｘ－ ‖ ２１ｎ ＋ －１ ∑ｎ ＋ｋ ＝１‖ ｘ（ ＋ ）ｋ－ ｘ－（ ＋ ）‖２ ＋ １ｎ － －１ ∑ｎ －ｋ ＝１‖ ｘ（ － ）ｋ－ ｘ－（ － ）‖２（５ ）其中， ‖Ｘ－Ｙ‖ 表示向 量Ｘ ， Ｙ 之 间 的 距 离； ｘ－ ，ｘ－（ ＋ ） ，ｘ－（ － ） 分别为包含 ｉ 个特征的特征子集在整个数据集上的均值向量， 在正类数据集上的均值向量和在负类数据集上的均值向量；ｘ（ ＋ ）ｋ为正类第 ｋ 个样本点对应于当前 ｉ 个特征的特征值向量； ｘ（ － ）ｋ为第 ｋ 个负类样本对应当前 ｉ 个特征的特征值向量．

    分析式（４ ） 和（ ５ ） 可知， 分子表示正类、 负类对应当前含有 ｉ 个特征的特征子集的均值向量与整个样本集对应当前 ｉ 个特征的特征子集的均值向量的距离平方之和； 分母表示正类、 负类对应当前 ｉ 个特征的特征子集的方差之和； 分子值越大表示对应当前ｉ 个特征的特征子集的类间越疏； 分母值越小表示对应当前 ｉ 个特征的特征子集的类内越聚． 因此Ｄ Ｆ Ｓ ｉ 值越大， 表明包含当前 ｉ 个特征的特征子集的类间区分能力越强， 也即类别辨识能力越强．对于 ｌ （ ｌ ２ ） 类分类问题， 设训练样本集规模为ｎ ， 样本空间维数为 ｍ ． 即训练样本集为｛ （ ｘ ｋ ， ｙ ｋ ） ｜ｘ ｋ ∈ Ｒ ｍ （ ｍ 维实空间） ， ｍ ０ ， ｙ ｋ ∈ ｛ １ ， …， ｌ ｝ ， ｌ ２ ，ｋ ＝ １ ， …， ｎ ｝ ． 其中， 第 ｊ 类的样本数为 ｎ ｊ ， 即 ‖ ｙ ｋ ｜ ｙ ｋ ＝ｊ ， ｋ ＝ １ ， …， ｎ ‖＝ ｎ ｊ ， ｊ ＝１ ， …， ｌ ， 则含有 ｉ （ ｉ ＝１ ， …，ｍ ） 个特征的特征子集的区分度 Ｄ Ｆ Ｓ ｉ 定义为式（ ６ ） ．Ｄ Ｆ Ｓ ｉ ＝∑ｌｊ ＝１ ‖ｘ－（ ｊ ） －ｘ－ ‖ ２∑ｊｊ ＝１１ｎ ｊ －１ ∑ｎｊｋ ＝１ ‖ｘ（ ｊ ）ｋ － ｘ－（ ｊ ）‖２（６ ）其中 ｘ－ ，ｘ－（ ｊ ） 分别为包含当前 ｉ 个特征的特征子集在整个数据集上的均值向量， 在第 ｊ 类数据集上的均值向量；ｘ（ ｊ ）ｋ为第 ｊ 类中第 ｋ 个样本对应当前 ｉ 个特征的特征值向量． 式（６ ） 的分子表示 ｌ 个类别中各类别对应包含当前 ｉ 个特征的特征子集的样本中心向量与整个样本集对应当前 ｉ 个特征的中心向量的距离平方和， 其值越大， 类间越疏 ． 式（ ６ ） 的分母表示各个类别对应包含当前 ｉ 个特征的特征子集的类内方差 ． 方差越小， 类内越聚 ． 因此， 式（ ６ ） 定义的 Ｄ Ｆ Ｓｉ表示了当前 ｉ 个特征的特征子集的类间距离和与类内方差之比， 其值越大表明包含当前 ｉ 个特征的特征子集的类别辨识力越强 ．当 ｉ ＝１ 时， Ｄ Ｆ Ｓｉ 蜕化为单个特征的类间区分能力度量准则— — —改进的 Ｆ － ｓ ｃ ｏ ｒ ｅ 准则 ［１ ９ ］ ， 如式（７ ）所示．Ｆ ｉ ＝∑ｌｊ ＝１（ｘ－ （ ｊ ）ｉ － ｘ－ｉ ）２∑ｌｊ ＝１１ｎ ｊ －１ ∑ｎｊｋ ＝１（ｘ（ ｊ ）ｋ ， ｉ － ｘ－ （ ｊ ）ｉ）２（７ ）式（７ ） 中 ｘ－ｉ ， ｘ－ （ ｊ ）ｉ分别为第 ｉ 个特征在整个数据集上的均值， 在第 ｊ 类数据集上的均值； ｘ（ ｊ ）ｋ ， ｉ 为第 ｊ 类第ｋ 个样本点的第 ｉ 个特征的值 ． 式（ ７ ） 分子表示 ｌ 个类中第 ｉ 个特征的各类中心到整个样本集中心的距离平方和， 其值越大， 类间越疏． 式（７ ） 的分母表示各个类第 ｉ 个特征的类内方差． 方差越小， 类内越聚．因此，Ｆ ｉ 近似表示了第 ｉ 个特征的类间距离与类内方差之比， 其值越大表明第 ｉ 个特征的辨识力越强．

    ３　 基于 Ｄ Ｆ Ｓ 与 Ｓ ＶＭ的特征选择算法

    将本文提出的特征子集区分度衡量准则 Ｄ Ｆ Ｓ结合 Ｓ Ｆ Ｓ 、 Ｓ Ｂ Ｓ 、 Ｓ Ｆ Ｆ Ｓ 和 Ｓ Ｆ Ｂ Ｓ 特征搜索策略， 以Ｓ ＶＭ 为分类工具， 提出４种不同的特征选择算法．

    算法１． 基于 Ｄ Ｆ Ｓ与 Ｓ ＶＭ 的顺序前向混合特征选择算法．该算法采用Ｓ Ｆ Ｓ搜索策略， 以Ｄ Ｆ Ｓ度量相应特征子集的类间区分能力， 以 Ｓ ＶＭ 分类模型的分类正确率作为最终依据选择相应特征子集． 特征选择从空集开始， 第一次加入类间区分能力最强的一个特征， 然后依次迭代加入与已选择特征组合构成类间区分能力最大的特征子集对应的那个特征． 该过程一直进行， 直到所有特征都被加入 ． 最后选择训练集分类正确率最高时对应的特征子集为被选择特征子集． 算法的伪代码描述如下．输入： 当前的训练集和测试集 ．输出： 特征子集 Ｃ设 Ｓ ＝ ｛ｆ ｉ ｜ ｉ ＝１ ， …， ｍ ｝ 为全部特征构成的集合， Ｃ 为被选择特征构成的子集， 初始为空集， 即 Ｃ ＝ ；根据式（ ７ ） 计算训练集上每个特征的类间区分能力；选择最重要的特征 ｆ ｍ ａ ｘ ＝ｍ ａ ｘ ｛ Ｆ ｉ ， ｉ ＝１ ， …， ｍ ｝ ；令 Ｓ ＝ Ｓ － ｛ｆ ｍ ａ ｘ ｝ ； Ｃ ＝ Ｃ ∪ ｛ ｆ ｍ ａ ｘ ｝ ；使用 Ｃ 中特征训练 Ｓ ＶＭ ， 得到一个 Ｓ ＶＭ 分类模型；以该模型对训练集、 测试集进行分类， 记录相应的分类正确率；ＷＨ Ｉ Ｌ Ｅ 　 Ｓ ≠ Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ ｍ ｉ ｎ ； ｍ ａ ｘ ｔ ｅ ｍ ｐ Ｃ ＝ ；Ｆ Ｏ Ｒ 　ｅ ａ ｃ ｈ 　 ｆ ∈ Ｓ　Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 ｔ ｅ ｍ ｐ Ｃ ＝ Ｃ ∪ ｛ ｆ ｝ ；　 根据式（ ６ ） 计算 Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ Ｃ ） ；　Ｉ Ｆ 　 Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ Ｃ ）  ｍ ａ ｘ Ｄ Ｆ Ｓ ＴＨＥ Ｎ　Ｂ Ｅ Ｇ Ｉ Ｎ　　 ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ Ｃ ） ；　　 ｍ ａ ｘ ｔ ｅ ｍ ｐ Ｃ ＝ ｔ ｅ ｍ ｐ Ｃ ；　　 ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ ｆ ｅ ａ ｔ ｕ ｒ ｅ ＝ ｆ ；　Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｉ ｆＥ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｆ ｏ ｒＣ ＝ ｍ ａ ｘ ｔ ｅ ｍ ｐ Ｃ ；Ｓ ＝ Ｓ － ｛ ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｝ ；使用 Ｃ 中特征训练 Ｓ ＶＭ ， 得到一个 Ｓ ＶＭ 分类模型；以该模型对训练集、 测试集进行分类， 并记录相应的分类正确率；Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｗ ｈ ｉ ｌ ｅ

    算法２． 基于 Ｄ Ｆ Ｓ与 Ｓ ＶＭ 的顺序后向混合特征选择算法．该算法利用Ｓ Ｂ Ｓ搜索策略， 以Ｄ Ｆ Ｓ度量相应特征子集的类间区分能力，Ｓ ＶＭ 的分类准确率引导特征选择过程 ． 算法从特征全集开始， 每次剔除当前余下特征中最差的一个， 即剔除该特征后的剩余特征构成最具有类间区分能力的特征子集． 以训练集分类正确率不再上升时对应的规模最小的特征子集为被选择特征子集． 算法的伪代码描述如下．输入： 当前的训练集 Ｘ ｔ ｒ ａ ｉ ｎ 和测试集 Ｘ ｔ ｅ ｓ ｔ输出： 特征子集 Ｓ设 Ｓ ＝ ｛ｆ ｉ ｜ ｉ ＝１ ， ２ ， …， ｍ ｝ 为全部特征构成的集合；ＷＨ Ｉ Ｌ Ｅ 　 Ｓ ≠ Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 以 Ｓ 中特征训练 Ｘ ｔ ｒ ａ ｉ ｎ ， 得到一个 Ｓ ＶＭ 分类模型；以该模型分类 Ｘ ｔ ｒ ａ ｉ ｎ 和 Ｘ ｔ ｅ ｓ ｔ ， 并记录分类正确率；ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ ｍ ｉ ｎ ；ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｕ ｂ ｓ ｅ ｔ ＝ Ｓ ；Ｆ Ｏ Ｒ 　ｅ ａ ｃ ｈ 　 ｆ ∈ Ｓ　Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ＝ Ｓ － ｛ ｆ ｝ ；　 根据式（ ６ ） 计算 Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ） ；　 ｔ ｅ ｍ ｐ Ｄ Ｆ Ｓ ＝ Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ） ；　Ｉ Ｆ ｔ ｅ ｍ ｐ Ｄ Ｆ Ｓ ＞ ｍ ａ ｘ Ｄ Ｆ Ｓ ＴＨＥ Ｎ　Ｂ Ｅ Ｇ Ｉ Ｎ　　 ｄ ｅ ｌ ｅ ｔ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ＝ ｆ ；　　 ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｕ ｂ ｓ ｅ ｔ ＝ ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ；　　 ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ ｔ ｅ ｍＤ Ｆ Ｓ ；　Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｉ ｆＥ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｆ ｏ ｒＳ ＝ Ｓ － ｛ ｄ ｅ ｌ ｅ ｔ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｝ ；Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｗ ｈ ｉ ｌ ｅ

    算法 ３． 　 基于 Ｄ Ｆ Ｓ 与 Ｓ ＶＭ 的顺序前向浮动混合特征选择算法 ．该算法将 Ｄ Ｆ Ｓ 特征评价准则与顺序前向浮动搜索策略 Ｓ Ｆ Ｆ Ｓ 结合， 以 Ｓ ＶＭ 为分类工具， 首先加入最具有类间区分能力的一个特征， 然后每次迭代加入与已选择特征组合最具有类间区分能力的相应特征， 之后浮动部分依据加入特征之后的特征子集对应Ｓ ＶＭ 分类器的分类正确率判定刚刚加入的特征是否保留． 若当前特征子集训练所得 Ｓ ＶＭ 分类模型的训练分类正确率上升， 则保留刚加入的特征，否则删除刚刚加入的特征． 该过程一直进行， 直到所有特征都被测试过． 最后留在特征子集中的特征构成最佳被选择特征子集． 算法伪代码描述如下．输入： 当前训练集和测试集输出： 特征子集 Ｃ设 Ｓ ＝ ｛ｆ ｉ ｜ ｉ ＝１ ， ２ ， …， ｍ ｝ 为全部特征构成的集合， Ｃ 为被选择特征构成的子集， 初始为空集， 即 Ｃ ＝ ；根据式（ ７ ） 在训练集上计算每个特征的区分能力；选择最重要的特征 ｆ ｍ ａ ｘ ＝ｍ ａ ｘ ｛ Ｆ ｉ ， ｉ ＝１ ， ２ ， …， ｍ ｝ ；令 Ｓ ＝ Ｓ － ｛ｆ ｍ ａ ｘ ｝ ；令 Ｃ ＝ Ｃ ∪ ｛ｆ ｍ ａ ｘ ｝ ；使用 Ｃ 中特征训练Ｓ ＶＭ ， 得到一个Ｓ ＶＭ 分类模型；记录该模型对训练集、 测试集的分类正确率 ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ和 ａ ｃ ｃ ｔ ｅ ｓ ｔ ；ＷＨ Ｉ Ｌ Ｅ 　 Ｓ ≠ Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ ｍ ｉ ｎ ；ｍ ａ ｘ ｔ ｅ ｍ ｐ Ｃ ＝ Ｃ ；Ｆ Ｏ Ｒ 　ｅ ａ ｃ ｈ 　 ｆ ∈ Ｓ　Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 ｔ ｅ ｍ ｐ Ｃ ＝ Ｃ ∪ ｛ ｆ ｝ ；　 根据式（ ６ ） 计算 ｔ ｅ ｍ ｐ Ｃ 的 Ｄ Ｆ Ｓ 值 Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ Ｃ ） ；　Ｉ Ｆ 　 Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ Ｃ ） ＞ ｍ ａ ｘ Ｄ Ｆ Ｓ ＴＨＥ Ｎ　Ｂ Ｅ Ｇ Ｉ Ｎ　　 ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ Ｃ ） ；　　 ｍ ａ ｘ ｔ ｅ ｍ ｐ Ｃ ＝ Ｃ ∪ ｛ ｆ ｝ ；　　 ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ ｆ ｅ ａ ｔ ｕ ｒ ｅ ＝ ｆ ；　Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｉ ｆＥ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｆ ｏ ｒＣ ＝ ｍ ａ ｘ ｔ ｅ ｍ ｐ Ｃ ；Ｓ ＝ Ｓ － ｛ ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｝ ；ｐ ｒ ｅ ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ ＝ ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ ；ｐ ｒ ｅ ａ ｃ ｃ ｔ ｅ ｓ ｔ ＝ ａ ｃ ｃ ｔ ｅ ｓ ｔ ；使用 Ｃ 中特征训练 Ｓ ＶＭ ， 得到一个 Ｓ ＶＭ 分类模型；以该模型对训练集、 测试集进行分类， 记录相应的分类正确率 ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ 和 ａ ｃ ｃ ｔ ｅ ｓ ｔ ；Ｉ Ｆ 　 ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ ｐ ｒ ｅ ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ 　ＴＨＥ ＮＢ Ｅ Ｇ Ｉ Ｎ　 Ｃ ＝ Ｃ － ｛ ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｝ ；Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｉ ｆＥ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｗ ｈ ｉ ｌ ｅ

    算法４． 基于 Ｄ Ｆ Ｓ与 Ｓ ＶＭ 的顺序后向浮动混合特征选择算法 ．该算法将 Ｄ Ｆ Ｓ 特征子集区分度评价准则与Ｓ ＶＭ 结合， 以顺序后向浮动搜索策略Ｓ Ｂ Ｆ Ｓ进行特征搜索， 特征选择从全集开始， 根据 Ｄ Ｆ Ｓ值剔除当前余下特征中最差的一个特征， 即剔除该特征使得剩余特征构成的特征子集对应的 Ｄ Ｆ Ｓ值最大． 浮动部分以被选择特征子集的Ｓ ＶＭ 分类模型的分类正确率判断刚刚剔除的特征是否需要收回， 若剔除该最差特征后导致训练集的分类正确率下降， 则将刚剔除的最差特征召回； 否则剔除． 该过程一直迭代，直到所有特征都被测试过， 最后留下的特征构成被选特征子集． 算法的伪代码描述如下．输入： 当前训练集 Ｘ ｔ ｒ ａ ｉ ｎ 与测试集 Ｘ ｔ ｅ ｓ ｔ输出： 特征子集 Ｃ设 Ｓ ＝ ｛ｆ ｉ ｜ ｉ ＝１ ， ２ ， …， ｍ ｝ 为包含全部特征的集合， Ｃ ＝｛ｆ ｉ ｜ ｉ ＝１ ， ２ ， …， ｍ ｝ 为被选择特征构成的子集；ＷＨ Ｉ Ｌ Ｅ 　 Ｓ ≠ Ｄ ＯＥ Ｇ Ｉ Ｎ　 以 Ｃ 中特征在 Ｘ ｔ ｒ ａ ｉ ｎ 训练得到一个Ｓ ＶＭ 分类模型；以该模型对 Ｘ ｔ ｒ ａ ｉ ｎ 和 Ｘ ｔ ｅ ｓ ｔ 进行分类， 记录相应的分类正确率 ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ 和 ａ ｃ ｃ ｔ ｅ ｓ ｔ ；ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ ｍ ｉ ｎ ； ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｕ ｂ ｓ ｅ ｔ ＝ Ｓ ；Ｆ Ｏ Ｒ 　ｅ ａ ｃ ｈ 　 ｆ ∈ Ｓ　Ｄ ＯＢ Ｅ Ｇ Ｉ Ｎ　 ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ＝ Ｓ － ｛ ｆ ｝ ；　 根据式（ ６ ） 计算 ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ 的 Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ） ；　 ｔ ｅ ｍ ｐ Ｄ Ｆ Ｓ ＝ Ｄ Ｆ Ｓ （ ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ） ；　Ｉ Ｆ ｔ ｅ ｍ ｐ Ｄ Ｆ Ｓ ＞ ｍ ａ ｘ Ｄ Ｆ Ｓ 　ＴＨＥ Ｎ　Ｂ Ｅ Ｇ Ｉ Ｎ　　 ｄ ｅ ｌ ｅ ｔ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ＝ ｆ ；　　 ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｕ ｂ ｓ ｅ ｔ ＝ ｔ ｅ ｍ ｐ ｓ ｕ ｂ ｓ ｅ ｔ ；　　 ｍ ａ ｘ Ｄ Ｆ Ｓ ＝ ｔ ｅ ｍ ｐ Ｄ Ｆ Ｓ ；　Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｉ ｆＥ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｆ ｏ ｒＳ ＝ Ｓ － ｛ ｄ ｅ ｌ ｅ ｔ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｝ ；ｐ ｒ ｅ ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ ＝ ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ ；ｐ ｒ ｅ ａ ｃ ｃ ｔ ｅ ｓ ｔ ＝ ａ ｃ ｃ ｔ ｅ ｓ ｔ ；使用 Ｓ 中特征训练 Ｓ ＶＭ ， 得到一个 Ｓ ＶＭ 分类模型；以该模型对 Ｘ ｔ ａ ｒ ｉ ｎ 、 Ｘ ｔ ｅ ｓ ｔ 进行分类， 记录相应的分类正确率 ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ 和 ａ ｃ ｃ ｔ ｅ ｓ ｔ ；Ｉ Ｆ 　 ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ ｐ ｒ ｅ ａ ｃ ｃ ｔ ｒ ａ ｉ ｎ 　ＴＨＥ ＮＢ Ｅ Ｇ Ｉ Ｎ　 Ｃ ＝ Ｃ － ｛ ｄ ｅ ｌ ｅ ｔ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｝ ；Ｅ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｉ ｆＥ Ｎ Ｄ ／ ／ ｅ ｎ ｄ 　ｏ ｆ 　ｗ ｈ ｉ ｌ ｅ

    ４　 实验结果与分析

    实验采用 Ｕ Ｃ Ｉ机器学习数据库 ［２ １ ］ 的１ ０个数据集 ① ｉ ｒ ｉ ｓ ， ｄ ｅ ｒ ｍ ａ ｔ ｏ ｌ ｏ ｇ ｙ ， ｇ ｌ ａ ｓ ｓ ， ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ ， ｉ ｏ ｎ ｏ ｓ ｐ ｈ ｅ ｒ ｅ ，ＷＤ Ｂ Ｃ （ Ｗ ｉ ｓ ｃ ｏ ｎ ｓ ｉ ｎ 　Ｄ ｉ ａ ｇ ｎ ｏ ｓ ｔ ｉ ｃ 　Ｂ ｒ ｅ ａ ｓ ｔ 　Ｃ ａ ｎ ｃ ｅ ｒ ） ， Ｗ Ｐ Ｂ Ｃ（ Ｗ ｉ ｓ ｃ ｏ ｎ ｓ ｉ ｎ 　Ｐ ｒ ｏ ｇ ｎ ｏ ｓ ｔ ｉ ｃ 　Ｂ ｒ ｅ ａ ｓ ｔ 　Ｃ ａ ｎ ｃ ｅ ｒ ） ， ｗ ｉ ｎ ｅ ，ｔ ｈ ｙ ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ和ｈ ｅ ａ ｒ ｔ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ ． 其中， ｄ ｅ ｒ ｍ ａ ｔ ｏ ｌ ｏ ｇ ｙ数据集， 删去了 ８ 个含有缺失数据的样本；ｇ ｌ ａ ｓ ｓ 数据集分成了 ｗ ｉ ｎ ｄ ｏ ｗ 　ｇ ｌ ａ ｓ ｓ 和 ｎ ｏ ｎ － ｗ ｉ ｎ ｄ ｏ ｗ 　ｇ ｌ ａ ｓ ｓ 两类； ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ 数据集只选择了 ｓ ｅ ｍ ｅ ｉ ｏ ｎ 　ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｔ ｅ ｎｄ ｉ ｇ ｉ ｔ数据集的前两类； ＷＰ Ｂ Ｃ数据集删去了４个含有缺失数据的样本；ｔ ｈ ｙ ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ数据集是其中的 ｎ ｅ ｗ － ｔ ｈ ｙ ｒ ｏ ｉ ｄ ，即 ｔ ｈ ｙ ｒ ｏ ｉ ｄ 　ｇ ｌ ａ ｎ ｄ 　ｄ ａ ｔ ａ 数 据 集；ｈ ｅ ａ ｒ ｔ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ 数据集使用了其中的 ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｅ ｄ 　ｃ ｌ ｅ ｖ ｅ－ｌ ａ ｎ ｄ数据集， 并删去了６个含有缺失数据的样本． 数据集详细信息如表１描述． 实验环境为 Ｄ ｅ ｌ ｌ 　Ｖ ｏ ｓ ｔ ｒ ｏ４ ５ ０笔记本电脑，Ｉ ｎ ｔ ｅ ｌ 　Ｃ ｏ ｒ ｅ 　ｉ ５ － ２ ４ ５ ０ 　２ ． ５ ０ ＧＨ ｚ 　Ｃ Ｐ Ｕ ，４Ｇ Ｂ 内 存， Ｗ ｉ ｎ ７ 　６ ４ 位 操 作 系 统，Ｍ ａ ｔ ｌ ａ ｂ 应 用软件． 　

为得到具有统计意义的实验结果， 采用 ５ 折交叉验证实验 ． 

    同时， 为了得到随机的实验数据， 采用将样本顺序随机打乱， 每一类样本依次逐个加入到５ 个初始为空的样本集合， 直到这一类的每一个样本都被加入， 实现将样本随机均匀划分为 ５ 份的目的 ． 以 １ 份样本为测试样本集， 其余 ４ 份为训练样本集， 并以每 １ 份都做过测试集结束 ５ 折交叉验证实验 ． 样本随机打乱的方法是： 随机生成一个 ５ ０ ０ ０×２的２维数组， 数组每一元素的值在１～ 数据集规模之间； 交换数组每一行两个元素值对应的两个样本 ．实验采用林智仁教授等开发的Ｓ ＶＭ 工具箱 ［２ ２ ］ ， 核函数采用 Ｒ Ｂ Ｆ （ Ｒ ａ ｄ ｉ ａ ｌ 　Ｂ ａ ｓ ｉ ｓ 　Ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ ） 核函数［ ２ ３ ］ ．为了更客观地比较基于不同特征子集评价准则的特征选择算法的性能， 对各特征子集评价准则进行性能比较， 本文各算法的核函数参数均采用默认值．为测试提出的 Ｄ Ｆ Ｓ特征子集评价准则的有效性， 将其与 Ｃ Ｆ Ｓ以及提出的 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ特征子集评价准则进行实验比较． 

    ３ 种分别基于 Ｄ Ｆ Ｓ 、 Ｃ Ｆ Ｓ 和Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 不同特征子集重要性（ 区分度） 评价准则与Ｓ ＶＭ 的特征选择算法的实验结果如表２ ～ 表５所示．表中数值为各算法 ５ 折交叉验证实验对应实验结果的平均值， 加重和加下划线的被选择特征数、 测试集分类正确率、 运行时间（ 以ｓ为单位） 分别表示最小的特征子集规模、 最高的分类正确率、 最快的运行速度 ．为了更清楚地展示特征依次被选入（ 或依次被剔除） 时， 相应 Ｓ ＶＭ 的正确率变化情况， 以说明选择到多少个特征时才是最好的， 图 １、 图２ 分别展示了基于 Ｓ Ｆ Ｓ 、 Ｓ Ｂ Ｓ 搜索策略， 并分别以 Ｄ Ｆ Ｓ 、 Ｃ Ｆ Ｓ 和Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ为特征子集重要性（ 区分度） 评价准则， 以Ｓ ＶＭ 为分类工具的相应特征选择算法的训练正确率和测试正确率变化曲线 ． 其中的训练正确率与测试正确率变化曲线是５折交叉验证实验的平均正确率曲线 ．表 ２ 基于 Ｓ Ｆ Ｓ 搜索序策略的 ５ 折交叉验证实验结果显示， 提出的 Ｄ Ｆ Ｓ 特征子集评价准则在 ｉ ｒ ｉ ｓ ，ｄ ｅ ｒ ｍ ａ ｔ ｏ ｌ ｏ ｇ ｙ ， ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ ， ＷＤ Ｂ Ｃ ，ｔ ｈ ｙ ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ 和ｈ ｅ ａ ｒ ｔ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ 　６ 个数据集上选择的特征子集的分类正确率高于等于 Ｃ Ｆ Ｓ 、 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准则选择的特征子集的分类正确率； Ｃ Ｆ Ｓ 准则在 ｇ ｌ ａ ｓ ｓ ， ＷＰ Ｂ Ｃ 和 ｗ ｉ ｎ ｅ３ 个数据集上的分类正确率超过 Ｄ Ｆ Ｓ 和 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则； Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则只在ｉ ｏ ｎ ｏ ｓ ｐ ｈ ｅ ｒ ｅ一个数据集上的分类正确率超过 Ｄ Ｆ Ｓ和 Ｃ Ｆ Ｓ准则． 特征子集规模比较显示： Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则选择的特征子集规模优于 Ｄ Ｆ Ｓ和 Ｃ Ｆ Ｓ准则． 

其中， 在 ｄ ｅ ｒ ｍ ａ ｔ ｏ ｌ ｏ ｇ ｙ ， ｇ ｌ ａ ｓ ｓ ，ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ和 ｗ ｉ ｎ ｅ 　   ４个数聚集上优于 Ｄ Ｆ Ｓ和 Ｃ Ｆ Ｓ准则， 在ｉ ｏ ｎ ｏ ｓ ｐ ｈ ｅ ｒ ｅ和ｔ ｈ ｙ ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ数据集上等于Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则， 优于提出 Ｄ Ｆ Ｓ准则选择的特征子集规模； Ｄ Ｆ Ｓ准则只在ｉ ｒ ｉ ｓ数据集上与其他两个准则持平， 在其他９个数据集上都不如其他两个准则； Ｃ Ｆ Ｓ准则在 ＷＤ Ｂ Ｃ ，ＷＰ Ｂ Ｃ和ｈ ｅ ａ ｒ ｔ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ共３个数据集上优于其他两个准则 ． 运行时间比较显示：提出的 Ｄ Ｆ Ｓ特征子集评价准则优于其他两个特征子集评价准则， 特别体现在 ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ这类较高维数据集的特征选择上， 基于 Ｄ Ｆ Ｓ特征子集评价准则的特征选择算法明显优于其他两个准则． １ ０个数据集的运行时间显示， Ｄ Ｆ Ｓ准则在５个数据集上运行时间优于 Ｃ Ｆ Ｓ 和 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准则； 而 Ｃ Ｆ Ｓ ｐ ａ ｂ ｓ 准则在 ３ 个数据集上较优； Ｃ Ｆ Ｓ 准则在 ２ 个数据集上较优 ．以上对于表 ２ 实验结果的分析得出： 提出的Ｄ Ｆ Ｓ 特征子集评价准则无论运行时间还是所选择特征子集的分类性能都较优， 但所选择的特征子集规模不是最优的 ． 然而从 ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ 这一较高维数据集的实验结果来看， 提出的 Ｄ Ｆ Ｓ特征子集评价准则优于 Ｈ ａ ｌ ｌ提出的Ｃ Ｆ Ｓ特征子集评价准则．表３基于Ｓ Ｂ Ｓ搜索策略的实验结果显示， 在所选特征子集的分类正确率、 相应特征选择算法的运行时间两个指标的平均值比较上， 提出的 Ｄ Ｆ Ｓ特征子集评价准则优于Ｃ Ｆ Ｓ和Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则； 另外，Ｃ Ｆ Ｓ和Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则相比， 后者优于前者． 从选择的特征子集规模来看， 虽然提出的 Ｄ Ｆ Ｓ特征子集评价准则只在ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ数据集上较优， 但是３个特征子集评价准则的比较可见， Ｄ Ｆ Ｓ准则在 ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ数据集上选择的特征数远远少于 Ｃ Ｆ Ｓ 和 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准则选择的特征数． 虽然 Ｃ Ｆ Ｓ准则在７个数据集上选择的特征子集规模优于其他两准则， 但是特征子集的规模差别不像 Ｄ Ｆ Ｓ与 Ｃ Ｆ Ｓ 、 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ在ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ数据集选择的特征子集规模差别那么突出．以上表２和表３ 实验结果的分析得出： 提出的Ｄ Ｆ Ｓ特征子集区分度衡量准则最好． 其选择的特征子集不仅泛化性能好， 而且对于较高维数据集的降维效果特别突出； 另外， 基于 Ｄ Ｆ Ｓ特征子集评价准则与Ｓ ＶＭ 的特征选择算法的运行效率较高．表４基于 Ｓ Ｆ Ｆ Ｓ搜索策略的实验结果显示： 提出的 Ｄ Ｆ Ｓ特征子集区分度衡量准则在 ３个数据集ｉ ｒ ｉ ｓ 、 ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ和ｔ ｈ ｙ ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ上选择的特征子集的分类正确率最高； Ｃ Ｆ Ｓ准则在 ｇ ｌ ａ ｓ ｓ 、 ＷＰ Ｂ Ｃ和ｗ ｉ ｎ ｅ 　３ 个数据集上选择的特征子集具有较高的分类正确率； 改进的 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则在 Ｄ ｅ ｒ ｍ ａ ｔ ｏ ｌ ｏ ｇ ｙ 、ｉ ｏ ｎ ｏ ｓ ｐ ｈ ｅ ｒ ｅ和 ＷＤ Ｂ Ｃ 　３个数聚集上选择的特征子集分类正确率最好； 对于 ｈ ｅ ａ ｒ ｔ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ数据集， Ｄ Ｆ Ｓ 、Ｃ Ｆ Ｓ 和 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 　３ 个特征子集评价准则选择的特征子集具有相同的分类性能 ． 

    特征子集规模分析可见， 改 进 的 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准 则 在 ｄ ｅ ｒ ｍ ａ ｔ ｏ ｌ ｏ ｇ ｙ 、 ｇ ｌ ａ ｓ ｓ 、ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ 、 ｉ ｏ ｎ ｏ ｓ ｐ ｈ ｅ ｒ ｅ 、 ＷＤ Ｂ Ｃ 、 ＷＰ Ｂ Ｃ 、 ｗ ｉ ｎ ｅ 和 ｔ ｈ ｙ －ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ 共 ８ 个数聚集上选择的特征子集规模不超过 Ｄ Ｆ Ｓ 准则和 Ｃ Ｆ Ｓ 准则， 其中在 ＷＤ Ｂ Ｃ 和ｔ ｈ ｙ ｒ ｏ ｉ ｄ － ｄ ｉ ｓ ｅ ａ ｓ ｅ两 个 数 据 集 上 与 Ｃ Ｆ Ｓ 准 则 相 同；Ｃ Ｆ Ｓ 准则只在 ｈ ｅ ａ ｒ ｔ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ 数据集上最优； 提出的Ｄ Ｆ Ｓ 准则只在 ｉ ｒ ｉ ｓ 数据集上选择的特征子集规模优于其他两准则 ．表５基于 Ｓ Ｂ Ｆ Ｓ搜索策略的实验结果显示， 提出的 Ｄ Ｆ Ｓ 特征子集区分度评价准则性能最优， 因为基于 Ｄ Ｆ Ｓ 准则的顺序后向浮动特征选择算法的５ 折交叉验证实验， 无论其选择的特征子集平均规模， 还是其选择的特征子集的平均分类正确率， 还是其平均运行时间都优于基于其他两个特征子集评价准则 Ｃ Ｆ Ｓ 与 Ｃ Ｆ Ｓ Ｐ ａ ｂ 的特征选择算法 ．表２～表５的实验结果还显示： 对于较高维数据集进行特征选择， Ｓ Ｆ Ｓ特征搜索策略的运行时间低于Ｓ Ｂ Ｓ ， Ｓ Ｆ Ｆ Ｓ搜索策略需要的时间低于 Ｓ Ｂ Ｆ Ｓ．另外， 从ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ数据集的５折交叉验证实验的运行时间明显可见， 除了采用 Ｓ Ｆ Ｆ Ｓ搜索策略的特征选择算法外， 其他以 Ｓ Ｆ Ｓ 、 Ｓ Ｂ Ｓ 、 Ｓ Ｂ Ｆ Ｓ 为搜索策略的３个特征选择算法， Ｄ Ｆ Ｓ特征子集评价准则明显优于 Ｃ Ｆ Ｓ 和 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准则 ．所得分类器在该数据集的泛化性能， 无论采用那个搜索策略， Ｄ Ｆ Ｓ 特征子集评价准则选择的特征子集的分类性能都最好 ．图１关于特征依次被选入时在１ ０个 Ｕ Ｃ Ｉ数据集的５折交叉验证实验的平均训练和测试正确率比较显示， 提出的 Ｄ Ｆ Ｓ特征子集重要性评价准则选择的特征子集具有更好的泛化性能， Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则能选择到规模较小的特征子集 ． 图１展示的详细实验结果与表２所示的实验结果一致．图 ２ 关于特征依次被剔除时的 ５ 折交叉验证实验的平均训练和测试正确率的详细结果与表 ３ 展示的实验结果一致 ． 从图 ２ 实验结果的比较看出， 提出的 Ｄ Ｆ Ｓ特征子集评价准则选择的特征子集的泛化性能优于 Ｃ Ｆ Ｓ 和 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准则 ． 另外， 在 ｈ ａ ｎ ｄ ｗ ｒ ｉ ｔ ｅ这一较高维数据集， Ｄ Ｆ Ｓ 特征子集评价准则不仅选择的特征子集的泛化性能很好， 而且选择的特征子集的规模也小于 Ｃ Ｆ Ｓ和Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ准则．以上５折交叉验证实验的结果分析揭示： 本文提出的 Ｄ Ｆ Ｓ特征子集区分度衡量准则是一个很好的特征子集类间区分能力度量准则， 基于该准则的特征选择算法所选择的特征子集具有很好的泛化性能， 且对于较高维数据集， 该准则不仅大大降低数据维数， 还具有很高的运行效率， 需要的运行时间最少． 我们对 Ｃ Ｆ Ｓ准则改进得到的 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ特征子集评价准则所选特征子集的泛化性能与 Ｃ Ｆ Ｓ准则选择的特征子集的泛化性能差别不大， 但是基于Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ 准则的特征选择算法运行时间效率较高，且选择的特征子集规模优于 Ｃ Ｆ Ｓ 准则选择的特征子集的规模 ．

    ５　 结论与应用前景展望

    本文提出了 Ｄ Ｆ Ｓ特征子集区分度评价准则， 该准则充分考虑特征之间的相关性， 通过计算整个特征子集对于分类的联合贡献克服了单个特征区分度准则在衡量特征的类间辨别能力大小时， 没有考虑特征之间的相关性对于单个特征辨别能力大小影响的缺憾， 以及 Ｈ ａ ｌ ｌ提出的 Ｃ Ｆ Ｓ特征子集评价准则对于特征之间相关性考虑不足和不适于连续性数值的缺陷． 在此基础上， 以 Ｄ Ｆ Ｓ准则作为特征选择依据， 提出基于不同特征搜索策略与 Ｓ ＶＭ 的 ４ 种混合特征选择算法．Ｕ Ｃ Ｉ机器学习数据库的 １ ０ 个经典数据集的５折交叉验证实验表明： 提出的 Ｄ Ｆ Ｓ特征子集区分度评价准则是一种有效的特征子集辨识能力衡量准则， 基于该准则与 Ｓ ＶＭ 的混合特征选择算法选择的特征子集具有很好的分类效果， 其泛化性能优于分别基于Ｃ Ｆ Ｓ和Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ特征子集评价准则的特征选择算法， 达到了保持数据集辨识能力情况下进行维数压缩的目的， 特别是对较高维数据集， Ｄ Ｆ Ｓ特征子集评价准则特别有效． 实验结果同时显示： 我们改进的 Ｃ Ｆ Ｓ Ｐ ａ ｂ ｓ特征子集评价准则 优 于 Ｃ Ｆ Ｓ准则 ．本文实验还揭示， 提出的 Ｄ Ｆ Ｓ特征子集区分度衡量准则选择出了分类红斑鳞状皮肤病等疾病的有效特征子集， 实现了对相应疾病的诊断．另外， 伴着计算机网络带来的文本大数据， 以及医疗诊断大数据和社会大数据， 还有随着分子生物技术发展产生的癌症基因大数据， 特征选择是对这些大数据进行分类分析的首要和关键步骤． 本文提出的特征选择方法及其变种将在这些蓬勃兴起的大数据领域发挥重要作用 ． 继本文之后， 我们已经开展了关于癌症基因数据集的特征选择方法研究， 并取得了很好的实验结果．

    参 考 文 献［ １ ］ Ｇ ｕ ｙ ｏ ｎ 　Ｉ ， Ｅ ｌ ｉ ｓ ｓ ｅ ｅ ｆ ｆ 　Ａ． Ａ ｎ 　ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｔ ｉ ｏ ｎ 　ｔ ｏ 　ｖ ａ ｒ ｉ ａ ｂ ｌ ｅ 　ａ ｎ ｄ 　ｆ ｅ ａ ｔ ｕ ｒ ｅｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ． Ｔ ｈ ｅ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ， ２ ０ ０ ３ ，３ ： １ １ ５ ７ － １ １ ８ ２［ ２ ］ Ｇ ｕ ｙ ｏ ｎ 　Ｉ ， Ｗ ｅ ｓ ｔ ｏ ｎ 　Ｊ ， Ｂ ａ ｒ ｎ ｈ ｉ ｌ ｌ 　Ｓ ， ｅ ｔ 　ａ ｌ ．Ｇ ｅ ｎ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｆ ｏ ｒｃ ａ ｎ ｃ ｅ ｒ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇ 　 ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ．Ｍ ａ ｃ ｈ ｉ ｎ ｅＬ ｅ ａ ｒ ｎ ｉ ｎ ｇ ， ２ ０ ０ ２ ， ４ ６ （ １ － ３ ） ： ３ ８ ９ － ４ ２ ２［ ３ ］ Ｒ ａ ｋ ｏ ｔ ｏ ｍ ａ ｍ ｏ ｎ ｊ ｙ 　 Ａ． Ｖ ａ ｒ ｉ ａ ｂ ｌ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇ 　 ｓ ｖ ｍ 　ｂ ａ ｓ ｅ ｄ 　ｃ ｒ ｉ ｔ ｅ ｒ ｉ ａ ．Ｔ ｈ ｅ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ， ２ ０ ０ ３ ， ３ ： １ ３ ５ ７ －１ ３ ７ ０［ ４ ］ Ｄ ｕ ａ ｎ 　Ｋ 　Ｂ ， Ｒ ａ ｊ ａ ｐ ａ ｋ ｓ ｅ 　Ｊ 　Ｃ ， Ｗ ａ ｎ ｇ 　 Ｈ ， ｅ ｔ 　ａ ｌ ．Ｍ ｕ ｌ ｔ ｉ ｐ ｌ ｅ 　Ｓ ＶＭ －Ｒ Ｆ Ｅ 　ｆ ｏ ｒ 　ｇ ｅ ｎ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｉ ｎ 　ｃ ａ ｎ ｃ ｅ ｒ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｗ ｉ ｔ ｈ 　ｅ ｘ ｐ ｒ ｅ ｓ ｓ ｉ ｏ ｎｄ ａ ｔ ａ ． Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ 　ｏ ｎ 　Ｎ ａ ｎ ｏ Ｂ ｉ ｏ ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， ２ ０ ０ ５ ， ４ （ ３ ） ：２ ２ ８ － ２ ３ ４［ ５ ］ Ｘ ｉ ａ 　Ｈ ， Ｈ ｕ 　Ｂ 　Ｑ． Ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇ 　 ｆ ｕ ｚ ｚ ｙ 　 ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ． Ｆ ｕ ｚ ｚ ｙ 　 Ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ 　ａ ｎ ｄ 　Ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ 　Ｍ ａ ｋ ｉ ｎ ｇ ， ２ ０ ０ ６ ，５ （ ２ ） ： １ ８ ７ － １ ９ ２［ ６ ］ Ｚ ｈ ｏ ｕ 　Ｘ ， Ｔ ｕ ｃ ｋ 　Ｄ 　Ｐ．Ｍ Ｓ ＶＭ － Ｒ Ｆ Ｅ ： Ｅ ｘ ｔ ｅ ｎ ｓ ｉ ｏ ｎ ｓ 　ｏ ｆ 　Ｓ ＶＭ － Ｒ Ｆ Ｅｆ ｏ ｒ 　ｍ ｕ ｌ ｔ ｉ ｃ ｌ ａ ｓ ｓ 　ｇ ｅ ｎ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｏ ｎ 　Ｄ ＮＡ　ｍ ｉ ｃ ｒ ｏ ａ ｒ ｒ ａ ｙ 　 ｄ ａ ｔ ａ ．Ｂ ｉ ｏ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｃ ｓ ， ２ ０ ０ ７ ， ２ ３ （ ９ ） ： １ １ ０ ６ － １ １ １ ４［ ７ ］ Ｍ ａ ｌ ｄ ｏ ｎ ａ ｄ ｏ 　Ｓ ， Ｗ ｅ ｂ ｅ ｒ 　Ｒ． Ａ　ｗ ｒ ａ ｐ ｐ ｅ ｒ 　ｍ ｅ ｔ ｈ ｏ ｄ 　ｆ ｏ ｒ 　ｆ ｅ ａ ｔ ｕ ｒ ｅｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇ 　 ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ． Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＳ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， ２ ０ ０ ９ ， １ ７ ９ （ １ ３ ） ： ２ ２ ０ ８ － ２ ２ １ ７［ ８ ］ Ｓ ｏ ｍ ｏ ｌ 　Ｐ ， Ｎ ｏ ｖ ｏ ｖ ｉ ｃ ｏ ｖ ａ 　Ｊ ．Ｅ ｖ ａ ｌ ｕ ａ ｔ ｉ ｎ ｇ 　 ｓ ｔ ａ ｂ ｉ ｌ ｉ ｔ ｙ 　 ａ ｎ ｄ 　ｃ ｏ ｍ ｐ ａ ｒ ｉ ｎ ｇｏ ｕ ｔ ｐ ｕ ｔ 　ｏ ｆ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｏ ｒ ｓ 　ｔ ｈ ａ ｔ 　ｏ ｐ ｔ ｉ ｍ ｉ ｚ ｅ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｕ ｂ ｓ ｅ ｔｃ ａ ｒ ｄ ｉ ｎ ａ ｌ ｉ ｔ ｙ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ 　ｏ ｎ 　Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ 　ａ ｎ ｄＭ ａ ｃ ｈ ｉ ｎ ｅ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， ２ ０ １ ０ ， ３ ２ （ １ １ ） ： １ ９ ２ １ － １ ９ ３ ９［ ９ ］ Ｔ ａ ｐ ｉ ａ 　Ｅ ， Ｂ ｕ ｌ ａ ｃ ｉ ｏ 　Ｐ ， Ａ ｎ ｇ ｅ ｌ ｏ ｎ ｅ 　Ｌ．Ｓ ｐ ａ ｒ ｓ ｅ 　ａ ｎ ｄ 　ｓ ｔ ａ ｂ ｌ ｅ 　ｇ ｅ ｎ ｅｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｗ ｉ ｔ ｈ 　ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ 　Ｓ ＶＭ － Ｒ Ｆ Ｅ．Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎＬ ｅ ｔ ｔ ｅ ｒ ｓ ， ２ ０ １ ２ ， ３ ３ （ ２ ） ： １ ６ ４ － １ ７ ２［ １ ０ ］ Ｍ ａ ｏ 　Ｙ ｏ ｎ ｇ ， Ｚ ｈ ｏ ｕ 　Ｘ ｉ ａ ｏ － Ｂ ｏ ， Ｘ ｉ ａ 　Ｚ ｈ ｅ ｎ ｇ ， ｅ ｔ 　ａ ｌ ．Ａ 　ｓ ｕ ｒ ｖ ｅ ｙ 　 ｆ ｏ ｒｓ ｔ ｕ ｄ ｙ 　 ｏ ｆ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ．Ｃ ｈ ｉ ｎ ｅ ｓ ｅ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆＰ ａ ｔ ｔ ｅ ｒ ｎ 　Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ 　ａ ｎ ｄ 　Ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， ２ ０ ０ ７ ， ２ ０ （ ２ ） ：２ １ １ － ２ １ ８ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 毛勇，周晓波，夏铮等 ． 特征选择算法研究综述 ． 模式识别与人工智能， ２ ０ ０ ７ ， ２ ０ （２ ） ： ２ １ １ － ２ １ ８ ）［ １ １ ］ Ｗｈ ｉ ｔ ｎ ｅ ｙ 　 Ａ　Ｗ．Ａ 　ｄ ｉ ｒ ｅ ｃ ｔ 　ｍ ｅ ｔ ｈ ｏ ｄ 　ｏ ｆ 　ｎ ｏ ｎ ｐ ａ ｒ ａ ｍ ｅ ｔ ｒ ｉ ｃ 　ｍ ｅ ａ ｓ ｕ ｒ ｅ －ｍ ｅ ｎ ｔ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ 　ｏ ｎ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｓ ， １ ９ ７ １ ，１ ０ ０ （ ９ ） ： １ １ ０ ０ － １ １ ０ ３［ １ ２ ］ Ｍ ａ ｒ ｉ ｌ ｌ 　Ｔ ， Ｇ ｒ ｅ ｅ ｎ 　Ｄ　Ｍ．Ｏ ｎ 　ｔ ｈ ｅ 　ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｎ ｅ ｓ ｓ 　ｏ ｆ 　ｒ ｅ ｃ ｅ ｐ ｔ ｏ ｒ ｓ 　ｉ ｎｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ 　ｓ ｙ ｓ ｔ ｅ ｍ ｓ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ 　ｏ ｎ 　Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＴ ｈ ｅ ｏ ｒ ｙ ， １ ９ ６ ３ ， ９ （ １ ） ： １ １ － １ ７［ １ ３ ］ Ｐ ｕ ｄ ｉ ｌ 　Ｐ ， Ｎ ｏ ｖ ｏ ｖ ｉ ˇｃ ｏ ｖ Ｊ ， Ｋ ｉ ｔ ｔ ｌ ｅ ｒ 　Ｊ ． Ｆ ｌ ｏ ａ ｔ ｉ ｎ ｇ 　 ｓ ｅ ａ ｒ ｃ ｈ 　ｍ ｅ ｔ ｈ ｏ ｄ ｓ 　ｉ ｎｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ ． Ｐ ａ ｔ ｔ ｅ ｒ ｎ 　Ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ 　Ｌ ｅ ｔ ｔ ｅ ｒ ｓ ， １ ９ ９ ４ ， １ ５ （ １ １ ） ：１ １ １ ９ － １ １ ２ ５［ １ ４ ］ Ｂ ｌ ｕ ｍ　Ａ 　Ｌ ， Ｌ ａ ｎ ｇ ｌ ｅ ｙ 　 Ｐ．Ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｏ ｆ 　ｒ ｅ ｌ ｅ ｖ ａ ｎ ｔ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ 　ａ ｎ ｄｅ ｘ ａ ｍ ｐ ｌ ｅ ｓ 　ｉ ｎ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ．Ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， １ ９ ９ ７ ，９ ７ （ １ ） ： ２ ４ ５ － ２ ７ １［ １ ５ ］ Ｋ ｏ ｈ ａ ｖ ｉ 　Ｒ ， Ｊ ｏ ｈ ｎ 　Ｇ　Ｈ．Ｗ ｒ ａ ｐ ｐ ｅ ｒ ｓ 　ｆ ｏ ｒ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｕ ｂ ｓ ｅ ｔ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ．Ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， １ ９ ９ ７ ， ９ ７ （ １ ） ： ２ ７ ３ － ３ ２ ４［ １ ６ ］ Ｌ ａ ｌ 　Ｔ　Ｎ ， Ｃ ｈ ａ ｐ ｅ ｌ ｌ ｅ 　Ｏ ， Ｗ ｅ ｓ ｔ ｏ ｎ 　Ｊ ， ｅ ｔ 　ａ ｌ ． Ｅ ｍ ｂ ｅ ｄ ｄ ｅ ｄ 　ｍ ｅ ｔ ｈ ｏ ｄ ｓ ／ ／Ｇ ｕ ｙ ｏ ｎ 　Ｉ ， Ｎ ｉ ｋ ｒ ａ ｖ ｅ ｓ ｈ 　Ｍ ， Ｇ ｕ ｎ ｎ 　Ｓ ， Ｚ ａ ｄ ｅ ｈ 　Ｌ 　Ａ 　ｅ ｄ ｓ ．Ｆ ｅ ａ ｔ ｕ ｒ ｅｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ． Ｂ ｅ ｒ ｌ ｉ ｎ 　Ｈ ｅ ｉ ｄ ｅ ｌ ｂ ｅ ｒ ｇ ： Ｓ ｐ ｒ ｉ ｎ ｇ ｅ ｒ － Ｖ ｅ ｒ ｌ ａ ｇ ， ２ ０ ０ ６ ： １ ３ ７ －１ ６ ５［ １ ７ ］ Ｕ ｎ ｃ ｕ ， Ｔ ü ｒ ｋ 爧 ｅ ｎ 　Ｉ 　Ｂ．Ａ 　ｎ ｏ ｖ ｅ ｌ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ａ ｐ ｐ ｒ ｏ ａ ｃ ｈ ：Ｃ ｏ ｍ ｂ ｉ ｎ ｉ ｎ ｇ 　 ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｗ ｒ ａ ｐ ｐ ｅ ｒ ｓ 　ａ ｎ ｄ 　ｆ ｉ ｌ ｔ ｅ ｒ ｓ ． Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＳ ｃ ｉ ｅ ｎ ｃ ｅ ｓ ， ２ ０ ０ ７ ， １ ７ ７ （ ２ ） ： ４ ４ ９ － ４ ６ ６［ １ ８ ］ Ｈ ｕ 　Ｑ ， Ｐ ｅ ｄ ｒ ｙ ｃ ｚ 　Ｗ ， Ｙ ｕ 　Ｄ ， ｅ ｔ 　ａ ｌ ．Ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｎ ｇ 　 ｄ ｉ ｓ ｃ ｒ ｅ ｔ ｅ 　ａ ｎ ｄｃ ｏ ｎ ｔ ｉ ｎ ｕ ｏ ｕ ｓ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ 　ｂ ａ ｓ ｅ ｄ 　ｏ ｎ 　ｎ ｅ ｉ ｇ ｈ ｂ ｏ ｒ ｈ ｏ ｏ ｄ 　ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ 　ｅ ｒ ｒ ｏ ｒｍ ｉ ｎ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ 　ｏ ｎ 　Ｓ ｙ ｓ ｔ ｅ ｍ ｓ ， Ｍ ａ ｎ ， ａ ｎ ｄＣ ｙ ｂ ｅ ｒ ｎ ｅ ｔ ｉ ｃ ｓ ， Ｐ ａ ｒ ｔ 　Ｂ ： Ｃ ｙ ｂ ｅ ｒ ｎ ｅ ｔ ｉ ｃ ｓ ， ２ ０ １ ０ ， ４ ０ （ １ ） ： １ ３ ７ － １ ５ ０［ １ ９ ］ Ｘ ｉ ｅ 　Ｊ ， Ｗ ａ ｎ ｇ 　 Ｃ．Ｕ ｓ ｉ ｎ ｇ 　 ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ 　ｗ ｉ ｔ ｈ 　ａ 　ｎ ｏ ｖ ｅ ｌｈ ｙ ｂ ｒ ｉ ｄ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｍ ｅ ｔ ｈ ｏ ｄ 　ｆ ｏ ｒ 　ｄ ｉ ａ ｇ ｎ ｏ ｓ ｉ ｓ 　ｏ ｆ 　ｅ ｒ ｙ ｔ ｈ ｅ ｍ ａ ｔ ｏ －ｓ ｑ ｕ ａ ｍ ｏ ｕ ｓ 　ｄ ｉ ｓ ｅ ａ ｓ ｅ ｓ ． Ｅ ｘ ｐ ｅ ｒ ｔ 　Ｓ ｙ ｓ ｔ ｅ ｍ ｓ 　ｗ ｉ ｔ ｈ 　Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ，２ ０ １ １ ， ３ ８ （ ５ ） ： ５ ８ ０ ９ － ５ ８ １ ５［ ２ ０ ］ Ｈ ａ ｌ ｌ 　Ｍ　Ａ．Ｃ ｏ ｒ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ － ｂ ａ ｓ ｅ ｄ 　ｆ ｅ ａ ｔ ｕ ｒ ｅ 　ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ 　ｆ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ［ Ｐ ｈ． Ｄ． ｄ ｉ ｓ ｓ ｅ ｒ ｔ ａ ｔ ｉ ｏ ｎ ］ ．Ｔ ｈ ｅ 　Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ 　Ｗ ａ ｉ ｋ ａ ｔ ｏ ，Ｈ ａ ｍ ｉ ｌ ｔ ｏ ｎ ， Ｎ ｅ ｗ 　Ｚ ｅ ａ ｌ ａ ｎ ｄ ， １ ９ ９ ９［ ２ １ ］ Ｆ ｒ ａ ｎ ｋ 　Ａ ， Ａ ｓ ｕ ｎ ｃ ｉ ｏ ｎ 　Ａ．Ｕ Ｃ Ｉ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ｒ ｅ ｐ ｏ ｓ ｉ ｔ ｏ ｒ ｙ［ Ｅ Ｂ ／ Ｏ Ｌ ］ ． ｈ ｔ ｔ ｐ ： ／ ／ ｗｗｗ． ｉ ｃ ｓ ． ｕ ｃ ｉ ． ｅ ｄ ｕ ／ ～ｍ ｌ ｅ ａ ｒ ｎ ／ ＭＬ Ｒ ｅ ｐ ｏ ｓ ｉ －ｔ ｏ ｒ ｙ ． ｈ ｔ ｍ ｌ ． Ｉ ｒ ｖ ｉ ｎ ｅ ， Ｃ Ａ ： Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ 　 ｏ ｆ 　Ｃ ａ ｌ ｉ ｆ ｏ ｒ ｎ ｉ ａ ， Ｓ ｃ ｈ ｏ ｏ ｌ 　ｏ ｆＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ 　ａ ｎ ｄ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， ２ ０ １ ０［ ２ ２ ］ Ｃ ｈ ａ ｎ ｇ 　 Ｃ 　Ｃ ， Ｌ ｉ ｎ 　Ｃ 　Ｊ ． Ｌ Ｉ Ｂ Ｓ ＶＭ ： Ａ 　ｌ ｉ ｂ ｒ ａ ｒ ｙ 　 ｆ ｏ ｒ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ．Ａ ＣＭ　Ｔ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ 　ｏ ｎ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ 　Ｓ ｙ ｓ ｔ ｅ ｍ ｓ 　ａ ｎ ｄＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ （ Ｔ Ｉ Ｓ Ｔ ） ， ２ ０ １ １ ， ２ （ ３ ） ： １ － ２ ７［ ２ ３ ］ Ｈ ｓ ｕ 　Ｃ　Ｗ ， Ｃ ｈ ａ ｎ ｇ 　 Ｃ 　Ｃ ， Ｌ ｉ ｎ 　Ｃ 　Ｊ ． Ａ 　ｐ ｒ ａ ｃ ｔ ｉ ｃ ａ ｌ 　ｇ ｕ ｉ ｄ ｅ 　ｔ ｏ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔｖ ｅ ｃ ｔ ｏ ｒ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ． Ｄ ｅ ｐ ａ ｒ ｔ ｍ ｅ ｎ ｔ 　ｏ ｆ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ，Ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ 　Ｔ ａ ｉ ｗ ａ ｎ 　Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｔ ｅ ｃ ｈ ｎ ｉ ｃ ａ ｌ 　Ｒ ｅ ｐ ｏ ｒ ｔ ． Ｔ ａ ｉ ｐ ｅ ｉ ，Ｃ ｈ ｉ ｎ ａ ， ２ ０ ０ ３