第４５ 卷 第９ 期计 算机 学 报Ｖｏｌ ． ４５Ｎｏ． ９２０２２年９月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＳｅｐｔ ． ２０２２基于稀疏系数矩阵重构的多标记特征选择李永豪 胡 亮 高万夫（ 吉林大学计算机科学与技术学院 长春 １ ３００１ ２）（ 吉林大学符号计算与知识工程教育部重点实验室 长春 １ ３００１ ２）摘 要 处理复杂的多标记数据对于特征选择而言是一项挑战性任务． 然而， 现存的多标记特征选择方法存在三个问题未解决． 首先， 现有的多标记特征选择方法利用样例层流形正则化项保持样例的相似性结构或借助标签关联来指导特征选择， 但两者对于特征选择的指导存在互补关系． 其次， 早期方法基于样例相似性所构造的近邻矩阵来探索标签关联， 却忽略了成对标签本身的关联性． 最后， 早期方法整合多个未知变量， 导致目标函数的求解变得困难． 为解决上述问题， 本文基于最小二乘回归模型构建经验损失函数， 然后在目标函数中引人标签正则化项探索标签之间的关联， 同时利用特征矩阵与重构稀疏系数矩阵的乘积表示预测标签并保留数据本身的局部几何结构．上述各项被整合在一个联合学习框架内． 针对该学习框架，一套证明可收敛的优化方案被设计． 在１ ３ 个真实的多标记基准数据集上进行实验， 实验结果验证了所提方法的有效性．关键词 特征选择； 多标记学习； 流形学习； 稀疏化学习； 分类中图法分类号ＴＰ１８ＤＯｌ号１０． １ １８９ ７／ＳＰ． Ｊ． １０１６． ２０２２． ０１８２７Ｍｕｌｔｉ－ＬａｂｅｌＦｅａｔｕｒｅＳｅｌｅｃｔｉｏｎＢａｓｅｄｏｎＳｐａｒｓｅＣｏｅｆｆｉｃｉｅｎｔＭａｔｒｉｘＲｅｃｏｎｓｔｒｕｃｔｉｏｎＬＩＹｏｎｇＨａｏＨＵＬｉ ａｎｇＧＡＯＷａｎＦｕ１ ）（ Ｃｏｌ ｌ ｅｇｅｏｆＣｏｍｐｕｔ ｅ ｒＳｃ ｉ ｅｎｃ ｅａｎｄＴｅ ｃｈｎｏｌ ｏｇｙ？ Ｊｉ ｌ ｉｎＵｎｉ ｖｅｒｓｉ ｔｙ， Ｃｈａｎｇｃｈｕｎ１ ３００１ ２）２）（ ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＳｙｍｂｏｌｉｃＣｏｍｐｕｉａｉｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＥｎｇｉｎｅｅｒｉｎｇ？ ＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ？ Ｊｉ ｌｉｎＵｎｉｖｅｒｓｉｔｙ？ Ｃｈａｎｇｃｈｕｎ１ ３００１ ２）ＡｂｓｔｒａｃｔＤｅａｌ ｉ ｎｇｗｉ ｔｈｃｏｍｐｌ ｉ ｃａｔｅｄｍｕｌ ｔｉ ｌ ａｂｅｌｄａｔａｉ ｓａｃｈａｌ ｌ ｅｎｇｉ ｎｇｔａｓｋｆｏｒｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｉ ｎｐｒａｃｔｉ ｃａｌａｐｐｌ ｉ ｃａｔｉ ｏｎｓ． Ｈｏｗｅｖｅｒ， ｔｈｅｒｅｅｘｉ ｓｔｔｈｒｅｅｕｎｓｏｌ ｖｅｄｉ ｓｓｕｅｓｉ ｎｔｈｅｅｘｉ ｓｔｉ ｎｇｍｕｌ ｔｉ ｌ ａｂｅｌｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｍｅｔｈｏｄｓ． Ｆｉ ｒｓｔ ，ｐｒｅｖｉ ｏｕｓｍｕｌ ｔｉ ｌ ａｂｅｌｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｍｅｔｈｏｄｓｅｉ ｔｈｅｒｅｍｐｌ ｏｙｉ ｎｓｔａｎｃｅ ｌ ｅｖｅｌｍａｎｉ ｆｏｌ ｄｒｅｇｕｌ ａｒｉ ｚａｔｉ ｏｎｔｅｒｍｓｔｏｍａｉ ｎｔａｉ ｎｔｈｅｉ ｎｓｔａｎｃｅｓｉ ｍｉ ｌ ａｒｉ ｔｙｏｒｅｘｐｌ ｏｉ ｔｔｈｅｃｏｒｒｅｌ ａｔｉ ｏｎｓａｍｏｎｇｌ ａｂｅｌ ｓｔｏｇｕｉ ｄｅｆｅａｔｕｒｅｓｅｌ ｅｃｔｉｏｎｐｒｏｃｅｓｓ， ｈｏｗｅｖｅｒ， ｂｏｔｈｔｗｏａｒｅｃｏｍｐｌ ｅｍｅｎｔａｒｙｔｏｅａｃｈｏｔｈｅｒｉ ｎｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｐｒｏｃｅｓｓ． Ｓｅｃｏｎｄ， ｅｘｉ ｓｔｉ ｎｇｍｅｔｈｏｄｓｅｘｐｌ ｏｒｅｌ ａｂｅｌｃｏｒｒｅｌ ａｔｉ ｏｎｓｂａｓｅｄｏｎｔｈｅａｆｆｉ ｎｉ ｔｙｍａｔｒｉ ｘｏｆｉ ｎｓｔａｎｃｅｓｉ ｍｉ ｌ ａｒｉ ｔｙ， ｉｇｎｏｒｉ ｎｇｔｈｅｐａｉ ｒｗｉ ｓｅｌ ａｂｅｌｃｏｒｒｅｌ ａｔｉ ｏｎｓ．Ｔｈｉ ｒｄ， ｐｒｅｖｉ ｏｕｓｍｅｔｈｏｄｓｉ ｎｖｏｌ ｖｅｓｅｖｅｒａｌｕｎｋｎｏｗｎｖａｒｉ ａｂｌ ｅｓ， ｗｈｉ ｃｈｍａｋｅｓｔｈｅｓｏｌ ｕｔｉ ｏｎｏｆｔｈｅｏｂｊｅｃｔｉ ｖｅｆｕｎｃｔｉ ｏｎｄｉ ｆｆｉ ｃｕｌ ｔ． Ｔｏｔａｃｋｌ ｅｔｈｅｉ ｓｓｕｅｓｍｅｎｔｉ ｏｎｅｄａｂｏｖｅ， ａｎｅｍｐｉ ｒｉ ｃａｌｌ ｏｓｓｆｕｎｃｔｉ ｏｎｍｏｄｅｌｉ ｓｃｏｎｓｔｒｕｃｔｅｄｂａｓｅｄｏｎｔｈｅｌ ｅａｓｔｓｑｕａｒｅｒｅｇｒｅｓｓｉ ｏｎｍｏｄｅｌ ． Ａｎｄｔｈｅｎ， ｗｅｉ ｎｔｒｏｄｕｃｅｔｈｅｌ ａｂｅｌｒｅｇｕｌ ａｒｉ ｚａｔｉ ｏｎｔｅｒｍｔｏｅｘｐｌ ｏｉ ｔｌ ａｂｅｌｃｏｒｒｅｌ ａｔｉ ｏｎｓ， ｍｅａｎｗｈｉ ｌ ｅｅｍｐｌ ｏｙｉ ｎｇｔｈｅｐｒｏｄｕｃｔｏｆｆｅａｔｕｒｅｍａｔｒｉ ｘａｎｄｗｅｉｇｈｔｃｏｅｆｆｉ ｃｉ ｅｎｔｍａｔｒｉ ｘｔｏｒｅｐｒｅｓｅｎｔｐｒｅｄｉ ｃｔｅｄｌ ａｂｅｌ ｓｓｏｔｈａｔｔｈｅｌ ｏｃａｌｇｅｏｍｅｔｒｉ ｃｓｔｒｕｃｔｕｒｅｏｆｄａｔａｓｅｔｉ ｓｓｔｏｒｅｄ． Ｆｉ ｎａｌ ｌｙ， ｗｅｉ ｎｔｅｇｒａｔｅｔｈｅｔｅｒｍｓｍｅｎｔｉ ｏｎｅｄａｂｏｖｅｉ ｎｔｏｏｎｅｊｏｉ ｎｔｌ ｅａｒｎｉ ｎｇｆｒａｍｅｗｏｒｋ． Ａｎｅｆｆｅｃｔｉ ｖｅｏｐｔｉ ｍｉ ｚａｔｉ ｏｎｍｅｔｈｏｄｗｉ ｔｈｐｒｏｖａｂｌ ｅｃｏｎｖｅｒｇｅｎｃｅｉ ｓｄｅｓｉｇｎｅｄｔｏｓｏｌ ｖｅｏｕｒｐｒｏｐｏｓｅｄｍｅｔｈｏｄ． Ｉｎｓｕｍｍａｒｙ， ｔｈｅｎｏｖｅｌ ｔｉ ｅｓａｎｄｍａｉ ｎｃｏｎｔｒｉ ｂｕｔｉ ｏｎｓｏｆｔｈｉ ｓｐａｐｅｒｃａｎ收稿日期： 加２１ ０５ ０５； 在线发布日 期： ２０２２ ０１ ２４． 本课题得到国家重点研发专项（ ２０１ ７ＹＦＡ０６０４５００ ） 、 吉林省重点科技研发项目（２０１ ８０２０１ １ ０３ＧＸ） 、 吉林省科技厅联合基金项目（２０２０１ ２２２０９ＪＣ） 资助． 李永豪， 博士研究生， 主要研究方向为多标记特征选择． Ｅｍａｉ ｌ：ｙｏｎｇｈａｏｌ ７＠ｍａｉ ｌ ｓ ．ｊｋｕ ｅｄｕ． ｃｎ． 胡 亮， 博士， 教授， 主要研究领域为机器学习、 信息安全等． 高万夫（ 通信作者） ， 博士， 副教授， 主要研究方向为特征选择、 多标记学习、 信息论、 因果关系． Ｅｍａｉ ｌ： ｇａｏｗ丨 ＠ｊｌ ｕ． ｅｄｕ． ｃｎ．１８２８ 计 算机 学 报 ２０２２年ｂｅｓｕｍｍａｒｉ ｚｅｄａｓｆｏｌ ｌ ｏｗｓ： ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｕｓｅｓｔｈｅｉ ｎｓｔａｎｃｅ ｌ ｅｖｅｌｍａｎｉ ｆｏｌ ｄｒｅｇｕｌ ａｒｉ ｚａｔｉ ｏｎｔｅｒｍｔｏｍａｉ ｎｔａｉ ｎｔｈｅｉ ｎｓｔａｎｃｅｓｉ ｍｉ ｌ ａｒｉ ｔｙ． Ａｔｔｈｅｓａｍｅｔｉ ｍｅ， ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉ ｎｔｒｏｄｕｃｅｓｌ ａｂｅｌ ｌ ｅｖｅｌｍａｎｉ ｆｏｌ ｄｒｅｇｕｌ ａｒｉ ｚａｔｉ ｏｎｔｅｒｍｔｏｅｘｐｌ ｏｉ ｔｔｈｅｌ ａｂｅｌｃｏｒｒｅｌ ａｔｉ ｏｎｓ． Ｍｏｒｅｏｖｅｒ， ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｓｔｏｒｅｔｈｅｇｅｏｍｅｔｒｉ ｃｓｔｒｕｃｔｕｒｅｏｆｌ ａｂｅｌ ｓｉ ｎｔｈｅｗｅｉｇｈｔｃｏｅｆｆｉ ｃｉ ｅｎｔｍａｔｒｉ ｘａｎｄｅｍｐｌ ｏｙｔｈｅｗｅｉｇｈｔｃｏｅｆｆｉ ｃｉ ｅｎｔｍａｔｒｉ ｘｔｏｇｕｉ ｄｅｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｐｒｏｃｅｓｓ， ｂｅｃａｕｓｅｔｈｅｓｐａｒｓｅｃｏｅｆｆｉ ｃｉ ｅｎｔｍａｔｒｉ ｘｃａｎｍａｉ ｎｔａｉ ｎｔｈｅｇｅｏｍｅｔｒｉ ｃｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｄａｔａｓｐａｃｅａｎｄｌ ａｂｅｌｓｐａｃｅ， ａｓｗｅｌ ｌａｓｔｈｅｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｌ ａｂｅｌ ｓ， ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｏｂｔａｉ ｎｓｕｐｅｒｉ ｏｒｃｌ ａｓｓｉ ｆｉ ｃａｔｉ ｏｎａｂｉ ｌ ｉ ｔｙｏｎｔｈｅｔｅｓｔｄａｔａｓｅｔｂｙｕｓｉ ｎｇｔｈｅｓｐａｒｓｅｃｏｅｆｆｉ ｃｉ ｅｎｔｍａｔｒｉ ｘｔｈａｔｉ ｓｌ ｅａｒｎｅｄｂｙｔｈｅｔｒａｉ ｎｉ ｎｇｐｒｏｃｅｓｓ．Ｆｕｒｔｈｅｒｍｏｒｅ， ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉ ｎｔｒｏｄｕｃｅｓｔｈｅＬ２ ，ｉｎｏｒｍｔｈａｔｉ ｎｔｅｇｒａｔｅｓｔｈｅａｄｖａｎｔａｇｅｓｏｆＬｉｎｏｒｍａｎｄＬ２ｎｏｒｍｔｏｓｅｌ ｅｃｔｉ ｍｐｏｒｔａｎｔｆｅａｔｕｒｅｓｉ ｎｅａｃｈｉ ｔｅｒａｔｉ ｏｎ． Ｆｉ ｎａｌ ｌｙ， ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉ ｎｔｅｇｒａｔｅｓａｌ ｌｔｈｅａｂｏｖｅｔｅｒｍｓｉ ｎｔｏｏｎｅｊｏｉ ｎｔｌ ｅａｒｎｉ ｎｇｆｒａｍｅｗｏｒｋａｎｄｄｅｖｅｌ ｏｐｓａｍｅｔｈｏｄｔｏｓｏｌ ｖｅｔｈｅｃｏｎｓｔｒａｉ ｎｅｄｐｒｏｂｌ ｅｍ，ｉ ． ｅ．， ｒｅｇｕｌ ａｔｉ ｎｇｒｅｇｒｅｓｓｉ ｏｎｃｏｅｆｆｉ ｃｉ ｅｎｔｍａｔｒｉ ｘｂａｓｅｄｏｎｉ ｎｓｔａｎｃｅ ｓｉ ｍｉ ｌ ａｒｉ ｔｙａｎｄｌ ａｂｅｌ ｓｉ ｍｉ ｌ ａｒｉ ｔｙｆｏｒｍｕｌ ｔｉ ｌ ａｂｅｌｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｔｈａｔｉ ｓｎａｍｅｄａｓＲＭＬＦＳ， ｗｈｉ ｌ ｅａｎｏｐｔｉ ｍａｌｓｃｈｅｍｅｉ ｓｄｅｓｉｇｎｅｄ． Ｉｎａｄｄｉ ｔｉ ｏｎ， ｗｅｃａｎｏｂｔａｉｎａｇｌ ｏｂａｌ ｌｙｏｐｔｉｍａｌｓｏｌ ｕｔｉ ｏｎｂｙｔｈｉ ｓｌ ｅａｒｎｉｎｇｆｒａｍｅｗｏｒｋｂｅｃａｕｓｅｔｈｅｏｂｊｅｃｔｉｖｅｆｕｎｃｔｉ ｏｎｏｎｌｙｉｎｃｏｒｐｏｒａｔｅｓｏｎｅｕｎｋｎｏｗｎｖａｒｉ ａｂｌ ｅｕｎｌ ｉｋｅｏｔｈｅｒｅｘｉ ｓｔｉ ｎｇｍｅｔｈｏｄｓｔｈａｔｉｎｃｏｒｐｏｒａｔｅｍｕｌ ｔｉｐｌ ｅｕｎｋｎｏｗｎｖａｒｉ ａｂｌ ｅｓｔｈａｔｌ ｅａｄｔｏｔｈｅｌ ｏｃａｌｏｐｔｉｍａｌｓｏｌ ｕｔｉ ｏｎｉ ｎｍｏｓｔｃａｓｅｓ， ａｎｄｔｈｅｏｂｊｅｃｔｉ ｖｅｆｕｎｃｔｉ ｏｎｉ ｓａｃｏｎｖｅｘｆｕｎｃｔｉ ｏｎ． Ｔｈｉ ｓｍｅｔｈｏｄｃｏｎｄｕｃｔｓｍｕｌ ｔｉｐｌ ｅｅｖａｌ ｕａｔｉｏｎｃｒｉ ｔｅｒｉａｏｎｔｈｉｒｔｅｅｎｂｅｎｃｈｍａｒｋｄａｔａｓｅｔｓｔｏｓｈｏｗｔｈｅｓｕｐｅｒｉ ｏｒｉ ｔｙｏｆｔｈｅｐｒｏｐｏｓｅｄｍｕｌ ｔｉ ｌ ａｂｅｌｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎｍｅｔｈｏｄ． Ｉｎｏｒｄｅｒｔｏｖｅｒｉ ｆｙｔｈｅｃｌ ａｓｓｉ ｆｉ ｃａｔｉ ｏｎｓｕｐｅｒｉ ｏｒｉ ｔｙｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ， ｎｕｍｅｒｏｕｓｅｘｐｅｒｉｍｅｎｔｓａｒｅｃｏｎｄｕｃｔｅｄｏｎｔｈｉ ｒｔｅｅｎｄｉｆｆｅｒｅｎｔｍｕｌ ｔｉ ｌ ａｂｅｌｄａｔａｓｅｔｓ． Ｅｉｇｈｔｃｏｍｐｅｔｉ ｔｉｖｅｍｅｔｈｏｄｓｉｎｃｌ ｕｄｉ ｎｇＭＩＦＳ， ＭＤＭＲ， ＳＣＬＳ， ＬＲＦＳ， ｍＲＭＲ， ＲＡＬＭＦＳ， ＴＲＣＦＳａｎｄＧＭＭａｒｅｃｏｍｐａｒｅｄｔｏｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ． Ｔｈｅｅｘｔｅｎｓｉ ｖｅｅｘｐｅｒｉ ｍｅｎｔａｌｒｅｓｕｌ ｔｓｓｈｏｗｔｈａｔｔｈｅｃｌ ａｓｓｉ ｆｉ ｃａｔｉ ｏｎｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｐｒｏｐｏｓｅｄＲＭＬＦＳｏｕｔｐｅｒｆｏｒｍｓｏｔｈｅｒｃｏｍｐａｒｅｄｍｅｔｈｏｄｓｉ ｎｔｈｅｓｅｅｘｐｅｒｉ ｍｅｎｔｓ．Ｋｅｙｗｏｒｄｓｆｅａｔｕｒｅｓｅｌ ｅｃｔｉ ｏｎ； ｍｕｌ ｔｉ ｌａｂｅｌｌ ｅａｒｎｉｎｇ； ｍａｎｉｆｏｌ ｄｌ ｅａｒｎｉ ｎｇ； ｓｐａｒｓｅｌ ｅａｒｎｉ ｎｇ； ｃｌ ａｓｓｉｆｉ ｃａｔｉ ｏｎｉ 引 言高维数据的复杂性给机器学习算法带来巨大的挑战， 它不仅增加了机器学习算法的计算成本， 而且导致这些模型过拟合． 特征选择技术可以约减冗余特征数目、 改善模型分类性能［１ 〃］， 因此特征选择已经变成了处理高维数据至关重要的一项技术， 并且该技术已经被广泛应用于多个领域， 例如图像和视频标注［８￣］、 文本挖掘、 蛋白质功能预测等％１ ３］．通常， 特征选择方法包括过滤式模型［６］、 包裹式模型［１ ？５］以及嵌人式模型＃１ ７］． 不同于过滤式和包裹式两类模型［１ ８］， 嵌人式模型融合特征选择和学习算法在统一框架内， 以至于嵌人式模型可以借助学习算法来进一步改善模型的性能． 鉴于此， 文章聚焦于嵌人式特征选择模型． 然而对多标记数据进行特征选择处理仍然存在一些困难， 原因在于多标记数据不仅涉及高维的特征空间， 也涉及大量相互依存的标签． 为有效处理此类多标记数据， 学者提出算法适应性策略来直接处理多标记数据， 取代直接将多标记数据转化成单标签数据再处理的方案［１ ９ ２ ２］．早期的多标记特征选择方法利用样例层正则化项来保持样例的相似性结构或借助标签关联来指导特征选择． 然而在这些多标记特征选择算法中依然存在三个问题未被解决． 第一， 尽管样例层正则化和标签之间的关联对于特征选择具有重要的指导作用， 前期的方法仅关注两者中的一种， 而两者对于特征选择的指导存在互补关系； 第二， 以往的多标记特征选择方法大多是基于样例相似性来构造近邻矩阵， 借此来探索标签关联， 却忽略了成对标签间固有的关联性； 第三， 早期多标记特征选择的目标函数包含多个未知变量， 而多个变量的存在使得要优化的目标函数易于陷人局部最优解困境．为了处理上述存在的问题， 本文在利用最小二乘回归模型的基础上最小化经验损失函数， 然后引人基于标签相似性的近邻矩阵来构造标签层正则化项， 以便于挖掘标签相关性［２ ３］． 与此同时， 利用特征矩阵与重构稀疏系数矩阵的乘积预测标签来拟合现李永豪等： 基于稀疏系数矩阵重构的多标记特征选择 １８２９ ９ 期存的标签， 并通过这两个矩阵的乘积和流形正则化项将局部几何结构存储于重构稀疏系数矩阵中． 此外， 我们也引人样例层流形正则化项保持样例相似性［２ ４］． 最后， 上述各项被整合到一个联合学习框架中， 该框架被称为可调多标记特征选择（ ＲＭＬＦＳ） ．综上， 本文的主要贡献概括如下：（１） 同时利用样例层正则化项和标签层正则化项， 借助两者的互补关系来探索样例相似性和标签之间的关联．（ ２） 将重构标签的几何结构存储于稀疏系数矩阵中， 借此来指导特征选择， 同时引人 范数在每轮迭代中选择最重要的特征．（ ３） 整合上述各项进人一个联合学习框架， 并设计了一套被证明可收敛的优化方案来优化该学习框架．（ ４） 目标函数被设计为只包含一个未知变量的凸函数， 利用该函数可以得到全局最优解， 并在１ ３个基准数据集上利用不同度量准则对目标函数进行评估来验证所提方法的优越性．本文第２ 节对相关工作和基础知识进行详细描述； 第３ 节对目标函数和优化方案的设计过程展开详细介绍； 第４ 节描述并分析对比算法在１ ３ 个真实数据集上的实验结果， 以验证提出方法在分类性能方面的优越性； 最后第５ 节对全文进行总结并指明后续的研究方向．２ 相关工作首先， 表１ 对文章采用的主要符号进行描述， 然后多标记学习、 特征选择基础知识、 代表性算法以及流形学习相关概念被总结．表１ 符号描述符号 描述Ａ 任意矩阵ａ 任意向量ａ 任意标量Ａ． Ａ的第ｆ 行Ａ．，Ａ的第 列ａ的第ｚ 行第ｊ 列元素ｎ 矩阵Ａ的行数ｍ 矩阵Ａ的列数ＡＴ矩阵Ａ的转置Ｔｒ（ Ａ） 矩阵Ａ的迹， 其中Ａ是方阵Ｉ ＩＡＩｆ指｜Ａ｜ ＵａＸ表示特征矩阵Ｙ表示标签矩阵在多标记学习中， 每一个样例包含多个不同的类标签， 同时这些类标签之间也存在不同程度的关联， 即标签之间有强相关， 也有弱相关， 甚至不相关．因此当大量多标记问题需要被处理时， 标签关联的有效探索被认为是至关重要的． 基于标签关联关系，多标记学习通常包括一阶关联、 二阶关联以及高阶关联（ 即多于两个以上的标签之间的关联） 这三种情况［２ ５］． 在第一种情况下， 标签与标签之间是相互独立的， 即标签与标签之间不存在联系， 利用这一思想的代表性算法是二元关联（ Ｂｉ ｎａｒｙＲｅｌ ｅｖａｎｃｅ， ＢＲ）［１ ９］．在第二种情况中， 代表性算法包括联合特征选择与分类（ Ｊｏｉ ｎｔＦｅａｔｕｒｅＳｅｌ ｅｃｔｉ ｏｎａｎｄＣｌ ａｓｓｉ ｆｉ ｃａｔｉ ｏｎ，ＪＦＳＣ） 和学习特定于标签的特征（ Ｌｅａｒｎｉ ｎｇＬａｂｅｌＳｐｅｃｉ ｆｉ ｃＦｅａｔｕｒｅｓ， ＬＬＳＦ）［２ ６２ ７］， 即成对标签之间的关系被考虑， 以至于多标记数据被转化成多个成对标签关联问题． 在高阶关联情况下， 代表性方法包括分类器链（ Ｃｌ ａｓｓｉ ｆｉ ｅｒＣｈａｉ ｎ， ＣＣ） 和公共与类属特征选择（ ＣｏｍｍｏｎａｎｄＬａｂｅｌ ｓｐｅｃｉ ｆｉ ｃＦｅａｔｕｒｅＳｅｌ ｅｃｔｉ ｏｎ，ＣＬＦＳ）［２ ８ ２ ９］， 即多于两个标签之间的关联被考虑？随着多标记数据的快速增长， 多标记特征选择吸引了越来越多研究人员的注意． 而且多标记数据的复杂性必然使特征选择任务比处理单标签数据任务时更复杂． 通过广泛调研相关文献［１ ８ ？３ ＂３ ３］，一种直接策略就是将多标记数据转化成多个独立的单标签数据， 然后利用单标签特征选择算法来处理这些被转化的单标签数据． 经典代表性算法如最小冗余最大相关（ ｍｉ ｎｉ ｍａｌＲｅｄｕｎｄａｎｃｙＭａｘｉ ｍａｌＲｅｌ ｅｖａｎｃｅ，ｍＲＭＲ）［７］是一种基于信息理论的单标签特征选择方法， 而且ｍＲＭＲ可以从特征全集中得到最优特征子集． 其中ｍＲＭＲ目标函数如下：Ｉ（ｘｋ ）＝Ｉ（ｘｋ； ｙ）－ｐｒｒ（１）ｂｃｅｓ４和３＾ 分别表示一个候选特征和一个类标签， Ｓ 表示已经选择的特征子集， ｓ｜ 表示Ｓ 包含的特征个数，： Ｔ， 表示一个已选特征．此外研究者还提出了多种多标记特征选择方法来直接处理多标记数据， 这类方法统称算法适应性方法． 接下来， 我们回顾了几种代表性的多标记特征选择方法． 这些方法采用不同的准则， 例如基于互信息准则和基于稀疏学习准则的方法．Ｌｅｅ 和Ｋｎｎ［３ ４］提出了一种大标签集的可伸缩准贝！Ｊ 法（Ｓｃａｌ ａｂｌ ｅＣｒｉｔｅｒｉ ｏｎｆｏｒＬａｒｇｅＬａｂｅｌＳｅｔ， ＳＣＬＳ） ．ＳＣＬＳ采用可扩展的相关性评价标准来评价条件相关性， 便于进行特征选择． 另外Ｌｍ等人［３ ５］提出了一种基于最大依赖和最小冗余（ ＭａｘＤｅｐｅｎｄｅｎｃｙ１８３０ 计 算机 学 报 ２０２２年ａｎｄＭｉ ｎ Ｒｅｄｕｎｄａｎｃｙ， ＭＤＭＲ） 的方法， 即该方法同时考虑特征依赖和特征冗余．此外Ｊｉ ａｎ等人［３ ６］提出一种基于稀疏化的多标记特征选择方法， 该方法被命名为多标记信息特征选择（ ＭＩＦＳ） ． ＭＩＦＳ方法利用标签空间的低秩潜在表示的子空间来削弱无关特征对模型造成的负面影响． 而且ＭＩＦＳ通过流形正则化项来保持原始标签空间和低秩潜在表示的子空间的局部几何结构一致性． ＭＩＦＳ具有如下形式的目标函数：ｍｉ ｎ｛Ｉ厦Ｖ｜ ｜ ＾＋ 本ＶＢＧ＋Ｗ， Ｖ， Ｂ／？Ｔｒ （ＶＴＬＶ）＋ｙ｜ ｜Ｗ｜ ２ ， １｝（ ２）其中 表示特征矩阵 的特征选择矩阵， ｒｅｒ＂ ＾表示标签矩阵． ｖｅｒ＂ ｘｔ和ｂｅ分别表示潜在语义矩阵和其系数矩阵． 《，／？ 和ｙ 表示相关项的三个正则化参数， 而＆ 表示秩数． Ｃｍ等人［３ ７］也提出了一种基于稀疏学习的特征选择方法，被称为ＲＡＬＭＦＳ． ＲＡＬＭＦＳ方法认为Ｌ２ ， 。 范数比范数具有更稀疏的解集． 因此为有效地利用Ｌ２ ， 。范数， ＲＡＬＭＦＳ方法引人了增广拉格朗日乘子， 从而形成如下的函数：ｍｉ ｎｌＹ ＸＷ ｌ ＾ＵａＷ， Ｖ， Ｂｓ． ｔ．｜Ｗ｜ ｜２ ， 〇＝ａ（ ３）其中１ 表示数值全为１ 的列向量， ｆｃ 表示偏差列向量，？表示选择的特征数，Ｉ 則Ｕ。Ｉ土Ｘ｜。？ 另外，ｉ １ｊ１Ｌｍ等人［３ ８］提出了一种新的对噪声不敏感的基于迹率比准则的特征选择方法（ ＴｒａｃｅＲａｔｉ ｏＣｒｉ ｔｅｒｉ ｏｎｆｏｒＦｅａｔｕｒｅＳｅｌ ｅｃｔｉ ｏｎ， ＴＲＣＦＳ） ． ＴＲＣＦＳ方法解决迹率比准则倾向于选择方差较小的特征的问题． 同时特征选择技术被扩展到一些新的研究领域［３ ￡ ＂４ １］，例如多视图学习中， Ｚｈａｎｇ 等人［４ ２］在ＭＩＦＳ 的基础上通过自适应分配权重将多个视图的拉普拉斯矩阵融合， 从而设计多视图特征选择方法． 在类属特征学习中， Ｇｕｏ 等人［４ ３］利用标签特定的鉴别映射特性进行多标记学习． 在集成学习中， Ｇｕｏ 等人 设计的集成特征选择方法能明确地找出标签之间的相关性， 而且可以通过多标记分类器和评价指标充分利用标签关联等．另外， 近些年流形学习被广泛地研究 ， 流形正则化的目的是在保持高维数据的几何结构的同时， 将高维数据投影到一个低维的数据空间， 从而在保持高维数据的几何结构的同时有效实现维数约简． 而且样例层流形正则化项的基本思想是如果两个样例相似性越高， 那么由它们所获得的低维标签空间中相应的样例标签也应该是相似的． 该正则化项被广泛应用在各种模型学习中［４ ７４ ８］． 本文中标签层流形正则化项被引人工作方案内．３ 关键实现技术３． １ 设计方法在这一节， 我们提出了一种新的多标记特征选择方法． 首先， 我们学习从特征空间到标签空间的映射． 如下优化问题被获得：ｍｉ ｎＩＸＷ ＹＩ＾（ ４）Ｗ其中ｗｅ 表示特征矩阵ｘ的系数矩阵． 该系数矩阵ｗ可以度量矩阵ｘ中每一个特征的贡献程度．本文利用最小二乘回归模型， 通过不断迭代特征选择矩阵ｗ， 以此来最小化特征矩阵和标签矩阵之间的误差． 其次根据样例层流形的基本思想［４ ９］为利用样例层流形的几何结构来挖掘样例间的相似性． 因此， 如下形式的正则化项被构建：＾ｉ ｌＪ１＝ＹｊＳｌ（ＣＸＷＸ．（ＸＷ），． ）（ＣＸＷＸ．（ＸＷ），． ）Ｔ＝Ｔｒ（（ＸＷ）Ｔ（， ＡＸＳｘ）（ＸＷ） ）＝Ｔｔ（． ＷｔＸｔＬｘＸＷ）（５）其中 沪被称为关于特征矩阵ｘ的图拉普拉斯矩阵 表示近邻矩阵， Ａｘ表示对角矩阵． 而流形学习的成功依赖于高质量的近邻矩阵［２ ３］． 其中近邻矩阵通常可以通过如下几种方式来构建［４ ８］：通过布尔值所获得的近邻矩阵：ｓｆ｝＝＼或 ｘ． ｅ（Ａ〇＃（ｕ（ ６）Ｕ其他通过余弦距离计算两个向量之间的相似关系所获得的近邻矩阵：ｘｌｘ，．Ｉ足 ｍｕ， 若Ｘｔ．（＾（Ｍ＇）Ｐ（：Ｘｒ）或ｌ． ｅ（Ａ〇＃（ｕ１〇， 其他通过热核函数？构建一个最近邻图［５ °］， 即热核函数通过确定点与点之间的权重大小， 如果点ｚ 和点＿； 相连， 那么它们关系的权重通过如下公式获得：ＳＩ１ 〇 ， 其他（ ８）① 热核函数最早源于热力学的热传导方程， 可以概括一个点周围的几何信息， 从而起到探测模型表面几何变化的功能［４９］．李永豪等： 基于稀疏系数矩阵重构的多标记特征选择 １８３ １ ９ 期其中（ＡＯ＃（Ｘ，． ） 表示样例Ｘ，． 的ｆ 个最近邻节点．ｃ ｒ表示热核函数的一个调节参数．基于上述信息， 式（ ４） 和（５） 被整合重构为如式（ ９） ：ｍｉ ｎ｛｜ ｜ＸＷ Ｙ｜ ｜ ＾＋ａＴｒ （ＷＴＸＴＬｘＸＷ） ｝（ ９）Ｗ其中《 是一个正则化参数， 用来调控样例层流形正则化项对损失函数的贡献度． 为了从标签层角度利用标签之间的相似性关系， 我们采用如下形式的标签层正则化项：夺交ｌｘＩ ？氣咖％Ｉ ；＾ｉ １；１＝（（履） ａｗ ｖ）（（ｍａｗ．，）Ｔ＾ｉ ｌＪ１＝Ｔｒ（ （ＸＷ）（ＡＹＳＹ）（ＸＷ）Ｔ）＝Ｔｔ（ＸＷＬｙＷｔＸｔ）（１ ０）其中 浐被称为关于矩阵Ｙ的图拉普拉斯矩阵 表示近邻矩阵， Ａｙ表示对角矩阵． 因此， 如下函数被获得：ｍｉ ｎ｛ＩＸＷ Ｙ＼ ＺＦ＋ａＴｒ（ＷＴＸＴＬｘＸＷ）＋Ｗ＾Ｔｔ （ＸＷＬｙＷｔＸｔ） ｝（１ １）其中／？ 是用来控制标签层正则化项贡献度的正则化参数 可以被用来度量每一个特征的贡献度， 也就是说，Ｉ Ｉ ２ 的值越大表示第Ｚ 个特征越重要． 并且目标函数中引人 范数正则化项来保证Ｗ的行稀疏性， 由于 范数应用于Ｗ， 使得目标函数具有强鲁棒性［１ １］． 最终的目标函数被构造如下：ｍｉ ｎ｛＼ ＼ＸＷ Ｙ＼２Ｆ＋ａＴｒ（ＷＴＸＴＬｘＸＷ）＋Ｗｊ３ＴＴ （ＸＷＬＹＷＴＸＴ） ＋ｒ＼Ｗ２ ａ ｝（１ ２）其中ｙ是用来调整目标函数稀疏度的正则化参数．接下来的小节设计了一种适用于目标函数（１２） 的优化方案． 这一方案可以确保ＲＭＬＦＳ 的收敛性， 在下一小节我们具体描述了该优化方案． 提出算法借助最小二乘回归模型可以拟合特征矩阵和标签集的映射关系， 同时联合目标函数各项通过迭代更新规则来学习系数矩阵 由于Ｗ可以保持数据与标签以及标签之间的几何结构关系， 因此利用训练所学习到的稀疏系数矩阵Ｗ， 算法可以在测试数据上得到优越的分类能力， 而分类能力通过后续的实验加以验证．３． ２ 优化方案本节观察到目标函数（１ ２） 关于变量Ｗ是凸的，因此本文可以得到函数（１ ２） 的全局最优解． 另外， 由于目标函数包含Ｌ２ ａ 范数项而难于直接求解， 因此目标函数是非光滑的． 为了解决这个问题， 我们引人了一种松弛化的方法 对目标函数中的Ｌｚ ａ范数项求关于变量Ｗ的导数， 可以获得如下公式：９｜Ｗ｜ ｜２ ，ｄＷ＝２ＤＷ （１ ３）其中ＤｅＲｄ ｕ表示一个对角矩阵， 其第ＯＶ＇） 个对角元素可通过如下公式进行计算：２＼ ＼Ｗｔ．＼２ ＋ｅｅ—０ （１ ４）其中ｅ 表示一个正的极小常数． 它可以阻止非负性问题导致的负面干扰， 以至于｜Ｗ｜２ ｉ ｌ 可以被松弛化为２Ｔｒ （ＷＴｉｍ〇． 因此目标函数（１ ２） 可以被重构成如下形式：ｍｉ ｎ｛｜ＸＷ Ｙ｜ ｜ ＾＋ａＴｒ （ＷＴＸＴＬｘＸＷ）＋Ｗ［＾Ｔｒ（ＸＷＬＹＷＴＸＴ）＋２ｙＴｒ （ＷＴＤＷ） ｝（ １ ５ ）进一步， 非负约束条件（Ｗ＞０） 被整合到函数（１ ５） 中， 从而一个有效的优化方案被获得． 因此目标函数变成如下的拉格朗日函数形式：￡ （Ｗ）＝ＩＸＷ ＹＩ＾＋ ？Ｔｒ （ＷＴＸＴＬｘＸＷ）＋／？ Ｔｒ （ＸＷＬＹＷＴＸＴ ）＋ ２ ｙＴｒ （ＷＴＤＷ）Ｘｒ （ ＷＴ）（１ ６）其中平＞０ 是一个拉格朗日乘子． 为了更新Ｗ， 函数（１ ７） 关于Ｗ的导数被获得：ｒ—＝２ＸＴＸＷ ２ＸＴＹ＋ ２ａＸＴＬｘＸＷ＋ａｗ２［＾ＸＴＸＷＬＹ＋ ２ｙＤＷ＇Ｐ（１ ７）然后应用ＫＫＴ条件也＝０ 得到如下关于Ｗ的公式：（ ２ＸＴＸＷ ２ＸＴＹ＋ ２ａＸＴＬｘＸＷ＋２［＾ＸＴＸＷＬＹ＋ ２ｙＤＷ）°Ｗ＝０（１ ８）其中。表示哈达玛积． 而且 和！． 因此我们获得如下形式的更新公式：（ＸＴＹ＋ａＸＴＳｘＸＷ＋ｐＸＴＸＷＳＹ ） ｔｌｖ（ＸＴＸＷ＋ ａＸＴＡｘＸＷ＋ｐＸＴＸＷＡＹ＋ｙＤＷ） １｝（１ ９）其中ｉ 表示当前的迭代次数． 然后我们可以通过所提出的特征选择算法ＲＭＬＦＳ来获得最优的１ 个特征组成的特征子集． ＲＭＬＦＳ 的伪代码在算法１ 中被描述． 另外我们根据如下收敛性定理可证明该方案的收敛性．收敛性定理１ ． 式（ １ ２） 的目标函数值单调减小， 直到算法１ 收敛．证明． 相关证明详见附录部分．１８３２ 计 算机 学 报 ２０２２年算法１ ． ＲＭＬＦＳ．输人： 特征矩阵 标签矩阵正则化超参数ａ ，／３， ｙ输出： 返回排序后的前／ 个特征１． 随机初始化２． ｔ＝ 〇ｉ３． 计算Ａ＇Ｓ＇Ａ１■和浐；４． 重复迭代：５． Ｓ＊Ｄ＂＝２｜ｗ，１｜２＋，；６． 更新：出Ｌ ＋ ａＸＴＳｘＸＷ＼ ｊ３ＸＴＸＷＳＹ ）Ｗｌ）＾ＷｌＪ（ ＸＴＸＷ＼ ａＸＴＡｘＸＷ＼ｉ３ＸＴＸＷＡＹ＼ ｒＤＷ＇）＾７． ｎ＋１；８． 直至满足收敛条件”＜１０３；９． Ｒｅｔ ｕｒｎ矩阵Ｗ；１０． 通过｜ ｜ 汛．｜２ ， ｆ＝ｌ， ２ ，…， Ａ选前／ 个特征．４ 实验结果及分析本节使用１３ 个真实的多标记基准数据集和８ 个对比算法验证ＲＭＬＦＳ算法有效性． 所有实验均在３．４ＧＨｚ 的英特尔酷睿ｉ ７ ６７００ 且运行内存为１ ６ＧＢ的计算机设备上进行．４． １ 数据集描述及实验设置本文从Ｍｕｌ ａｎ数据库［５ １］中获取的１３个多标准数据集已经被广泛使用在多标记学习方法中［３ ’ ２ ３ ’ ４ ６’５ ２？］．我们使用这１ ３ 个基准数据集来验证ＲＭＬＦＳ 的有效性． 例如， Ｆｌ ａｇｓ 数据集属于图像域， 该数据集包含１ ９４ 个样例和７ 个类标签， 如红色、 绿色和蓝色等；Ｓｃｉ ｅｎｃｅ 数据集属于文本域， 该数据集包含５０００ 个样例， 每个样例表示７４３个特征和４０个标签． Ｇｅｎｂａｓｅ数据集属于生物学领域， 包含６６２ 个蛋白质， 其中一个蛋白质具有１ １ ８５ 个特征． 此外， 还有２７ 个类别标签， 如受体和氧还原酶等． 关于这些数据集的详细信息见表２．表２ 实验数据集描述编号 数据名称 样例数 特征数 标签数１ ３Ｆｌ ａｇｓ １ ９４ １ ９Ａｒ ｔ ｓ ５０００ ４６２Ｅｄｕｃａｔｉ ｏｎ ５０００ ５５０Ｅｎｔｅｒ ｔａｉ ｎ ５０００ ６４０Ｈｅａｌ ｔｈ ５０００ ６１ ２Ｒｅｃｒ ｅａｔｉ ｏｎ ５０００ ６０６Ｒｅｆｅｒｅｎｃｅ ５０００ ７９３Ｓｃｉ ｅｎｃｅ ５０００ ７４３Ｓｏｃｉ ｅｔｙ５０００ ６３６Ｇｅｎｂａｓ ｅ ６６２ １ １ ８５Ｍｅｄｉ ｃａｌ ９７８ １ ４４９Ｅｎｒ ｏｎ １ ７０２ １ ００１Ｓｏｃｉ ａｌ ５０００ １ ０４７７３２４０５３为了全面验证ＲＭＬＦＳ 的分类性能， 将其与以下的特征选择方法进行了比较： ＭＩＦＳＭ、 ＭＤＭＲ［３ ５］、ＳＣＬＳ［３ ４］、 ｍＲＭＲ［７］、 ＲＡＬＭＦＳ［３ ７］、 ＴＲＣＦＳ［３ ８］、 ＬＲＦＳ［３ ９］和ＧＭＭ［４°］． 此外， 参照ＭＩＦＳ［３ ６］， 实验部分选择热核函数构造近邻矩阵， 其中设置ｆ 和ｃ ｒ 分别为５． ０和１ ．０． 进一■步为公平起见， 我们在相同的网格中调整各个带有正则化参数算法的参数， 该网格为｛０．０１， ０．１， ０．３ ， ０．５， ０．７， ０．９ ，１ ．０｝． 然后利用正则化参数的最优值来评价分类性能． 接下来， 多标记问题通过ＢＲ模型转化为多个相互独立的单标签分类问题． 然后我们使用线性支持向量机（ ＳＶＭ） 和Ｋ最近邻分类器（ ＫＮＮ） 来学习这些相互独立的单标签分类问题， 其中ＳＶＭ的参数Ｃ通过网格｛１ （Ｔ４，ｌ （ｒ３，一，１ ０３，１ ０４｝ 进行调整． 另外采用考虑标签关系评测的学习器ＭＬＫＮＮ［４ １］． 同时， 在实验中采用了五折交叉验证． 而且采用以下评估标准， 基于Ｆ１度量的Ｍｉ ｃｒｏ ａｖｅｒａｇｅ和Ｍａｃｒｏ ａｖｅｒａｇｅ（ Ｍｉ ｃｒｏ ＦＩ和 虑标签关系的Ｈａｍｍｉ ｎｇＬｏｓｓ评估指标． 它们的定义公式如下：■２］２ＴＰ！Ｍｉ ｃｒ〇 Ｆｌ＝，＾］（ ２ＴＰ！＋ＦＰ！＋ＦＪＶ！）（ ２〇）ｉ  １Ｍａｃｒ〇 Ｆｌ＝—Ｘ）＾ＴＦ—－［ｚ（ ２ＴＰ＇＋ＦＰ＇＋ＦＮ＇）Ｈａｍｍｉ ｎｇＬｏｓｓ＝Ｔ］＾Ｙ／， ？Ｙ，， （ ２１ ）Ｗ， １Ｚ，１其中， Ｚ表示标签的数目， 对于第Ｚ 个标签， ＴＰ表示真阳性， ＰＴ表示假阳性， ＦＪＶ表示假阴性． 十表示异或操作． Ｙ［ 和Ｉ， 分别表示第（＊，＿；） 个预测标签和原始标签．４． ２ 实验结果及分析提出的多标记特征选择方法ＲＭＬＦＳ与８ 个代表性的特征选择算法在１ ３ 个数据集上进行比较． 而且根据参考文献ＭＩＦＳ［３ ６］给定的经验值， 即通过特征总量的前２０％来计算每一个要对比方法的均值与标准差． 所选特征的数量步长设为１％（ Ｆｌ ａｇｓ 数据集仅有１ ９ 个特征， 因此使用其所有特征） ． 使用两个分类器的所有方法在Ｍｉ ｃｒｏ ＦＩ、 Ｍａｃｒｏ ＦＩ 和Ｈａｍｍｉ ｎｇＬｏｓｓ 准贝！Ｊ 下的实验结果被展示在表３？表７ 中． 其中， 相应数据集在９ 种方法下的最优结果用加粗黑体表示． 带有下划线的字体表示相应数据下ＲＭＬＦＳ方法所得结果为次优值． 我们也将各李永豪等： 基于稀疏系数矩阵重构的多标记特征选择 １８３ ３ ９ 期方法在所有数据集下的“平均值”给出． 此外， 准则Ｍｉ ｃｒｏ Ｆｌ＾Ｍａｃｒｏ Ｆｌ 对应表中的值越大代表对应算法的分类性能越好， 而Ｈａｍｍｉ ｎｇＬｏｓｓ 准则对应表中的值越小代表对应算法的分类性能越好（ 其中ｍＲＭＲ属于单标记特征选择方法， 不适用于基于多标记学习器ＭＬＫＮＮ的Ｈａｍｍｉ ｎｇＬｏｓｓ 准则） ．通过观察这些表， 我们发现所提出的方法ＲＭＬＦＳ在“平均值”方面比其他８ 种方法获得了更优异的分类结果． 在表３？表６ 中， 除数据集Ｍｅｄｉ ｃａｌ 和Ｇｅｎｂａｓｅ 之夕卜 ， 在Ｍｉ ｃｒｏ ＦＩ、 Ｍａｃｒｏ ＦＩ 的评价标准下， 与８ 种对比方法相比， 我们的方法在１ １ 个数据集上获得了最优或次优的结果． 在表７ 中， 除数据集表３９ 种特征选择方法在ＳＶＭ分类器上的Ｍｉｃｒｏｔｉ 结果Ｄａｔａｓｅｔｓ ＭＩＦＳ ＭＤＭＲ ＳＣＬＳ ＬＲＦＳ ｍＲＭＲ ＲＡＬＭＦＳ ＴＲＣＦＳ ＧＭＭ ＲＭＬＦＳＦｌ ａｇｓ ０． ７２２５ 士 ０． ０４９ ９ ０． ６ ４９ １ 士 ０． ０４２５ ０． ６ ７ ４６ 士 ０． ０３ １ ０． ６ ６ ５ ９ 士 ０． ０４０５ ０． ６ ６ ５ １ 士 ０． ０３ ２２ ０． ６ ３ １ ５ 士 ０． ０４８１ ０． ６ ９ ５ ５ 士 ０． ０２０３ ０． ６ ６ ０３ 士 ０． ０３ ２１ ０． ７ １ ３ ６ 士 ０． ０４２４Ａｒｔ ｓ ０． １ ３ ９ １ 士 ０． ０７ ８３ ０． ０９ ４６ 士 ０． ０５ ２４ ０． １ ０６ 士 ０． ０４６ ０． １ ０４１ 士 ０． ０４４８ ０． ２５８２士 ０． ０５ ７ ６ ０． １ ０１ ８ 士 ０． ０６ ０７ ０． ２２９ 士 ０． ０９ １ ７ ０． ０４８２ 士 ０． ０２５ ９ ０． ２５ ４５ 士 ０． ０６Ｅｄｕｃａｔｉ ｏｎ ０． ０７ ３ ３ 士 ０． ０５ ８７ ０． １ ２７ 士 ０． ０８１ １ ０． ０７ ３ ３ 士 ０． ０５ ９ ３ ０． １ ４９ ５ 士 ０． ０８０６ ０． ２３ ５ ７ 士 ０． ０５ ７ ６ ０． １ ９ ３ ４ 士 ０． ０５ ５ ８ ０． ２１ ８１ 士 ０． ０９ ５ ６ ０． ０５ ６ ９ 士 ０． ０４１ ５ ０． ２７６ 士 ０． ０５ ４８Ｅｎｔｅｒｔａｉ ｎ ０． ２２７ ８ 士 ０． １ １ ２１ ０． １ ８９ ８ 士 ０． ０８６ ５ ０． １ １ ３ ２ 士 ０． ０７ １ ７ ０． １ ８４３ 士 ０． ０８２１ ０． ３ ４４５ 士 ０． ０６ ８２ ０． ２１ ４３ 士 ０． １ ００４ ０． ３ ３ １ 士 ０． ０９ ９ ６ ０． １ １ ６ ３ 士 ０． ０７ ６ ９ ０． ３５ 士 ０． ０８６ ９Ｈｅａｌ ｔｈ ０． ４６ ８１ 士 ０． ０７ ９ ５ ０． ４３ ４６ 士 ０． ０７ ６ １ ０． ３ ４５ １ 士 ０． ０４４１ ０． ４７ ５ ４ 士 ０． ０３ ７ ０． ５ ３ ８１ 士 ０． ０６ ８２ ０． ５ １ ５ ７ 士 ０． ０４３ ９ ０． ５ ２８２ 士 ０． ０５ ８ ０． ３ ６ １ ８ 士 ０． ０５ ５ ２ ０． ５５９４ 士 ０． ０３ ７ ８Ｒｅｃｒｅａｔｉ ｏｎ０． ２５ ２４士０． ０６ ９ ８ ０． ０３ ３ １ 士 ０． ０３ ８２ ０． ０６ ４４ 士 ０． ０２ ０． ０３ ９ ２ 士 ０． ０３ ７ ４ ０． ２７ ４５ 士 ０． ０４４５ ０． ２２７ ９ 士 ０． ０７ １ １ ０． ２６ ７ ８ 士 ０． ０４８８ ０． ００７ 士 ０． ０１ ０８ ０． ２８０８ 士 ０． ０４７Ｒｅｆｅｒｅｎｃｅ ０． ３ ５ ９ ３ 士 ０． １ ０４６ ０． ３ ５ ５ ９ 士 ０． ０６ ９ ０． ２６ ６ １ 士 ０． ０８２９ ０． ３ ７ ６ ８ 士 ０． ０６ ６ ４ ０． ４１ １ ４ 士 ０． ０９ １ １ ０． ４０４２ 士 ０． １ ３ ２２ ０． ４３ ９ １ 士 ０． ０９ ９ ９ ０． ３ ０５ 士 ０． ０６ ４９ ０． ４３９６ 士 ０． ０９ ５ ７Ｓｃｉ ｅｎｃｅ ０． １ ２８６ 士 ０． ０５ ６ ９ ０． １ ２６ ９ 士 ０． ０７ ４３ ０． ０３ ６ ５ 士 ０． ０３ ５ ０． １ ２８６ 士 ０． ０７ ７ ６ ０． ２０Ｈ 士 ０． ０４４８ ０． ０９ ６ ９ 士 ０． ０５ ３ ９ ０． ２２４９ 士 ０． ０６ ６ ２ ０． ０３ ６ ８ 士 ０． ０３ ２ ０． ２３３８ 士 ０． ０５ ３ ７Ｓｏｃｉ ｅｔｙ０． ３ ００１ 士 ０． ０４２４ ０． ３ １ ９ １ 士 ０． ０１ ７ ２ ０． ２１ ６ 士 ０． ０２８ ０． ３ ２１ 士 ０． ０１ ６ ０． ２７ ０８ 士 ０． ０５ １ １ ０． ２２３ １ 士 ０． ０５ ９ ４ ０． ３ １ ０６ 士 ０． ０６ ４５ ０． ３ ０４１ 士 ０． ０４０３ ０． ３２２１ 士 ０． ０４５ ２Ｇｅｎｂａｓｅ ０． ９ ７ １ ７ 士 ０． １ ０１ ０． ９ ７ ８５ 士 ０． ０６ ７ ５ ０． ５ ４１ 士 ０． ０１ ３ ７ ０． ９ ７ ８５ 士 ０． ０６ ７ ６ ０． ９９３７ 士 ０． ０００６ ０． ９ ５ ８２ 士 ０． １ ３ ６ ５ ０． ９ ７ ４８ 士 ０． ０８７ ５ ０． ００００ 士 ０． ００００ ０． ９ ７ １ １ 士 ０． １ ０５ ４Ｍｅｄｉ ｃａｌ ０． Ｈ４９ 士 ０． １ ０５ ８ ０． ７ ５ ５ ６ 士 ０． ０５ ４６ ０． ３ ６ ９ ７ 士 ０． ００９ ４ ０． ７ ５ ６ ７ 士 ０． ０５ ４８ ０． ７ ５ ７ ２ 士 ０． ００８１ ０． ３ ６ ３ ２ 士 ０． １ ４７ ４ ０． ７６１３ 士 ０． １ ０８１ ０． ００００ 士 ０． ００００ ０． ７ ３ ７ ２ 士 ０． １ ３ ４９Ｅｎｒｏｎ ０． ３ ７ ２３ 士 ０． ０２７ ４ ０． ４７ ３ ９ 士 ０． ０４９ ２ ０． ４８８４ 士 ０． ０３ １ ４ ０． ４４５ ７ 士 ０． ０５ ５ ５ ０． ５３４６ 士 ０． ０２４１ ０． ３ ８９ １ 士 ０． ０５ ８８ ０． ４０５ １ 士 ０． ０５ ０５ ０． ３ ８５ 士 ０． ０３ ５ ７ ０． ５ ２７ ４ 士 ０． ０４９Ｓｏｃｉ ａｌ ０． ２７ ５ ６ 士 ０． １ ３ ６ １ ０． ４６ ５ 士 ０． １ ０５ ８ ０． ３ ６ ３ １ 士 ０． １ ２ ０． ４６ ４８ 士 ０． １ １ ９ ４ ０． ５ ３ １ ３ 士 ０． ０６ ７ ０． １ ４９ 士 ０． １ １ ２４ ０． ５４６２士 ０． ０５ ９ ５ ０． ３ ８４３ 士 ０． １ １ １ ３ ０． ５ ４５ ８ 士 ０． ０９ ９ ８Ａｖｅｒａｇｅ ０． ３ ８５ １ ０． ３ ８４９ ０． ２８１ ３ ０． ３ ９ １ ６ ０． ４６ ３ ２ ０． ３ ４３ ７ ０． ４５ ６ ３ ０． ２０５ １ ０． ４７７８表４９ 种特征选择方法在ＳＶＭ分类器上的Ｍａｃｒｏ＾Ｆｌ 结果Ｄａｔａｓｅｔｓ ＭＩＦＳ ＭＤＭＲ ＳＣＬＳ ＬＲＦＳ ｍＲＭＲ ＲＡＬＭＦＳ ＴＲＣＦＳ ＧＭＭ ＲＭＬＦＳＦｌ ａｇｓ０． ５６９７±０． ０９ ９ ８０． ５ ０３ ５ ±０． ０５ ３ ５０． ５ ３ ８８±０． ０４２０． ５ １ ０６ ±０． ０４４２０． ５ ０５ ２±０． ０４９ ５０． ４８７ ２±０． ０４３ ６０． ５ ２２１ ±０． ０３ ９ ７０． ５ ２３ ３ ±０． ０３ ２９Ａｒｔ ｓ０． ０５ ５ 士０． ０３ ４０． ０３ ９ ３ 士０． ０２１ ９０． ０３ ８１ 士０． ０１ ６ １０． ０４３ ３ 士０． ０１ ８７０． １ １ ４２士０． ０２５ ２０． ０３ ８５ 士０． ０２５ ６０． １ ０２５ 士０． ０３ ５ ９０． ０１ ９ ４士０． ０１ ０７Ｅｄｕｃａｔｉ ｏｎ０． ０１ ９ ５ 士０． ０１ ７０． ０３ ５ ３ 士０． ０２４９０． ０１ ９ ５ 士０． ０１ ４９０． ０４８５ 士０． ０２７ ９０． ０８０３士０． ０２０４０． ０５ ２５ 士０． ０１ ４４０． ０７ ６ ５ 士０． ０２６ ７０． ０１ ３ ２士０． ０１ ０６Ｅｎｔｅｒｔａｉ ｎ０． ０９ ７ １ 士０． ０４７ ４０． ０７ ７ ２士０． ０３ ２０． ０４３ ６ 士０． ０３０． ０７ ８８士０． ０３ ０７０． １ ４６ ５ 士０． ０２６０． ０８１ ５ 士０． ０３ ８４０． １ ４５ 士０． ０４０５０． ０４３ 士０． ０２９ ４Ｈｅａｌ ｔｈ０． １ １ ８１ 士０． ０４６ １０． １ ２２６ 士０． ０５ １ ９０． ０６ Ｈ士０． ０３ ４６０． １ ４５ ４士０． ０３ ７ ８０． １ ８３ ６ 士０． ０３ ３ ９０． １ ５ ９ ２士０． ０４１ ５０． １ ８７５士０． ０４５ ４０． ０４４１ 士０． ０１ ６ ４Ｒｅｃｒｅａｔｉ ｏｎ０． １ ３ ３ ６ 士０． ０３ ３ ４０． ０１ ９ ３ 士０． ０２２７０． ０３ ０１ 士０． ０１ ０８０． ０２３ １ 士０． ０２２５０． １ ４４９ 士０． ０２８３０． １ ２１ ６ 士０． ０４２１０． １ ４５ ９ 士０． ０２９ ９０． ００４３ 士０． ００６ ５Ｒｅｆｅｒｅｎｃｅ０． ０６ ２８士０． ０２３ ６０． ０４０８士０． ０２０５０． ０２１ ４士０． ００６ ８０． ０５ １ 士０． ０２０７０． ０９ ２９ 士０． ０１ ９ ４０． ０６ ２８士０． ０２７ ８０． ０９ ４士０． ０２３ ４０． ０１ ８６ 士０． ００４４Ｓｃｉ ｅｎｃｅ０． ０３ ４１ 士０． ０１ ６ ４０． ０３ ７ ８士０． ０２８５０． ００７ ４士０． ００７ １０． ０３ ８８士０． ０２８７０． ０７ ５ ８士０． ０１ ５ １０． ０３ ５ ７ 士０． ０１ ９ ９０． ０９３９士０． ０２６ ５０． ００８７ 士０． ００８１Ｓｏｃｉ ｅｔｙ０． ０５ ５ ４士０． ０１ ９ ７０． ０４９ 士０． ０１ ５ ９０． ０２１ 士０． ００３ ５０． ０４９ ３ 士０． ０１ ５ ５０． ０６ ４１ 士０． ０１ １ ４０． ０３ １ ８士０． ０１ １ ６０． ０７ ８８士０． ０１ ９ ５０． ０３ ４６ 士０． ００８Ｇｅｎｂａｓｅ０． ６ ８９ ４士０． １ ０９ １０． ７ ６ ４２士０． １ ２９ １０． ２４１ ３ 士０． ０２２１０． ７ ６ ３ ６ 士０． １ ３ ０４０． ８１ ４８士０． ０００３０． ７ ３ ７ ５ 士０． １ ５ ２７０． ７ ６ ５ １ 士０． １ ４２０． ００００士０． ００００Ｍｅｄｉ ｃａｌ ０． ２２１ ６ ＋ ０． ０４８３０． ３ １ ５ ７ ＋０． ０７ ３ ６０． ０７ ９ ３ ＋ ０． ０１ ２７０． ３ １ ７ ２ ＋ ０． ０７ ３ ５０． ３ ０５ ４ ＋ ０． ０１ １ ７０． １ ２８８ ＋ ０． ０６ ２９０． ３３５８ ＋ ０． ０６ ８１０． ００００ ＋ ０． ００００Ｅｎｒｏｎ０． ０７ ４３ 士０． ０１ ６ ９０． １ ０７ ６ 士０． ０３ ２４０． １ １ ８９ 士０． ０３ １０． ０９ ８８士０． ０３ ２５０． １ ４６ ３ 士０． ０３ ０３０． ０７ ４１ 士０． ０２６ ８０． ０８２２士０． ０２８９０． ０７ ９ ８士０． ０２３ ７Ｓｏｃｉ ａｌ ０． ０３ ０８士０． ０１ ６ ４０． ０７ ５ ４士０． ０３ １ ４０． ０３ ６ ２士０． ０１ ４３０． ０８３ ２士０． ０３ １ ２０． １ ０４２士０． ０１ ３ １０． ０１ ４４士０． ０１ ２０． １ ２６３士０． ０２４６０． ０３ ４９ 士０． ０１ １Ａｖｅｒａｇｅ０． １ ６ ６ ３０． １ ６ ８３０． ０９ ７ １０． １ ７ ３ ２０． ２１ ３ ７０． １ ５ ５ ８０． ２１ ２０． ０６ ３ ４０． ５ ６ ３ ８±０． ０８４２０． １ １ ３ １ 士 ０． ０２７ ５０． ０７ ６ ７ 士 ０． ０１ ６ ８０． １ ５７３ 士 ０． ０３ ７０． １ ８６ ２ 士 ０． ０４３ ４０． １ ５０６ 士 ０． ０２８９０． ０９６９ 士 ０． ０１ ９ ８０． ０８６ ６ 士 ０． ０２３０． ０９０９ 士 ０． ０１ ８３０． ７ ８３ ７ 士 ０． １ １ ６ ９０． ３ ２５ ２ 士 ０． ０８１ ２０． １３８１ 士 ０． ０３ ６ ６０． １ ２２３ 士 ０． ０２５ ６０． ２２２４表５９ 种特征选择方法在３ＮＮ分类器上的Ｍｉｃｒｏ￣Ｆｌ 结果Ｄａｔａｓｅｔｓ ＭＩＦＳ ＭＤＭＲＳＣＬＳＬＲＦＳｍＲＭＲＲＡＬＭＦＳＴＲＣＦＳ ＧＭＭ ＲＭＬＦＳＦｌ ａｇｓ０． ６ ６ １ ５ ±０． ０３ ０２０． ６ １ ０７ ±０． ０１ ６ ５０． ６ １ ２２±０． ０１ １ ５０． ６ １ ５ ７ ±０． ０１ ８０． ６ ０７ ８±０． ０１ ８０． ６ ０５ ７ ±０． ０１ ２２０． ６ ６ ０４±０． ０３ ４３０． ６ １ ２９ ±０． ０１ ３ ６０． ６８２９±０． ０３ ５ １Ａｒｔ ｓ０． ２０１ ６ 士０． ０５ ２１０． １ ８９ ３ 士０． ０３ ４３０． １ ６ ４１ 士０． ０２４３０． １ ９ ６ ３ 士０． ０２７ ３０． ２３ ３ ２士０． ０２３ ２０． １ ８２４士０． ０４３ ５０． ２６ １ ２士０． ０６ ４３０． １ ８３ ８士０． ０３ ３ ６０． ２８２９士０． ０３ ２３Ｅｄｕｃａｔｉ ｏｎ０． １ ８２７ 士０． ０５ ５０． ２３ ０８士０． ０４０４０． １ ７ ６ ４士０． ０３ ７ １０． ２４３ １ 士０． ０４５ ５０． ２６ ３ 士０． ０２５ ６０． ２６ ０５ 士０． ０５ ０５０． ２９ １ ３ 士０． ０６ ８５０． ２２２３ 士０． ０３ ６ １０． ３０６１ 士０． ０４３ １Ｅｎｔｅｒｔａｉ ｎ０． ２７ ６ ４士０． ０６ ５ ２０． ２８３ ２士０． ０３ ０４０． ２３ ４１ 士０． ０３ ３ ４０． ２８０７ 士０． ０３ ３ ９０． ３ ３ ５ ３ 士０． ０２６ ８０． ２７ ３ ５ 士０． ０６ ５ １０． ３ ４１ ８士０． ０８１ ６０． ２８０２士０． ０３ ２３０． ３８４２士０． ０６ ４９Ｈｅａｌ ｔｈ０． ４３ ５ 士０． ０７ ０６０． ４０７ 士０． ０５ １ ４０． ３ ４８士０． ０３ ８９０． ４３ ６ ５ 士０． ０２０４０． ４８２３ 士０． ０４１ ２０． ４７ ３ ９ 士０． ０５ ８７０． ４７ ５ １ 士０． ０７ ２８０． ３ ９ ０１ 士０． ０４４６０． ４８８９士０． ０６ ５ ２Ｒｅｃｒｅａｔｉ ｏｎ０． ２８２４士０． ０５ ３ ５０． １ ４０１ 士０． ０２５ ７０． １ ４８３ 士０． ０２１ ５０． １ ４０６ 士０． ０２６ ４０． ２５ ７ 士０． ０２５ ２０． ２７ １ ７ 士０． ０６ ３ ５０． ３ ０４８士０． ０４６ ５０． １ ３ ４３ 士０． ０２３ ８０． ３１ ４士０． ０４８２Ｒｅｆｅｒｅｎｃｅ０． ３ ８１ ６ 士０． ０５ ４６０． ３ ７ ８４士０． ０４４３０． ３ １ ２１ 士０． ０３ ０４０． ３ ８５ ９ 士０． ０４５ ６０． ４０６ ７ 士０． ０４２４０． ３ ８５ ７ 士０． ０８９０． ４４７ ８士０． ０７ ２３０． ３ Ｈ士０． ０４１０． ４４９７士０． ０４４７Ｓｃｉ ｅｎｃｅ０． １ ７ １ １ 士０． ０３ ６ ５０． １ ７ ３ ７ 士０． ０３ ４５０． １ １ ５ ４士０． ０１ ６ ２０． １ ７ ６ ５ 士０． ０３ ４６０． ２１ １ ９ 士０． ０２０３０． １ ５ ９ ７ 士０． ０４７ ６０． ２５ ５ ６ 士０． ０３ ７ ７０． １ ６ １ 士０． ０３ ０１０． ２５９８士０． ０３ ４２Ｓｏｃｉ ｅｔｙ０． ３ ０５ ５ 士０． ０４３０． ３ １ ２１ 士０． ０３ ２４０． ２４４９ 士０． ０２０７０． ３ １ ５ ３ 士０． ０２８２０． ２９ ７ ７ 士０． ０２３ ５０． ２５ ４６ 士０． ０４９ ９０． ３ １ ８９ 士０． ０５ ０６０． ３ １ １ ７ 士０． ０２９ ４０． ３３４士０． ０４５Ｇｅｎｂａｓｅ０． ９ ６ ６ ５ 士０． １ ０３ ２０． ９ ７ ６ ７ 士０． ０６ ５ ５０． ５ １ ７ ５ 士０． ０１ １ ８０． ９ ７ ６ ６ 士０． ０６ ５ ７０． ９９１ ５士０． ０００９０． ９ ５ ５ ９ 士０． １ ３ ４０． ９ ７ ２４士０． ０８７ ９０． ０７ ２１ 士０． ０００００． ９ ６ ６ ２士０． １ ０１ ２Ｍｅｄｉ ｃａｌ ０． ６ １ ０４士０． ０９ ５ ３０． ６ ４１ １ 士０． ０３ ４２０． ３ ５ ２８士０． ０１ ３ ２０． ６ ４２７ 士０． ０３ ４９０． ５ ８１ １ 士０． ０４５ ６０． ２９ ３ ９ 士０． １ ０７ ７０． ６ ５ ６ １ 士０． １ ２８８０． ００００士０． ０００００． ７００８士０． １ ２７ ５Ｅｎｒｏｎ０． ４１ ０２士０． ０２４３０． ４４３ ５ 士０． ０４３ ７０． ４３ ６ ５ 士０． ０２６ ５０． ４１ ９ ４士０． ０４８０． ５ ０５ 士０． ００９ ３０． ３ ６ ５ 士０． ０７ ２９０． ３ ９ ２３ 士０． ０３ ４７０． ４１ ４５ 士０． ０５ ０２０． ４９３２士０． ０３ ８６Ｓｏｃｉ ａｌ ０． ３ ３ ７ ８士０． ０８１ １０． ４５ ０９ 士０． ０５ ７ ８０． ３ ７ ６ ３ 士０． ０５ ６ ９０． ４５ ４９ 士０． ０５ ４３０． ４９ ７ ８士０． ０２４３０． ３ １ ５ ４士０． ０５ ４０． ５３８３士０． ０３ ０７０． ４２９ ５ 士０． ０５ ７ ８０． ５ ２７ ２士０． ０７ ５ ７Ａｖｅｒａｇｅ０． ４０１ ７０． ４０２９０． ３ １ ０７０． ４０６ ５０． ４３ ６ ２０． ３ ６ ９ １０． ４５ ５ １０． ２７ ５ ６０． ４７６１１８３４ 计 算机 学 报 ２０２２年表６９ 种特征选择方法在３ＮＮ分类器上的Ｍａｃｒｏ＾ｌ 结果Ｄａｔａｓｅｔｓ ＭＩＦＳ ＭＤＭＲＳＣＬＳＬＲＦＳｍＲＭＲＲＡＬＭＦＳＴＲＣＦＳ ＧＭＭ ＲＭＬＦＳＦｌ ａｇｓ０． ５ ２６ ５ ±０． ０７ ７ ６０． ４４３ ２±０． ０１ ７ ５０． ４５ ３ ８±０． ０１ ３ ７０． ４５ ３ １ ±０． ０２２０． ４５ １ ３ ±０． ０２２７０． ４３ ８６ ±０． ０１ ０９０． ５ １ ０２±０． ０４８７０． ４４５ ２±０． ０１ ５ ６０． ５５２２±０． ０６ ５ ８Ａｒｔ ｓ０． ０９ ５ １ 士０． ０３ ３０． ０９ ５ ２士０． ０２４５０． ０７ ３ ７ 士０． ０１ ３ ９０． １ ００６ 士０． ０２５０． １ １ ２２士０． ０１ ５０． ０７ １ ４士０． ０２５ ３０． １ ４３４士０． ０４０２０． ０８８７ 士０． ０２２９０． １ ３ ８２士０． ０３ ０９Ｅｄｕｃａｔｉ ｏｎ０． ０４２６ 士０． ０１ ７ ６０． ０８２３ 士０． ０１ ８７０． ０５ ９ ２士０． ０２０８０． ０８７ 士０． ０２０２０． ０９ ５ ６ 士０． ０１ ２４０． ０８３ ８士０． ０２３ ４０． １ ０４７士０． ０２２７０． ０７ ９ ６ 士０． ０１ ８５０． １ ０１ 士０． ０１ ９ ４Ｅｎｔｅｒｔａｉ ｎ０． １ ３ ７ ９ 士０． ０４１ ８０． １ ４８士０． ０１ ８２０． １ １ ２士０． ０２０２０． １ ４４８士０． ０１ ９ ８０． １ ７ ４８士０． ０１ ７０． １ ３ ０５ 士０． ０４０２０． １ ８１ 士０． ０４６ ２０． １ ４５ ５ 士０． ０１ ７ ５０． １ ９７７士０． ０３ ９Ｈｅａｌ ｔｈ０． １ ５ ７ 士０． ０４０７０． １ ４３ ７ 士０． ０３ ２８０． ０９ ８５ 士０． ０３ ０５０． １ ６ １ １ 士０． ０２２５０． １ ９ ５ ３ 士０． ０２０１０． １ ８５ ９ 士０． ０３ １ ７０． ２００８士０． ０３ ５ ２０． １ ３ １ ３ 士０． ０２７ ７０． ２０５４士０． ０３ ６ ８Ｒｅｃｒｅａｔｉ ｏｎ０． １ ７ ０３ 士０． ０３ ８１０． ０９ ４５ 士０． ０２１ ９０． ０８５ ４士０． ０１ ６ １０． ０９ ３ ２士０． ０２１ ３０． １ ６ ４４士０． ０１ ８０． １ ５ ９ ７ 士０． ０４４７０． １ ８５ ６ 士０． ０３ ５ ４０． ０９ ０９ 士０． ０２０５０． １ ８６８士０． ０３ ３ １Ｒｅｆｅｒｅｎｃｅ０． ０８８士０． ０２３ ８０． ０８０９ 士０． ０１ ７ ４０． ０４９ ７ 士０． ０１ ５ ５０． ０８５ ２士０． ０１ ７０． ０９ ５ ５ 士０． ０１ １ ７０． ０７ ６ ６ 士０． ０２５ ７０． １ ０４７ 士０． ０１ ９ ７０． ０７ ６ ３ 士０． ０１ ７ ２０． １ １ ５５士０． ０２０２Ｓｃｉ ｅｎｃｅ０． ０６ １ ８士０． ０１ ４７０． ０６ ７ ４士０． ０２３ ８０． ０３ ７ ２士０． ００９ ８０． ０６ ７ ３ 士０． ０２３ １０． １ ０Ｈ士０． ０１ ０３０． ０５ ６ ７ 士０． ０２１ １０． １ １ ２３ 士０． ０２１ ７０． ０６ １ １ 士０． ０２１０． １ １ ３１ 士０． ０２６ ３Ｓｏｃｉ ｅｔｙ０． ０８８８士０． ０２１ １０． ０８３ ９ 士０． ０１ ３ ９０． ０５ ５ 士０． ０１ １ ２０． ０８４７ 士０． ０１ ２９０． ０７ ７ ７ 士０． ００７ ７０． ０５ ３ ４士０． ０１ ５ ６０． １ ０３ １ 士０． ０１ ９ ９０． ０８３ ６ 士０． ０１ ５ ２０． １ １ ２４士０． ０１ ８８Ｇｅｎｂａｓｅ０． ６ ６ ６ １ 士０． １ ０７ ５０． ７ ０９ ２士０． １ ０３ ６０． ２２３ ８士０． ０１ ７ ８０． ７ ０９ 士０． １ ０４３０． ７４０３士０． ００２０． ６ ８８７ 士０． １ ３ ２２０． ７ ０２３ 士０． １ ２３ ４０． ００５ ５ 士０． ０００００． ７ ０５ ２士０． ０９ ２７Ｍｅｄｉ ｃａｌ ０． １ ６ １ 士０． ０２０９０． １ ８５ ６ 士０． ０２５ ７０． ０６ ２６ 士０． ００６０． １ ８７ ２士０． ０２６ ５０． １ ５ ２６ 士０． ０３ ９ ３０． ０６ ９ ４士０． ０２８７０． ２４７ ２士０． ０４２７０． ２５８２士０． ０５ ７ ５０． ２５８２士０． ０５ ７ ５Ｅｎｒｏｎ０． ０８７ ３ 士０． ０１ ４０． １ １ ５ ２士０． ０２０３０． １ １ ０６ 士０． ０１ ２６０． １ ０９ ３ 士０． ０２１ ９０． １ ４５ ４士０． ００７ ８０． ０８０９ 士０． ０２５ ６０． ０９ ６ ８士０． ０２１ ９０． １ ０３ ８士０． ０１ ９ ９０． １３１３士０． ０１ ８９Ｓｏｃｉ ａｌ ０． ０５ ０６ 士０． ０１ ６ ７０． １ ０６ ６ 士０． ０３ １ ９０． ０４９ ４士０． ０１ ３ ２０． １ １ １ ４士０． ０２６ ９０． １ １ ６ １ 士０． ００５ ７０． ０３ ８２士０． ０１ ２３０． １ ５２８士０． ０２３ ９０． ０９ ５ ７ 士０． ０２９ ３０． １ ４５ ９ 士０． ０３ ０１Ａｖｅｒａｇｅ０． １ ７ ９ ５０． １ ８１ ２０． １ １ ３ １０． １ ８４１０． ２０２２０． １ ６ ４１０． ２１ ８８０． １ ２８１０． ２２７９表７８ 种特征选择方法在ＭＬ－ＫＮＮ分类器上的ＨａｍｍｉｎｇＬｏｓｓ 结果Ｄａｔａｓｅｔｓ ＭＩＦＳ ＭＤＭＲ ＳＣＬＳ ＬＲＦＳ ＲＡＬＭＦＳ ＴＲＣＦＳ ＧＭＭ ＲＭＬＦＳＦｌ ａｇｓ ０． ２９ ２ 士 ０． ０２０５ ０． ３ １ ４６ 士 ０． ０１ １ １ ０． ３ ２２７ 士 ０． ００６ １ ０． ３ １ ６ ９ 士 ０． ００８７ ０． ３ ２３ ９ 士 ０． ００８７ ０． ２９ ４２ 士 ０． ０１ ９ ３ ０． ３ １ ８１ 士 ０． ００８２ ０． ２８７７ 士 ０． ０２０４Ａｒｔｓ ０． ０６ ３ ２ 士 ０． ００１ ２ ０． ０６ ４７ 士 ０． ０００７ ０． ０６ ３ ４ 士 ０． ０００６ ０． ０６ ４７ 士 ０． ０００９ ０． ０６ ３ ３ 士 ０． ０００８ ０． ０６ 士 ０． ００１ ５ ０． ０６ ４８ 士 ０． ０００７ ０． ０５９２士 ０． ０００７Ｅｄｕｃａｔｉ ｏｎ ０． ０４４９ 士 ０． ０００７ ０． ０４４９ 士 ０． ００１ １ ０． ０４５ ６ 士 ０． ０００８ ０． ０４４７ 士 ０． ００１ １ ０． ０４３ ３ 士 ０． ０００５ ０． ０４２３ 士 ０． ００１ ３ ０． ０４５ 士 ０． ０００８ ０． ０４１ ２士 ０． ０００７Ｅｎｔｅｒ ｔａｉ ｎ ０． ０６ ５ ３ 士 ０． ００１ ８ ０． ０６ ５ ５ 士 ０． ００１ ６ ０． ０６ ７ ７ 士 ０． ００１ ０． ０６ ５ ７ 士 ０． ００１ ５ ０． ０６ ３ ８ 士 ０． ００２１ ０． ０６ ０６ 士 ０． ００２ ０． ０６ ６ １ 士 ０． ００１ ８ ０． ０５８５ 士 ０． ００２２Ｈｅａｌ ｔｈ ０． ０４４８ 士 ０． ００２６ ０． ０４６ ６ 士 ０． ００２３ ０． ０４９ ７ 士 ０． ００１ １ ０． ０４５ ４ 士 ０． ００１ ３ ０． ０４２３ 士 ０． ００２２ ０． ０４１ ７ 士 ０． ００３ ０． ０４７ ６ 士 ０． ００２１ ０． ０３９５ 士 ０． ００１ ９Ｒｅｃｒｅａｔｉ ｏｎ ０． ０６ ０１ 士 ０． ００１ ７ ０． ０６ Ｈ 士 ０． ０００７ ０． ０６ ５ ４ 士 ０． ０００７ ０． ０６ ６ ７ 士 ０． ０００７ ０． ０６ ０５ 士 ０． ００１ ３ ０． ０５８６ 士 ０． ００１ ２ ０． ０６ ７ 士 ０． ００１ ０． ０５ ９ １ 士 ０． ００１ ６Ｒｅｆｅｒｅｎｃｅ ０． ０３ １ ３ 士 ０． ００１ ５ ０． ０３ ２５ 士 ０． ００１ ４ ０． ０３ ３ ９ 士 ０． ０００７ ０． ０３ ２６ 士 ０． ００１ ３ ０． ０３ ２５ 士 ０． ００１ ３ ０． ０２９ 士 ０． ００１ ４ ０． ０３ ２７ 士 ０． ００１ ７ ０． ０２８６ 士 ０． ００１ ５Ｓｃｉ ｅｎｃｅ ０． ０３ ６ 士 ０． ０００６ ０． ０３ ６ ３ 士 ０． ０００５ ０． ０３ ６ ８ 士 ０． ０００５ ０． ０３ ６ ２ 士 ０． ０００５ ０． ０３ ６ １ 士 ０． ０００４ ０． ０３ ４３ 士 ０． ０００４ ０． ０３ ６ ３ 士 ０． ０００４ ０． ０３４１ 士 ０． ０００４Ｓｏｃｉ ｅｔｙ０． ０５ ８２ 士 ０． ００１ ２ ０． ０５ ８５ 士 ０． ００１ １ ０． ０６ ０３ 士 ０． ０００４ ０． ０５ ８４ 士 ０． ００１ ０． ０５ ９ ３ 士 ０． ０００６ ０． ０５ ７ ３ 士 ０． ００１ ２ ０． ０５ ８６ 士 ０． ００１ １ ０． ０５６２士 ０． ００１ １Ｇｅｎｂａｓｅ ０． ００２６ 士 ０． ００５ ５ ０． ００２７ 士 ０． ００４ ０． ０３ ０９ 士 ０． ０００４ ０． ００２７ 士 ０． ００４ ０． ００３ ８ 士 ０． ００６ ８ ０． ００３ 士 ０． ００４７ ０． ０４５ ６ 士 ０． ００００ ０． ００３ 士 ０． ００５ ６Ｍｅｄｉ ｃａｌ ０． ０１ ６ ５ 士 ０． ００２ ０． ０１ ７ ５ 士 ０． ００１ ０． ０２３ ３ 士 ０． ０００２ ０． ０１ ７ ５ 士 ０． ００１ ０． ０２７ 士 ０． ０００７ ０． ０１ ４９ 士 ０． ００２ ０． ０２７ ６ 士 ０． ００００ ０． ０１３９ 士 ０． ００３Ｅｎｒｏｎ ０． ０５ ７ ４ 士 ０． ００１ ２ ０． ０５ ３ １ 士 ０． ００２７