| 基于知识线记忆的多分类器集成算法 |
| 来源：一起赢论文网 日期：2021-11-25 浏览数：972 【 字体： 大 中 小 大 中 小 大 中 小 】 |
|
第４４ 卷 第３ 期２０２１ 年３ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ． ３Ｍａｒ． ２０２１基于知识线记忆的多分类器集成算法于思皓中国科学院计算技术研究所网络数据科学与技术重点实验室 北京１００１９０）２ ）（ 中国科学院大学 北京 １００１９０）３）（ 烟台中科网络技术研究所 山东烟台 ２６４００５）摘 要 多分类器系统作为混合智能系统的分支， 集成了具有多样性的分类器集合， 使整体得到更优的分类性能．结果融合是该领域中的一个重要问题， 在相同分类器成员下， 好的融合策略可以有效提升系统整体的分类正确率．随着模型安全性得到重视， 传统融合策略可解释性差的问题凸显．本文基于心理学中的知识线记忆理论进行建模，参考人类决策过程， 提出了一种拥有较好可解释性的启发式多分类器集成算法， 称为知识线集成算法． 该算法模拟人类学习与推断的行为， 组织多分类器结果的融合． 在训练中， 模型收集给定分类器集合的不同子集， 构建不同特征空间到解空间的映射， 构成知识线． 在推断时， 模型启发式地激活知识线， 进行选择性结果集成， 得到推断结果．知识线集成使用样本驱动的模式， 易于进行中间过程与最终结果的分析． 以决策树作为分类器的实验表明， 在相同的决策树集合下， 知识线集成算法分类正确率与随机森林相仿． 在此基础之上， 知识线集成算法可量化问题不同粒度下的难易程度， 且在推断时能提供相关训练样本作为依据．关键词 多分类器； 知识线记忆理论； 启发式； 样本驱动； 可解释性中图法分类号ＴＰ３ ９３ＤＯＩ号１ ０．１ １８９ ７／ＳＰ．Ｊ．１０１ ６．２０２１．００４６２ＭｕｌｔｉＣｌａｓｓｉｆｉｅｒＥｎｓｅｍｂｌｅＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＫｎｏｗｌｅｄｇｅ－ＬｉｎｅＭｅｍｏｒｙＹＵＳｉ Ｈａｏ１） ，２）ＧＵＯＪｉａ Ｆｅｎｇ１） ，２）ＦＡＮＹｉ Ｘｉ ｎｇ１）ＬＡＮＹａｎＹａｎ１） ，２）ＣＨＥＮＧＸｕｅ Ｑｉ３）１ ：）（ ＫｅｙＬａｂｏｆ Ｎｅｔ ｗｏｒｋＤａｔａＳｃｉ ｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ？， ＩｎｓＬｉ ＬｕＬ ｅ ｏｆＣｏｍｐｕｔ ｉｎｇＴｅｃｈｎｏｌｏｇｙ？， ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ ？Ｂｅｉｊｉｎｇ１００ １９０ ）２）（ ＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ？Ｂｅｉｊｉｎｇ１００１９０）幻（ＪｎｓＬ ｉ ＬｕＬｅｏｆＮｅｔｗｏｒｋＴｅｃｈｎｏｌｏｇｙ１ＣＴ（ＹＡＮＴＡＩ）ＣＡＳ， ＹａｎＬａｉ ， Ｓｈａｎｄｏｎｇ２６４００５）ＡｂｓｔｒａｃｔＭｕｌ ｔｉ ｃｌ ａｓｓｉｆｉ ｅｒＳｙｓｔｅｍ，ａｂｒａｎｃｈｔｅｃｈｎｏｌ ｏｇｙｏｆＨｙｂｒｉ ｄＩｎｔｅｌ ｌ ｉｇｅｎｔＳｙｓｔ ｅｍ，ｉ ｎｔｅｇｒａｔｅｓｍａｎｙｃｌ ａｓｓｉ ｆｉｅｒｓｔｏａｐｐｒｏａｃｈｈｉｇｈｅｒａｃｃｕｒａｃｙ． Ｂｅｃａｕｓｅｏｆｔｈｅｌｉ ｍｉｔａｔｉ ｏｎｏｆｃｏｍｐｕｔｉ ｎｇｒｅｓｏｕｒｃｅａｎｄｔｈｅｑｕａｌｉｔｙｏｆｃｌ ａｓｓｉ ｆｉｅｒｓ，ｃｌ ａｓｓｉ ｆｉｅｒｓｆｕｓｉｏｎｉｓａｎｉ ｍｐｏｒｔａｎｔｐｒｏｂｌ ｅｍｉ ｎＭｕｌｔｉｃｌ ａｓｓｉ ｆｉｅｒＳｙｓｔｅｍ．ＢｅｔｔｅｒｆｕｓｉｏｎｓｔｒａｔｅｇｙｃａｎｒｅａｃｈｈｉｇｈｅｒｐｅｒｆｏｒｍａｎｃｅｏｆｗｈｏｌｅＭｕｌ ｔｉｃｌａｓｓｉ ｆｉｅｒＳｙｓｔｅｍｕｎｄｅｒｔｈｅｓａｍｅｗｅｌ ｌ ｔｒａｉｎｅｄｃｌ ａｓｓｉ ｆｉｅｒｍｅｍｂｅｒｓ． Ｔｈｅｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｓｈａｄｔｒｉｅｄｍａｎｙｆｕｓｉ ｏｎｓｔｒａｔ ｅｇｉｅｓｓｕｃｈａｓｎｏｒｍａｌｖｏｔｉ ｎｇ，ｗｅｉｇｈｔｅｄｖｏｔｉ ｎｇａｎｄｆｕｓｉｏｎｆｕｎｃｔｉ ｏｎ．Ａｓｔｈｅｍｏｄｅｌ ｓｄｅｖｅｌ ｏｐｅｄ，ｔｈｅｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎａｃｃｕｒａｃｙｗｅｎｔｈｉｇｈｅｒ． Ｂｕｔｔｈｅｓｅｍｏｄｅｌ ｓｏｎｌ ｙｐａｉ ｄａｔｔｅｎｔｉ ｏｎｔｏｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎａｃｃｕｒａｃｙａｎｄｐａｉ ｄｌｉｔｔｌ ｅａｔｔｅｎｔｉ ｏｎｔｏｉ ｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｗｈｉｃｈｉｓａｎｉ ｎｅｖｉｔａｂｌ ｅｐｒｏｂｌ ｅｍｗｈｅｎｓａｆｅｔｙｏｆｍｏｄｅｌｗａｓｃｏｎｃｅｒｎｅｄ．Ｔｈｉ ｓｐａｐｅｒｔａｋｅｓａｖｉ ｅｗｏｆｈｕｍａｎｄｅｃｉ ｓｉ ｏｎｍａｋｉ ｎｇａｎｄｐｒｅｓｅｎｔｓａｎｅｗｍｕｌ ｔｉｃｌ ａｓｓｉ ｆｉｅｒｅｎｓｅｍｂｌ ｅａｌｇｏｒｉ ｔｈｍｎａｍｅｄｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｅｎｓｅｍｂｌ ｅｗｈｉｃｈｂａｓｅｄｏｎｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｍｅｍｏｒｙｔｈｅｏｒｙｄｅｓｃｒｉ ｂｉ ｎｇｔｈｅｐｒｏｃｅｓｓｏｆｈｕｍａｎｄｅｃｉｓｉ ｏｎｍａｋｉ ｎｇｗｉｔｈｍｅｍｏｒｙ． Ｉｎｏｒｄｅｒｔｏｇｅｔｔｈｅ收稿日期：２０１９１０１０； 在线发布日期：２０２０ ０９１５． 本课题得到国家自然科学基金项目（６１７２２２１１，６１８７２３ ３８，６ １９０２３８１） 、 北京智源人工智能研究院ＣＢＡＡＩ２０ １９ＺＤ０３０６） 、 中国科学院青年创新促进会（２０１４４ ３１０） 、 国家重点研发计划（２０１６ＱＹ０２Ｄ０４０５） 、 联想中科院联合实验室青年科学家项目、 王宽诚教育基金会、 重庆市基础科学与前沿技术研究专项项目（ 重点） （ｃｓｔ ｃ２０ １７＿ｊｃｊ ｙＢＸ（）（）５９） 和泰山学者工程专项经费（ ｔｓ２０１５１１０８２） 资助． 于思皓， 博士研究生， 主要研究方向为强化学习、 集成学习、 自适应网络． Ｅｍａｉｌ： ｙｕＳｉｈａ〇＠ｉｃｔ ．ａｃ．ｃｎ． 郭嘉丰， 博士，研究员， 中国计算机学会（ＣＣＦ） 会员， 主要研究领域为信息检索、 数据挖掘． 范意兴， 博士， 助理研究员， 主要研究方向为信息检索、 自然语言处理． 兰艳艳， 博士， 研究员， 中国计算机学会（ＣＣＦ） 会员， 主要研究领域为机器学习、 排序学习、 信息检索． 程学旗， 博士， 研究员， 中国计算机学会（ ＣＣＦ） 会员， 主要研究领域为网络科学、 网络与信息安全、 互联网搜索与数据挖掘．于思皓等： 基于知识线记忆的多分类器集成算法 ４６ ３３ 期ｉ ｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｌｉ ｋｅｈｕｍａｎｄｅｃｉｓｉ ｏｎｍａｋｉｎｇ，ｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｅｎｓｅｍｂｌ ｅａｌｇｏｒｉｔｈｍｉ ｍｉｔａｔ ｅｓｔｈｅｌ ｅａｒｎｉ ｎｇａｎｄｉ ｎｆｅｒｅｎｃｅｐｒｏｃｅｓｓｅｓｏｆｈｕｍａｎａｃｃｏｒｄｉｎｇｔｏｔｈｅｐｓｙｃｈｏｌ ｏｇｉ ｃａｌｔｈｅｏｒｙｄｅｓｃｒｉｐｔｉ ｏｎ． Ｉｎｔｒａｉ ｎｉ ｎｇ，ｔｈｅｍｏｄｅｌｔｒｉｅｓｔｏｃｒｅａｔｅｍｅｍｏｒｙｃａｌ ｌ ｅｄｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｌｉ ｋｅｈｕｍａｎｔｏｓｔｏｒｅｍｅｍｏｒｙａｂｏｕｔｓｏｌ ｖｉｎｇｄｉｆｆｅｒｅｎｔｐｒｏｂｌ ｅｍｓａｎｄｆｏｒｇｅｔｍｅｍｏｒｙｌ ｉｋｅｈｕｍａｎｉ ｎｏｒｄｅｒｔｏａｖｏｉｄｓｉｎｋｉ ｎｇｉｎｔｏｓｐｅｃｉ ａｌｂａｄｃａｓｅｓ． Ｋｎｏｗｌ ｅｄｇｅ ｌ ｉ ｎｅａｎｄｔｒａｉ ｎｉ ｎｇｓａｍｐｌ ｅａｒｅｏｎｅ ｔｏｏｎｅｃｏｒｒｅｓｐｏｎｄｅｎｃｅ． Ｋｎｏｗｌ ｅｄｇｅ ｌ ｉ ｎｅｉｓａｓｕｂｓｅｔｏｆｇｉｖｅｎｗｅｌ ｌ ｔｒａｉ ｎｅｄｃｌ ａｓｓｉｆｉｅｒｓｗｈｉｃｈｃａｎｒｅｓｕｌ ｔｉ ｎｒｉｇｈｔｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎｏｎｔｈｅｃｏｒｒｅｓｐｏｎｄｉ ｎｇｓａｍｐｌ ｅ．Ｄｉｆｆｅｒｅｎｔｓａｍｐｌ ｅｓｒｅｓｕｌ ｔｉｎｃｒｅａｔｉ ｎｇｄｉｆｆｅｒｅｎｔｋｎｏｗｌ ｅｄｇｅ ｌ ｉ ｎｅｓ，ｓｏａｆｔｅｒｔｒａｉ ｎｉ ｎｇ，ｔｈｅｍｏｄｅｌ ｓｔｏｒｅｓｖａｒｉｅｄｋｎｏｗｌｅｄｇｅｌ ｉ ｎｅｓ． Ｔｈｅｓｅｋｎｏｗｌｅｄｇｅｌ ｉ ｎｅｓｃｒｅａｔｅａｓｅｔｏｆｍａｐｐｉ ｎｇｓｗｈｉｃｈａｒｅｕｓｅｄｔｏｍａｐｆｅａｔ ｕｒｅｓｐａｃｅｔｏａｎｓｗｅｒｓｐａｃｅ．Ｉｎｉ ｎｆｅｒｅｎｃｅ， ｔｈｅｍｏｄｅｌｃｈｏｏｓｅｓａｓｕｂｓｅｔｏｆｅｘｉｓｔｉ ｎｇｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｓｔｏａｃｔｉ ｖａｔｅｄｅｐｅｎｄｉ ｎｇｏｎｈｅｕｒｉｓｔｉｃｓｒｕｌ ｅｓ．Ｔｈｅｓｅａｃｔｉ ｖｅｋｎｏｗｌ ｅｄｇｅ ｌ ｉ ｎｅｓｗｉ ｌ ｌｗｏｒｋ，ａｎｄｖｏｔ ｅｔｏｇｅｔａｒｅｓｕｌ ｔ． Ｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｅｎｓｅｍｂｌ ｅａｌｇｏｒｉ ｔｈｍｉ ｓａｋｉ ｎｄｏｆｓａｍｐｌ ｅｄｒｉ ｖｅｎｍｅｔｈｏｄ，ｗｈｅｎｉ ｎｆｅｒｒｉ ｎｇａｎｅｗｃａｓｅ，ｏｎｌ ｙｔｈｅｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｓｂｏｒｎｗｉｔｈｆａｍｉｌｉａｒｓａｍｐｌ ｅｓｗｉｌ ｌｂｅａｃｔｉ ｖａｔｅｄ．Ｉｔｓｅｅｍｓｔｈａｔｈｕｍａｎｂｅｉ ｎｇｓｔｈｉ ｎｋｏｆｓｏｌ ｕｔｉ ｏｎｉ ｎｍｅｍｏｒｙｗｈｅｎｓｕｆｆｅｒｉ ｎｇｆｒｏｍｔｒｏｕｂｌ ｅｓ．Ｓｏｋｎｏｗｌ ｅｄｇｅ ｌ ｉ ｎｅｅｎｓｅｍｂｌ ｅａｌｇｏｒｉ ｔｈｍｉ ｓｕｓｉｎｇｓａｍｐｌ ｅｄｄａｔａｔｏｍａｋｅｄｅｃｉｓｉ ｏｎｓ．Ｓｐｅｃｉａｌ ｌ ｙ，ｂｅｃａｕｓｅｔｈｅｐｒｏｃｅｓｓｔｈａｔｔｈｅｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｍｅｍｏｒｙｔｈｅｏｒｙｕｓｅｓｃｏｍｐｕｔｉ ｎｇｕｎｉ ｔｓｔｏｃｏｎｓｔｒｕｃｔｋｎｏｗｌ ｅｄｇｅｌ ｉ ｎｅｓｉ ｓｓｉ ｍｉ ｌ ａｒｔｏａｄｄｉ ｎｇｅｌ ｅｍｅｎｔｓｔｏｓｅｔｓ，ｉ ｎｏｒｄｅｒｔｏｄｅｓｃｒｉ ｂｅｔｈｅｃａｌｃｕｌａｔｉ ｏｎｐｒｏｃｅｓｓｏｆｔｈｅａｌｇｏｒｉ ｔｈｍｂｅｔｔｅｒ，ｔｈｉｓｐａｐｅｒｕｓｅｓｍａｔｒｉｃｅｓｔｏｍｏｄｅｌｔｈｉｓｐｒｏｃｅｓｓ． Ｔｈｅｃｏｎｎｅｃｔｉ ｏｎｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｓａｎｄｔｈｅｃｏｍｐｕｔｉ ｎｇｕｎｉｔｓｃａｎｂｅｒｅｐｒｅｓｅｎｔｅｄｂｙａｎａｄｊａｃｅｎｃｙｍａｔｒｉ ｘ，ｔｈｅｒｅｓｕｌ ｔｓｏｆｄｉ ｆｆｅｒｅｎｔｃｌ ａｓｓｉ ｆｉｅｒｓｃａｎｂｅｓｔｏｒｅｄｂｙａｃｌ ａｓｓｉ ｆｉｃａｔｉ ｏｎｍａｔｒｉ ｘ，ａｎｄｔｈｅａｃｔｉ ｖａｔｉ ｏｎｏｆｔｈｅｋｎｏｗｌ ｅｄｇｅ ｌ ｉ ｎｅｓｃａｎｂｅｃｏｍｐｌ ｅｔｅｄｉ ｎｔｈｅｆｏｒｍｏｆｔｈｅｉ ｎｎｅｒｐｒｏｄｕｃｔｏｆｔｈｅｒｅｓｕｌ ｔｓｏｆａｌ ｌｋｎｏｗｌ ｅｄｇｅ ｌｉｎｅｓａｎｄｔｈｅａｃｔｉ ｖａｔｉ ｏｎｖｅｃｔｏｒｓ．Ｓｏｔｈｅｆｉ ｎａｌｃｌ ａｓｓｉｆｉｃａｔｉ ｏｎｒｅｓｕｌ ｔｃａｎｂｅｅｘｐｒｅｓｓｅｄｉ ｎｔｈｅｆｏｒｍｏｆｍａｔｒｉ ｘｍｕｌｔｉｐｌｉｃａｔｉ ｏｎ．Ｏｎｔｈｉｓｂａｓｉｓ，ｔｈｅｇｏａｌａｎｄｃｏｎｖｅｒｇｅｎｃｅｏｆｔｈｅａｌｇｏｒｉｔｈｍａｒｅｅｘｐｌａｉ ｎｅｄ．Ｉｎｔｈｅｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｉｓｐａｐｅｒｕｓｅｄｄｅｃｉｓｉ ｏｎｔｒｅｅｓａｓｔｈｅｇｉｖｅｎｃｌａｓｓｉ ｆｉｅｒｓ．Ｕｎｄｅｒｔｈｅｓａｍｅｇｉ ｖｅｎｃｌａｓｓｉ ｆｉｅｒｓ， ｅｘｐｅｒｉ ｍｅｎｔｓｓｈｏｗｅｄｔｈａｔｋｎｏｗｌ ｅｄｇｅ ｌｉｎｅｅｎｓｅｍｂｌ ｅａｌｇｏｒｉｔｈｍｈａｄｃｏｍｐａｒａｂｌ ｅａｃｃｕｒａｃｙｗｉｔｈｒａｎｄｏｍｆｏｒｅｓｔｗｈｉｃｈｕｓｅｓｎｏｒｍａｌｖｏｔｉｎｇａｓｉ ｔｓｃｏｏｒｄｉ ｎａｔｉｎｇｓｔｒａｔｅｇｙ．Ｍｏｒｅｉ ｍｐｏｒｔａｎｔｌｙ，ｋｎｏｗｌｅｄｇｅｌ ｉ ｎｅｅｎｓｅｍｂｌｅａｌｇｏｒｉ ｔｈｍｃａｎｄｉｓｃｒｉｍｉ ｎａｔｅｔｈｅｄｉｆｆｉｃｕｌ ｔｙｏｆｉ ｎｆｅｒｅｎｃｅｃａｓｅｓａｃｃｏｒｄｉｎｇｔｏｔｈｅａｃｔｉ ｖｅｓｉ ｔｕａｔｉ ｏｎｏｆｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｓａｎｄｇｉ ｖｅｓｐｅｃｉ ｆｉｃｔｒａｉ ｎｉ ｎｇｃａｓｅｓｔｏｓｕｐｐｏｒｔｔｈｅｉ ｎｆｅｒｅｎｃｅｗｈｉｃｈｍａｋｅｓｉｔｓｒｅｓｕｌ ｔｓｍｏｒｅｃｏｎｖｉ ｎｃｅｄ．Ｋｅｙｗｏｒｄｓｍｕｌｔｉｃｌ ａｓｓｉ ｆｉｅｒ；ｋｎｏｗｌ ｅｄｇｅ ｌｉ ｎｅｍｅｍｏｒｙｔｈｅｏｒｙ；ｈｅｕｒｉｓｔｉｃｓ；ｓａｍｐｌ ｅｄｒｉｖｅｎ；ｉ ｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｉ 引 言随着大数据时代的推进， 数据所蕴含的模式多元化， 机器学习算法需要解决的任务愈发困难． 在多变的任务中， 模型结构趋于复杂， 参数量愈发庞大．但是“没有免费的午餐”原理［１］是一个无法打破的枷锁， 它论证了单个模型能力的局限性． 若要有所突破， 多个模型的合作势在必行．正如在多个器官的共同作用下， 人类得以生存．擅长不同任务的智能体合理地组成一个系统， 就可以解决更多样化的问题． 混合智能系统［２］也是在这样的构想下被提出的． 在机器学习任务中， 分类问题与回归问题是重要的基础问题． 针对分类问题， 多分类器系统作为混合智能系统的分支在文献［３］ 中被提出． 多分类器系统重点在于采用“分而治之”的理念． 它将复杂的分类问题分解成多个简单的子问题，分别使用单模型逐个击破后， 再合理地将这些模型组合以得到原问题的解决方案．如今， 多分类器集成算法在各种任务中扮演着重要角色， 也是机器学习竞赛中提升成绩的重要手段． 但是在金融、安全等任务上， 仅有分类正确率是不够的， 即使模型在测试集上的正确率达到１００％，模型也依旧具有极大的可能在新的样本上给出荒谬的结果． 原因是， 仅靠类似正确率的一个指标， 只能做出现实世界中大多数任务的不完整描述［４］． 模型做出决策的原因是不能忽略的．现有的多分类器系统所使用的集成策略， 在推４６４ 计導机攀报： ＿１苹断时无法绐出做决策的具体原因； 无法像Ｋ近邻？、 协同过滤［ ６］等模型一样显式的缋出推断时起作用的训练样本事．实上， 在心理学的研究中， 知识幾记忆理论［７］说明了人在Ｉｔｅ策时会激致过往数据产生的记忆＊甩旧例子作为依据来推测新问题的答案．本文的贡献主繫有以下几点：（１．） 本文用鉅阵对知识． 线记忆理论的计算框架进行了数学曾模、ｒ：２） 本变 合心邀学中的知识线记恬遒论提出了一种新的多分类器皇： 成策略？ 称为＇知识錢集成算法． 该算： 法具有良好可龢释性， 且分类正输．与现有集成分类算法保持在同一水平．（３） 该算法为使用者提供了丰富、 简单的模盤分析手段？ 可以量化类别推断难度， 仿计类别、 祥本之： 间产生混籍的概辱．２ 背景介绍与相关工作本文根据心理学中的知识线记忆理论， 设计了一套．氣发．式多分类器集成箅法？ 本节将介绍多分类器系统的相关工作（参考文献［８，］） 与知识线记忆理论的背景知识，２．１ 多分类器系统多分类器系统： ＆混脅替能系统中的一个童：要分亥， 旨＇在集威多个模盤解决分类问题－ 它的拓扑结构會厕种： 縫式鍺构与分＃式绩掏＿链式结构如图１ 所示， 所有分类器成员有序排列， 数据从前到后逐个经过每个分类器． 分类器成员在训练中遂个产生５ 每个新成员是在给定已有分类器与爾前集成绪果的条件下得到的？ 链式结构主赛有两种运行模式． 第一种为数据传递型［ １ ° １ ６ ］． 前置分类器接收到数据时， 计售铮到推断的结果并评估此错果的可信程度， 若可信度不足， 则把数据发送绐后续的分类器， 直到有分类器第出苽情结果＊ 这种方式有耆萌显的弊端： 分类器成员的数量难以控制、可偉虞难以评估， 被拒绝的绪果对后续分类器作用有限．因此，．第二种模式， 合作型， 也就是Ｂ〇〇ｓｔｉ ｎｇ［ ｌ Ｍ＇°］应运面生． 每个分獎器不再讨论难以评估的结果可信度， 而是直接使用监督擊习的方式找出推断错误的训练样本：？ 分类器不再遂条数据进行训练， 而晕面向整个数据集， 根摒前置：聲类器的表现调整数据分布；推断结巣由所有分类器的加权和得到， 而不是完．．全由：最后的分类器决定． 链鸯绪构下， 分类器之间必然会： 产生辍大： 相：关性， Ｗ本文主蘩研究：独重的分義：器集成方法＞所以此处不再对链式Ｍ梅相关方法的发展进行更深人地讨论？Ｌ结果ｃｚｊ〉结果＿１ 縣式＿歸＿＿分布式的结构如菌之所示， 它要求分类器成見输人的数据相同．结果独立， 且分类器群体，具有多样性？文載［２ｉ］， 从统计学出发＊论证了炁穷个无偏、 独立分类器的结果均值与綦佳贝叶斯分类器效果一致． 它说明了独立的多个分类器， 使用“少数服从多数”的投票策略进行决策是一种多分类器结渠融＃的有效思路？ 它对分布式多分类器系统的发， 提有着指导翥义． 分布式多分类器系统的设计主要是解斑两个问题： 其一， 如何＇得到具有多样性且独立性较高的分类器集合； 其二， 如何将多个分类器的緒果融合成一个结果．针对第一个问癍，解洪方案可以分为商类， 数摒乘＃与模谨多样化． 数据采样包括祥本的随机采■祥．比如Ｂａｇｇｉ ｎ＃？； 特征的随机采样， 比如随机森林％在决策树上的尝试， 文献［２４］在线性分类器上的尝试， 文献［２５］在最小距离分类器上的尝试； 数据待征空间分割， 比如文献［２６］ 中所提出的模型； 数据特怔子集的随机投泰， 比如ＡｔｔｒｉｂｕｔｅＢａｇｇｉｎｇ［２７］；敫磨标簦德形式修改ｓ 比如文鑛［２３］将箱暴改成多次一对多的二分类形式． 模塑多样化指模型在训练过程中， 模■受到干预导致的多样化， 比如使用不同初始化的神餐两络， 部分节＊随机分裂的决策树等？针对第二个问癍， 主婆有三种觀决方案ｒ标签融合、函数融合和训练融合．标？签融合豢指多个分类器错果按． 照一定的规则合成一个緒果． 布文献［２１］的基础上， 可以证明若每个分类器成、员的正确率大于于思皓等： 基于知识线记忆的多分类器集成算法 ４６ ５３ 期随机分类的正确率， 则整体投票结果的正确率将比分类器成员正确率均值高． 可见，“少数服从多数”的结果投票是简单有效的方法， 除此之外， 文献［２９］认为不同的分类器应有不同的重要性， 所以提出了带权重的投票来组合分类器结果． 文献［３０ ３２］利用特征信息来辅助完成结果融合． 而函数融合是把每个分类器得到的分数融合成最终结果， 比如文献［３３ ３５］使用ＳｏｆｔＭａｘ函数把多个分类器的结果重构成最终结果的后验概率， 文献［３６］构建结果的最优投影得到统一的结果． 以上方法都基于人为设定的规则， 其实融合结果的函数也可以通过机器学习得到， 即训练融合． 它可以使用决策树［ ３ ７ ］、 感知机［ ３ ８ ］、进化算法［ ３ ９ ］、数据包围分析［４°］学习权重； 使用强化学习［ ４１ ］、启发式搜索［ ４２ ］剪枝； 使用Ｓｔａｃｋｉ ｎｇ［切把结果作为输人再次训练， 或者将所有分类器的结果作为特征输人到一个融合分类器中进行训练， 比如神经网络［４４］、 贝叶斯分类器［４５］， 来得到一个组合多分类器结果的模型． 而本文提出的方法是一种更具有可解释性的启发式剪枝方法．多分类器系统是重要、 前沿的方法， 它的应用十分广泛， 比如在遥感上的土地覆盖制图［４６ ］、 变化检测［ ４７ ］、 计算机安全上的手机通讯［ ４８ ］、 网络安全［ ４９ ］，银行中的欺诈检测［ ５°］、经济风险评估［ ５ １ ］， 医药中的蛋白质折叠检测［５ ２］、 神经科学［５ ３］以及推荐系统［ ％５ ５ ］等． 在众多机器学习竞赛中， 集成学习、 模型融合也是提高指标的重要手段． 目前的集成方法虽然能提供良好的分类性能， 但同样重要的模型可解释性却都有所欠缺． 而在上述提到的众多应用中， 尤其是与安全和风险有关的应用， 模型的可解释性往往是更重要的需求．因此本文从心理学中的知识线记忆理论出发， 设计了一个具有良好可解释性的启发式分类器集成算法．２． ２ 知识线记忆理论知识是如何表述、 存储、 提取、 使用的？ 心理学中的知识线记忆理论尝试回答了这个问题． 每当你“有一个好主意”， 解决了一个问题时， 你就会创建知识线来记忆它． 知识线会与被激活的思维智能体相联结， 之后当你再次激活此知识线时， 与这个知识线联结的智能体就会被激活， 使得你进人之前解决问题时相似的“思维状态”． 这就让你在解决新的、 相似的问题时， 感到容易一些． 这就是知识线的基本理论．此处引用《心智社会》［ ５ ６ ］中提到的一个例子： 当你想要维修一辆自行车， 在你开始之前， 先将红色油漆抹在手上． 这样你所用过的所有工具都会有红色的记号．当你修好之后， 只要记住红色标记表示“有助于修车”， 下次你再修自行车的时候就可以节约时间， 只需要把涂了红色标记的工具拿出来就可以了．这里的红色就是知识线， 工具就是思维智能体． 如果你用不同的颜色标记不同的工作， 有些工具最后可能会有不止一种颜色． 每个智能体可以和多个知识线相联结．当问题来临， 只要激活问题相关的知识线即可．知识线理论阐述了人类构建记忆和使用记忆的过程， 是心理学中对人类行为的一种基于经验的解释， 是目前比较被认同的一种猜想． 本文算法受到此理论的启发， 对其计算框架进行数学建模， 将知识线抽象成线性算子， 构造出新的多模型集成算法． 正如知识线记忆理论可以对人类行为进行解释， 类知识线的构造也赋予了本文算法较好的可解释性．３ 知识线集成算法本节将详细介绍本文提出的知识线集成算法，首先３．１ 节用矩阵建模了知识线集成算法并给出计算框架；３．２ 节针对知识线理论中未知的复杂函数，给出了知识线集成算法中的定义；３．３ 节、３．４ 节中具体说明了知识线训练与推断的过程， 并给出了算法流程以及相关的描述与分析． 最后３．５ 节中对算法的可解释性进行了说明．３． １一般投票与知识线集成计算框架给定ｎ个独立的？类分类器算子， 构成向量：Ｃ＝，ｃ２ ，…，ｃ？）， 对于给定数据特征ｘ有其中， 表示第ｒ 类分类器结果是否为＿；， 且有＝则分类器结果％ｅｕ，２，…，ｊ出｝ 有＝ａｒｇｍａｘｃ？，１，２，…，（〇（２）按照“少数服从多数”的一般投票方式， 对每个分类器的结果进行公平的计数， 最终票数最多的类别作为最终的结果：ｙ＝ａｒｇｍａｘＩ（ｙｔ＝ｚ），ｚ＝１， ２，？ ？ ？， ｗ（ ３）４６６ 计導机攀报： ＿１苹其中．１（ ０齿示性函数， 当自变量逻辑方真时緒果为１， 假时为〇． 在：式（ ３ ） 中， 若第ｆ 个分类器结果＿ｖ，等于 则结果为１： ，．否雍为〇．以上歲： Ｂａｇｇｉｎｇｆ乘翔的做齒． 狼鑛‘Ｂａｇｇｉｎｇ方法的结论，当筹个分类器的结果错误率低于随机分类错误率时． Ｂａｇｇｉ ｎｇ得到结果的错误率低于拳一分类器的错误率坶值＾且在《趋予无穷时Ｂａｇｇｍｇ结果的错误率趋乎理论最小错误率．从统计学ｌｌ！） 角度丰看， 上述方法有很好的理论保证．后续的众多研究也都是在其基础上改进的． 但是这些方法都Ｈ注重最终结果的正确？，却忽视了箕法的可解释性，根据心理学中的记忆理论， 人脑会根据需要，唤観一部分智能体进拧决章， 而具体应该唤靡娜些智能体， 由人脑之前的记忆决定， 而本文受到此理论的启发， 将多分类集成的过程嵌人到知识线忠忆理论的框架下，得到知识线集戚算法计算框架如图３掰示？□激活ｙ图３ 知识线集成算法计算框架Ａ＝．， 仏６｛〇，１｝ ， ＾１，…，＂（ ５）若ａｚ＝ｌ 则表示第ｚ‘个知识线Ｉ被激活． 最终不同分类结果的分值 （＾，５２ ，…， ＆）＝ＡＫ＊Ｃ（ ｘ）即ａｉＴ ＾７＊７＊７＊＾々１ １々１ ２…泛ｌ ｖＣｌ（ｘ）＇ａ２ ｋｎｋ＾２？？ ？ｋｚｖｃ２（ｘ）ＡＴｉ…々二Ｃｖ｛ｘ）其中，１Ｔ为Ｋ每行经过标准化后的结果， 且有％＝心／ＩＸ－ 雜分类结果为ｊａｉｇｍａｘＳ？ ．１ ＾ 〇〇（７）从式（６） 可以看出． 知识续集成算法本质上是一种加权集成的做法４且与传统加权集成算法不同的是， 本奪法中的权童矩阵Ｋ是通过模拟知识线记忆痤论中记忆更新迭代的方法得到的， 这使得它可以进行羣申霄前可解雜性：方面的分析？ 具＃将在后文进行讨论．３． ２ 知识线的计算知识线集成算法的计算框架ａ羟在３． １ 节中详细说明， 但是如何计算知识线矩阵ｋ中的元素匕以及激活向量Ａ中的元素 还未定义． 实际上知讽线理论对宁知识线的激活以及计算单元的激括何题也只给出了逻辑表述而缺乏具体箅法， 本文本着计算简单？有效Ｋ符合知识线遅论中相关＿述的原则， 对知识线这部分的具体内容与计算方法迸行了设计．计算長中的分类器算子Ｑ．扮演翁知识线记忆理论中的计算单元， 它冒以提供最基础的决象知识．层中的 代表知识线理论中的知识线， 它与计箕ｊｔ中的计算单元相联结，＃当前存在戶个知识线》则它的形式为其中Ａｅ： ０，１丨．示第＾个知识线暴否徵活第Ｊ 个分类器， 若心＝１，则表示激活ｓ当接收到数据特征Ｘ时， 根据知识线理论中的表述，Ｒ有与间题相关的知识线应诙被激務， 园此激活层Ａ的目标是对知识线进行激活， 它的形式表达如下：３． ２． １ＷＭＷ计算层中计算单元的激活由与其联结的知识幾控制， 若第ｉ 个知识锞与第ｉ 个分类摇联结则會ｈ否则ｈ＝〇． 根据记忆理论， 当遇到充法解决的问题时． 大脑不断尝试激活不同的计算单元子集；直到找到解决该何题的子集后，使用一＾智能体与本次激活的计算旱元相联结， 从而构建一个知识线．即． 找到一个集合Ｃ卞！ ＾ ，”？， Ｈ吏得以下条件處： 立：＾ｘ＂＾ａｒｇｍａｘＩＣｇ—■ａｒｇｘｘｘ＆ｘｅｉ（ｘ）ｉ，ｆ＾Ｃ８）＝ｃ￣ｅｅ｝＝＇＿中， 》，＝１，２， ， …，ｃ〇．，ｙｓ为正确的类别？ 因为勝有分类器的集合较大， 且随机采禅撙到的Ｃ／不能保证结果班确性， 所以此处令＝Ｃ＊， 且对于 Ｃ％，＝ａｒｇｍａｘＫＪＴ）＝＿ 这样即可保证结果的Ｅ确性， 从于思皓等： 基于知识线记忆的多分类器集成算法 ４６ ７３ 期而避免低效的重复采样．３．２．２ 知识层激活当使用知识线集成算法进行推断时， 激活层将选取部分知识层中的知识线进行激活， 即计算 根据知识线理论的描述， 知识线是根据某个特定问题产生的， 之后若遇到类似问题， 此知识线将被激活．在本文算法中， 当知识线 为了记忆样本 而产生时， 此样本的类别＞也同时被记忆．当对新的样本Ｘ＇进行推断时有：ａｔ＝Ｉ（ｙｋ＝ａｒｇｍａｘ（／；！ Ｃ（ｘ，） ） Ｊ（９）１ｚ其中， 《？） 为示性函数， 当自变量逻辑为真时结果为１， 假时为〇． 在式（９） 中， 若知识线ｔ判定Ｘ＇与＇有相同的标签则被激活． 知识线先所联结的分类器构成了类别 的印象， 若在同样的映射下 得到相同的结果， 说明Ｙ与＇具有相似性． 因此， 式（９）的是符合知识线激活描述的一种激活方法．３． ３ 记忆的产生知识线集成算法主要包含三部分， 激活矩阵Ａ，知识线矩阵Ｋ， 分类算子向量Ｃ， 其中Ｃ如式（１） 的形式， 是提前训练完成的； Ａ是基于Ｋ得到的， 而Ｋ中参数需要通过学习获得． 记忆的产生即知识线的更新， 也就是Ｋ的训练， 其具体算法如下：算法１． 知识线矩阵参数学习．输人： 分类算子向量Ｃ； 数据集Ｄａｔａ输出： 知识线矩阵Ｋ１．初始化夂二⑦， 。，…， ０） ，九＝（０）２． ＦＯＲ（ｘ， ｙ）ｉ ｎＤａｔａＤＯ３． ｙ＝Ｉｎｆｅｒｅｎｃｅ（Ｃ， Ｋ，ｙＫ，ｘ）４． ＩＦｙ＇＾ｙＴＨＥＮ５． ｋ’＝（Ｊ（ｘｉ（．ｘ）—ｙ．） ，…，Ｉ（．ｃｖ（．ｘ）—ｙ．）＇）Ｔ６． Ｋ＝（ＫＴ＼ｋ／ｙ，ｙＫ＝（ｙＫ＼ ｙ＾７． ＩＦｎｅｅｄｆｏｒｇｅｔＴＨＥＮ８． ｋ２ ＝ａｒｇｍｉ ｎＰｒｅｃｉ ｓｉｏｎ（＾）９． Ｋ＝ （ｈ，…， ｔ ；！，是出，…， 心前）Ｔｌ〇．ｙＫ＝（．ｙｈ，－， ｙｈ ｌ， ｙｈ＋ｌ，－， ｙ％Ｊ１１．ＥＮＤＩＦ１２．ＥＮＤＩＦ１３．ＥＮＤＦＯＲ１４．ＲＥＴＵＲＮＫ训练伊始， 模型不存在记忆， 此时Ｋ中不包含有效信息，当遇到问题时， 若此时依靠知识线无法推断出正确答案， 则需要参考正确答案． 算法１ 第５ 行中的ＫＯ为示性函数， Ｋ＾（ｘ）—＿ｙ）＝ｌ 则表示第＊个分类器结果正确． 这样得到的ｆ即可满足式（ ８）的要求． 将ｆ添加到Ｋ的最后一行并记录知识线Ｖ所对应的类型＿Ｖ ， 即完成了一次知识线的更新． 经过一段时间的迭代后， 知识线矩阵中已经储存了一定信息， 此时若推断错误有两个原因： 其一， 现有知识线尚未覆盖当前问题， 所以依旧需要执行上述更新记忆的操作； 其二， 现有知识线中存在精准率较低的特例知识线， 它严重影响了整体集成的效果， 这个问题则需要通过遗忘来解决．在遗忘过程中， 模型会按照给定概率＾删除一条知识线如下：Ｎ＾］ｌ（ｙｉ＾ｙｋ＾ ｙｋ， ＾ｙｋ）ｌｚ＾ａｒｇｍｉ ｎ＾￣＾（１０）ｋ＾Ｋｉ ｉ其中， Ｎ为样本总数，ＪＯ） 为示性函数， 表示被错误激活的知识线集合即集合内元素被激活但所对应的类别是错误的， 表示知识线＆ 对应的标签，表示知识线＆ 对第ｚ 个数据判断的结果， ％表示第ｚ个数据的真实标签． 式（１０） 可以更直观的表述为ｋｆ—ａｒｇｍｉｎＰｒｅｃｉｓｉｏｎ（ｋ）（ １１）ｋｅＫＡ即在犯错的知识线中找到精准率最低的知识线进行删除． 不妨设ｆ在知识线矩阵ｋ的第ｚ 行． 所以经过遗忘之后的知识线矩阵为（々！，…，々「！，々！ ＋１，…，々Ｋ）Ｔ（１２）由于激活操作的存在， 本算法实际上使用了二分类器集合来判断样本是否属于某特定类别， 并通过投票解决多分类问题， 因此当解决Ｗ分类问题时， 目标函数可设置为最大化ｉ？：Ｒ＝ｐｒｅｃｉｓｉｏｎ，Ｊｒｒｅｃａｌｌｌ （ １３）对于类别为＿； 的单个知识线， 它只对所属类别的精准率即＾？ｅｃｗｗｗｑ以及其他类别的召回率即内起作用． 此知识线精准率越高则本身所属类别精准率越高， 且对其他类别的召回率负面影响越小． 特别地， 当精准率为１〇〇％时， 此知识线仅对自身类别样本的推断提供正确信息且完全不影响其他类别． 单个知识线的高召回率可以有效减少知识线的必要数量， 但并不是单个知识线的必要目标． 精准率是单个知识线唯一需要考虑的目标， 且精准率越高效果越好， 所以在遗忘知识线时采用贪心算法，留下精准率更高的知识线． 在保证高精准率的情况下， 增加知识线的过程则可近似成用贪心法解决集合覆盖问题的过程． 无法正确推断的样本相当于未４６８ 计 算机 学 报 ２０２１年覆盖的元素， 模型添加至少能解决此样本的知识线，相当于覆盖问题中增加一个至少包含此未覆盖元素的集合． 因此随着训练迭代， 知识线集成召回率将逐步提局．３． ４ 记忆的使用不管是使用知识线集成完成测试， 还是训练中判断记忆是否可以解决问题， 都需要使用知识线完成数据到类标签的映射． 记忆的使用即推断的过程，具体步骤如下：算法２． 知识线集成推断 函数．输人： 分类算子向量 知识线矩阵Ｋ， 知识线类别标签＆； 数据特征Ｉ输出： 推断结果：／１． ＝ａｒｇｍａｘ（＾Ｃ（ｘ） ）２）， ｚ＝１，２ ，？ ？ ？， Ｋｒｏ ｗ１ｚ２． Ｃｔｉ＾ ＣＬ２）＊ ＊ ＊） ）３． Ｋ＊＾ｒｏｗｎｏｒｍａｌｉｚｉ ｎｇＫ３． Ｓ＝ＡＫ＾Ｃ（ｘ）４．３／＝ａｒｇｍａｘ “＝１，２，…，＞ Ｓｃ〇 ｉ５． ＲＥＴＵＲＮ３／根据式（ ９） 得到激活矩阵Ａ， 根据式（６） ， 得到不同类别的分值Ｓ， 其中分值最高的类别则为推断结果． 若存在多个类别分值相同则随机选择其中一类输出．３． ５ 可解释性在知识线矩阵训练的过程中， 可以记录产生记忆时被激活的分类算子集合Ｇ、被记忆数据的特征ｘ和标签＿ｙ， 这些是知识线可解释性分析的要素， 因为Ｖｃ，ｅＧ，ｃ，（ Ｘ）＝＿ｙ， 若ｑ连续， 则有Ａ（ ｘ＋Ｓ）＝＿ｙ当ｓ— ０ 时成立， 所以知识线包含了“形如ｘ的数据标签为，的信息．当一个新的数据Ｙ需要被推断时， 知识线会使用Ｇ来判断，的标签是否为＿ｙ． 这实际上是一种类似谱聚类［ ５ ７ ］的过程， 如果Ｇ可以把Ｖ映射到标签＿ｙ， 则说明Ｖ和＾在＜＾关注的特征上距离较近， 所以Ｙ和ｘ之间存在着一定的相似性．因为在记忆中存在着和新数据Ｙ相似的数据ｘ，所以模型做出了Ｙ的标签可能是＿ｙ 的推测． 由于记忆是丰富的， 可能有多个知识线被同时激活， 所以最终的结果由知识线投票产生， 而结果的票数则可以反映Ｘ＇是每个类别的可能性． 被激活的知识线也代表着曾经出现过的与Ｙ相似的样本， 最后的结果可以认为是立足于样本进行的投票， 而不是像已有的方法是立足于模型进行的投票． 由于类似的样本大部分是某个标签， 所以算法推断样本是这个标签．知识线集成算法把学习和推断的过程显式的表达了出来．以手写数字识别为例， 模型通过见识各种不同的数字， 并记下曾经不认识的形状应当是什么数字．不仅如此， 不同的人写字的风格不一样， 当模型无法用标准的０？９ 进行判断时， 也会逐渐学会各种不同风格的同一个数字． 根据经验，１ 和７ 经常容易混淆， 那么假设当模型经过足够训练后， 现在需要推断一个长得又像１ 又像７ 的图片到底是哪个数字， 已有的集成方法给出解决方案却不会给出原因， 而知识线集成可以提供很多类似的图片， 并通过统计不同类别图片出现的频次反馈给用户结果． 虽然知识线集成也是将分类器进行集成， 但是中间过程却可以抽取出样本作为推断依据， 让整个过程有理有据．就推断过程而言， 知识线集成有着与Ｋ近邻算法相似的可解释性． 但是知识线集成可以进行更丰富的分析． 知识线数量作为模型的参数， 可以量化问题不同粒度下的难度． 比如， 单个类别的难度可以由不同类别的知识线出现频率量化．容易混淆的类别可以使用被遗忘知识线的混淆情况量化． 每一个测试样本的难易程度， 可以用被激活知识线的种类个数量化． 结果的可信度可以用知识线激活的类别占比量化． 由于引人了知识线， 这些原本难以直接通过模型参数评估的指标， 都可以使用最基本的古典概型诠释．４ 实 验此章节对本文实验所用的数据集、实验的方法做出了介绍， 并对实验结果进行了分析．４． １ 数据集Ｗｉｎｅ、Ｓｔａｔｌ ｏｇ． （ Ｈｅａｒｔ ）、Ｗａｌ ｌ Ｆｏｌ ｌ ｏｗｉ ｎｇＲｏｂｏｔＮａｖｉｇａｔｉ ｏｎＤａｔａ、 Ｅｃｏｌｉ、 ＧｌａｓｓＩｄｅｎｔｉｆｉｃａｔｉｏｎ、 ＢａｌａｎｃｅＳｃａｌｅ、Ｉｒｉｓ、 Ｓｅｅｄｓ、 Ｃｏｎｔｒａｃｅｐｔｉ ｖｅＭｅｔｈｏｄＣｈｏｉｃｅ、Ｃｏｎｎｅｃｔｉ ｏｎｉｓｔＢｅｎｃｈ（ Ｓｏｎａｒ，Ｍｉ ｎｅｓｖｓ． Ｒｏｃｋｓ） 均是加州大学欧文分校机器学习数据库中经典的分类数据集． 它们提供样本多维特征以及相应类型标签，可用于测试分类模型算法性能． 实验是在随机划分数据集的８０％作为训练集， ２０％作为测试集下进行的． 在下文中， Ｓｔａｔｌ ｏｇ．（ Ｈｅａｒｔ ） 简称为Ｈｅａｒｔ ， Ｗａｌ ｌＦｏｌ ｌ ｏｗｉｎｇＲｏｂｏｔＮａｖｉｇａｔｉ ｏｎＤａｔａ简称为Ｒｏｂｏｔ ，ＧｌａｓｓＩｄｅｎｔｉ ｆｉｃａｔｉ ｏｎ简称为Ｇｌ ａｓｓ，Ｂａｌ ａｎｃｅＳｃａｌ ｅ简于思，ｆ： 基Ｔ知识线记忆的攀 戚霄＿ ４６？１２４８１６３２６４１２８２５６５１２知识线数量圓４ 激设儀獄量与正疏率的併结果可见， 知识线集成算法在多个数据麗上表现最佳，． 且在大部分数据集上；不存在显著不足＞可以认为知识线集成算法在不讨论可解释性的情况下，眞费类正猶率与其食黧成算法秦现在同一水平线上＾ 在此基础之上， 引人知识线概念为知识线集成算法增添的可解释性成为了其相比于典他算法的优势厂＆雜＿， 后文重点讨论？也３； ２ 记忆的作用随着模型遭遇无法解决的问■題＼知识线被建立，樣型能力逐渐提高，图４ 所示为Ｆａｓｌｎｏｎ数据集上的实验结果’３撰称漁Ｂａｌ ａｎ＆ｅ， Ｃｏｉ ｉｔｒａｃｅ｜）：ｔｉ ｖ＃祕ｅｔｌｉ＆ｄＣｈｏｉｆｒｆｅ简称为ＧＭＣｓ Ｃｏｎｎｅｏｔｉ ｏｎｉ ｓｔＢｅｎｃｈ（Ｓｏｎａｒ ＃Ｍｉｎｅｓｖｓ．Ｒｏ．ｃｋｓ３筒称为Ｓｏｎａｒ．ＭＮＩＳＴ数据集是一个常用的手写识别数据集． 它的每条数据． 是７Ｓ４ 维的＃征， １ 用ｆ表示一副２８，２８ 尺寸图并華个像愈的灰度僮ｒ标籍为〇？啓的数字：，用来表示图片对应的手写阿拉伯数：字？ 此数擬論拥有ＴＯ〇〇〇．个：圈片样本， 其中训＿＿ＳＭ０Ｏ个，瓢纖１〇〇〇〇 个．Ｆａｓｉｉ ｍｉＭＮＩＳＴ＿＿是一个时眞祕：緯别识别数据集， 以下简称Ｆａｓｈｉｏｎ， 它的维度ｓ 尺寸，数据集大小与ＭＮＩＳｆ完全一致， 总共十类ｔ？ 表示了恤／上衣 表零裤子， ２表球拿头衫＊３表尔＿衣裙，４ 蠢承大农５｜： 裹示凉■表示＃衣， ７蠢示运： 动鞋，８表示包，！ ？ 表示高帮鞋？ 其中每个裘别时样夺数羹翻同？４， ２实验设置本文模遽仅对内存有一定． 要求＊数据． 集越太， 分类难度越高． 所需要的知识线存储空间越大． 本文实＿膚求至少ｉｅＧＢ＿眷．用于对比的Ｘ近邻、 朴素贝叶斯＾ｓ］、 逻辑＿归［５ ９］是传统的非集成分类模型， 随机森林、ＡｄａＢｏｏｇｔ、ＧＢＤＴ［ ６ ０］是经典的集成学习分类模型， ００集成［６ １ ］是迤择性集成的典型做法，它根据结果方向为不同样本选择不苘分类器子集迸行决策．特别地，００集成和知识鱗集成在所有数据業上均使用与随机森林相词的决策树集合作为基础．对于Ｆａｓｈｉｏｎ． 数据集上的可解释性相关实验， 知识线集成了１Ｇ０个决策树分类器》 且所有决策树均为随机抽取Ｆａｓｈｉｏｎ数据集中的２〇０００ 个随机样本的１００ 维随机特征训练得到的．另外， 知识线集成中时遗忘概率对实验结果有一定影晌． 苹文基于大量调优实验，使用待删除知识线的精拿率作为放弃遽忘猶概；４． ３ 分类性能实验与分析钿识线集成算法适用宁任何种类的分类器成员． 在本文实验中， 仅对决策树作为分类器成员进行了验证与讨论．４． ３． １逆＿率对比知识线集成算法作为一种新的多分类器集成算法， 在不祠数摒集上％传统分类算法以及經典集成倉総痕疋瑜宗对比如＿１ 所示．表１ 分类正确率数据集 Ｋ近邻 朴素贝叶斯 逻辑回归 ＡｄａＢｏｏｓｔ ＧＢＤＴ 随机森林 ００ 知识线Ｗｉ ｎｅ０．６３ ８９ ０． ９７２２０． ９４４４０． ９７２２０． ９７２２０． ９６５３ ０． ９７９２０． ９７ ２２Ｈｅａｒｔ ０．６２ ９２ ０．８１４８ ０．７７７８ ０． ８５１９ ０．６８５２ ０．８５１９ ０．８３３３０． ８５１９Ｒｏｂｏｔ０．８６０８０．５３３９ ０．６９１４ ０．９９１８ ０．９９１８０． ９８９０ ０． ９９０８ ０． ９９１８Ｅｃｏｌｉ ０．８６７６０．７０５９ ０．７３５３０．６６１８０．７９４ １０．８３８２０．８２３５０．８２３５Ｇｌａｓｓ ０．６９７７ ０．４４１９ ０．５１１６ ０．５１１６ ０．７２０ ９ ０．８１４０ ０．８３７２ ０． ８６０５Ｂａｌａｎｃｅ０．７６８０ ０．８４００ ０．８０８００．８７２００．８３２０ ０．７９２０ ０．７９２０ ０．７６８０Ｉｒｉｓ ０． ９０ ００ ０． ８６６７ ０． ８０００ ０．９０００ ０． ８ ６６７ ０． ８６６７ ０． ８７７８ ０． ８６６７Ｓｅｅｄｓ ０．８８１０ ０．８８１０ ０． ８８１００．６４２９ ０．８５７ １０．８６３１ ０． ８８１０ ０． ８８１０ＣＭＣ ０．５６２７Ｇ．４８８１Ｇ．５１５３０．５３９００．５８６４ ０．５５５９ Ｇ．５７６３０．５４ ２４Ｓｏｎａｒ ０．８０ ９５ ０．５４７６ ０．７６１９ ０．７８５７ ０．９０４８ ０．８６９１ ０．８３３３０．８４ ５２ＭＮＩＳＴ ０． ９６６８０．５５５８Ｇ． ９１７３０．７２９９ ０． ９４８７０． ９６４０ ０． ９６３８０． ９６３２Ｆａｓｈｉｏｎ ０．８５ ７７０．５８５６０．８３７４０．５４２５０．８ ６８２ ０．８７１５ ０．８６８６０．８７ １０１．０．０．０．０．０．０．０．０．０．齋雷４７０ 计導机攀报： ＿１苹其中第１类情况在荚验中授有发玺， 第４类仅在测试中发生了１ 例， 所以后＿不再迸行讨论？为了进一步探讨知识线集成提炼问题难点的能力， 本文对．属训练测试虜７４＿情况 ： 秦４． ４ 可解释性实验与分析由宁知识线； 象成算法中的知识錢是基于心理学中的知识线记忆、 理论设计的， 这为我们理解模塑，解释结果提供了思路？４． ４．１样本难虚提取多个知识线同时被激括时， 最终结皋存在以下秦种情況：（ １） 没有知识线被激活， 表示模型认为没有见过类似６辦本？（ ２） 所有被激活的知识线投票一致， 这种＃况得到的结果有■更高的置信度，（３） 所省被激活的知识线投票不一致ｓ但是有某个类别胜出？（４） 所有被激活的知１Ｒ线投票不一致＊ 且＃． 终出现至少两个类别平票的情况． ．以Ｆａｓｈｉ ｏｎ数据＿： 上的实验为例？ 对于训练燊和测试集，最终这４类情况发生的分布如图７所示．１２４８１６３２６４１２８２５６５１２知识线数量？８ＦｓｓＪｉｌｓｍ概试論分＿： 奸价磨标是有＝４、 幅增幅的． ￡１２ 个知识线相对于１６ 个知识线， 在训练燊上苺筒率增长了１．０＆％， 精准率蹭长了１．０１Ｋ； 在测试集上召回率增长了〇． 辟％，稽准率： 增長ｍＡＫ？ 宴验中的具体数傅胃ｆｔ附嫌１ 中查看＊１．０随着知识线増加， 模型嚴确率不断提脔１且趋于平稳？当知’识线数鸶小于类别數时． 新增知识线总对应尚未接触过的类别， 所以模盡能力增长较快．胃．知识线数量超过类撕数后， 正瑜率増长缓優． 此时模型已经攀握不词类别的大致情况，， 想要进一步提高正猶率变键菌＿邊蔡食＿：＿知轵魏＿刻嶺：盧多细节．Ｓ１２个ｔｏ识錢相对于１６个知识錢，训雜？上正翁季提高Ｔ〇．邸％， 测试集上庄＇确率提高了１．０８％＿４． ＳＵ 收：敛就程分类间题中精准率和召回率是一组存在矛貭的指标■ 当使用贪心决策， 若錄望溽到尽量高的精准率， 召回率则不＇可避免的变低， ．反之若希望得到尽識离的茌回率， 精准率则会受损？ 而知识线集成算： 法将这商个損标分割到两个不同的部分， 作为各自的主嫛优化目标， 在一定程度上缓辦了这一矛盾； 知识魏个体作龙解决问题的核心＃元，， 它的目标是拥有尽橐高的精？隹率． 类似于人脑中的记忆， 当人类面临一个问题》 并不会激活所有Ｅ忆， 而是激括能切实：解决问题的记忆． 知识线． 集成算法与此是一致的， 当知识线１１十拿九稳”时才被激活， 即知识线分类的精准率５高？ 图５ 所示为在Ｆａｓｈｉｏｎ数据＿的训练集上的实验绪果．１．００． ８０．２１２４８１６３２６４１２８２５６５１２知识线数量图５Ｐａｓｈｉｓａｆｌｆ 翁裏：势＿齊掛搢葡Ｉｆｉ如上文所述Ｓ虜着谁率是基础，从■Ｓ可爲知识层中的知识线精准率均值一直处于较裔水平， 在知识线数量较少时， 随養知识线数量时增加， 精准拿有下降趋势． 但由于遗忘机制的存隹？ 箱准率较差的知识线将被删除． 所以后续整体的精准率又有所提升就召ＪＩＴ率而言， 随着知识线数量的增力口， 更多不貢种类的问题被解决＊整体的召回率水平逐渐提升． 最终模蓮的召回率、精准率、Ｆ１ 在训练集上非常接近： ？圈６ 睛示＇了两一ｔ妻验中测试集上的表现？ 宵以膏出，结讼与训练集上保持一致．雷粟注意的是，Ｓ知识线数量大宁类别总数后． 召回率与精准率第１类Ｎ第２类０第３类■第４类．８ｉ．４．２０．０．０．０．Ｉ＾ｌｏ于思，ｆ： 基Ｔ知识线记忆的攀 戚霄＿ ４７ １ ３ 期于不同． 区域的样本在知识线集成与随机森林中的表现进行了对比》 如表２所示表２ 特定类别正确率随机森林 知识线集成第２ 类／麗 第３类／｜ｆ 第２ 类／麗 第３类／ａ训练 ９９． ９６ ８１．３９ 训练 ９９． ９６ ８４． １９测试 ９４． ９７５６．３７ 测试 ９４． ９７ ５６．１６根据之前的定义，第２类表示激活的知识线在决策时答案犛一致的， 而第３类则说明有多种类别的知识钱被激活． 直觉上来说， 第Ｓ类的样本难度是比第２类高的． 表２中的实验结果也与直、觉相符，在第３类样本上， 随机森林与知识线集成出现了较大的何题， 可见本文方法使用激活知识线的情况为测试祥本划分类别， 可以提炼出更有难度的样本即第３ 类样本屯４． ， ２类别难点省． 化以Ｆａｓｈｉ ｏｎ数据集上的实验为例， 表３中展示了训练完毕后每个类别的知识线数量与不同算法在溉试集每个＿剗上＝的正１角率．表３ 各类别知识线数量与正确率类别 知识线数量 知识’线集成／ ％＇随机森林／％＇Ｋ近邻／％＇０１２３４５６７８９第６ 类知识线数量相比于其他类别明显更大，而随机森林和知识线集成在第６ 类上的， 正确率水乎明显低于其他类别， 可见这一类别难度较窩， 而東进一步的计算相关系数， 知识线数量与知识线象成备类别正确率的相关系数为 〇？８２， 知识幾数趣与随机森林各类： 刺正确率的相关系数为 〇？９２． 此处使用的知识线集成与随机森林是进一样的１００ 个决策树作为分类器成员得到的， 为排除成员本身质量的影响， 此处还对比了直接由样本进行推断的Ｋ近邻方旗表中结寒为Ｃｏｓｉｎｆｃ摩ｉ 离隹＿Ｋ＝４．时的结果ｆ此绪巣悬遍嵐了等ｆ１ 至Ｉｔ？，．分别健， 增Ｃｏｓｉｎｅ距离与欧式距离测试、后得到的最好鍩果． 经过计算ｆ知识线数量与Ｋ近邻分类器各类别Ｅ确率的相关系数为一〇．ＳＳ， 可见知识线数量有一定量化类别难度的能力．植得一提的是知识线数量与知识线集成络果的相关度更低， 这表明知识线集成算法在象现问題难家后会努力将其ｆｔ决， 因此第＜５ 类知识幾数識较大的同时知识线集成算法在第６类上的正输傘也显薯高于其他方法．４． ４， ３易氍淆难点量化知识线隹成算法在训练、过程中． ＃在记忆遗忘的机制． 根据遗忘的规则， 被遗忘的知识线必然存在将两类混淆的情况？ 虽；然遗忘的过程具有一定的随机性， 但是若假设类Ａ与类Ｂ混淆的概率大＿于类Ａ与类Ｃ． 棍淆的概率． 那么混淆Ａ与Ｂ的知识线数量将大概率大于混淆Ａ与Ｃ的知识线数量＊若个体被遗６椹率賴晴識淆Ａ与Ｂ的知＇识翁被邋：忘的？串期望大于混淆Ａ与Ｃ的知识线、 ．３此被遠忘知’ｉＨ线的犯错情况可以用来量化问题中容易混清的类别．以ＦａＡｉ ｏｎ数据集上的实验为例， 统计知识线被遺蝱时的犯错原Ｈ并进行可视化得到图８？ 其中坐标（？〃＿／） 的灰度值表示将第 类错判成第ｊ 类的犯错相对频率， 颜色越深表示频率越高．０ １ ２ ３ ４５６ ７ ８ ９厲８養興＿議率育■化从Ｍ８ 中可以发现模遵容易把６－衬衫混淆为０－了恤、於套头衫▲太衣，由此也可以參择在： ４４２节中发现的第６ 类难度较大的凰因《另外， 用遗忘知识线的犯慑障况来量化类别間易混淆程度， 结果符合直观预 〇、Ｓ、Ｓ、４、６ 之间睿易混淆＊ 西为这些类别都是衣服． 它们不容易和 这凝类混． 淆， 因＇龙要分辨衣服和鞋子舞容易的？ 而这之中１－裤子， ８－包和其他类剁想襄区分并直观上也是容易的？ 这也是第１ 类分类疋确率高． 达９Ｓ％， 第８类分类疋确拿高达９ＳＭ的原因．４． ４， ４ 推断怔据提供：知识线集戚算法癌一种从样本推断样本的算法模型， 所以不论结果正确与否， 模型都可以提供依据，４７２ 计導机攀报： ＿１苹由之前的实验可１以发现知识线算法易于分析＊ 可以有效的将问題难点提炼？ 以下， 使用实验中Ｆａｓｈｉｏｎ数据集ｉ的一个真銮钶子来吏龙直观的展示知识线集：成算法提供推断怔摒的能力．正Ｊｆｌ３肀中所讨论的， 知识线集成算法可以显式的呈规判断的过程， 当图９ 的特征输人擦型， 有１６２ 个知识钱被成功激活＊其中４１ 个关宁２ 套头衫的知识线被激话》 ２７ 个关于４－大衣的知识线被激活， ９４ 个关乎《－衬衫的知识钱被激活， 被激括的知识线对应的样本每类抽取了３个． 如图１０ 所录．图９ 被推渐的＿片（健签＃： ｇ 衬衫ｔ表现ｉ争憬可参考附录２．５ 总 结本文针对多分类器系统中的集成策略进行了研究； 结合心理学中的知识线记忆理论， 提出了一种拥有较强可解释性的多分类器集成算法， 称为知识线集成算法． 此算法根据历＇史解决问题的记忆构建知识线记忆矩阵， 最终使用样本相关的记忆解决问题．推断新问龜时》 此算法可以找到训练＃本中和此问題相似问題的解决方案， 显式地呈现集成模遨推断的过涯并给出结论的依据． 知识魏集成算法不仅拥有良好的分类性能， 坯苽以逋过知识线的创建、 遗忘、激活情况握炼问题的难＊， 进行更具Ｗ解释性的分析实验与数据相关性挖掘？参 考 文 献嫌１０ 被織澈韵》识雜对座餘参本（ 三ｆ分别为：２ 馨头餐＊ 心大衣》＃衬衫）可以眷出， 这些记忆和输人的图片是有一定相似性的， 也就是说， 当测试集向模型展示新的图片时， 模型商忆了过去所遇到过的类似图片．因为类似的ａ片大部分都是６－衬衫， 所以根据绿验＊顧９的标签也虛： ■暴８ ， 且概率为§ ４ ／１５２ ？这种从训练样本中找依据的做法， 和Ｋ近邻的做法相似． 但＆知识线集成箅珐中的知识线越多则效果遲好， 旦经过训练， 知识线的数量也会趋宁稳定？ 而Ｋ近邻则＿要选择合适的 另外， 知ｉＨ线燊成：算法相对于Ｋ近邻有翁更强的分类能力， 在Ｆａｓｈｉｏｎ数据集Ｊ：， 知识线集成算法测试集上的分类正踰率对以达到Ｓ７．３１ ％， 而Ｋ近邻在Ｋ取１？１〇〇 中， 使用Ｃｏｓｉｎｅ 距离所能达到的最高值８＆９０％在：Ｋ二４时取得，使用欧式距离能达到的最：离值版 在Ｋ＝４ 时取得？Ｋ近邻算法的具体［１］Ｗｏｌｐｅｒｔ ＤＩ Ｉ， ＭａｃｒｅａｄｙＷＧ． Ｎｏｆｒｅｅｌｕｎｃｈｔｈｅｏｒｅｍｓｆｏｒｏｐｔｉｍｉｚａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎＥｖｏｌｕｔｉｏｎａｒｙＣｏｍｐｕｔａｔｉｏｎ，１９９７，１（１）；６７－８２［２］ＮｅｕｍａｎｎＪＶ． Ｔｈｅｃｏｍｐｕｔｅｒａｎｄｔｈｅｂｒａｉｎ． ＡｎｎａｌｓｏｆｔｈｅＨｉｓｔｏｒｙｏｆＣｏｍｐｕｔｉｎｇ，１９５８ ，１１（３） ： １６１－１６３［３］ＣｈｏｗＣＫ． Ｓｔａｔｉｓｔｉｃａｌｉｎｄｅｐｅｎｄｅｎｃｅａｎｄｔｈｒｅｓｈｏｌｄ ｆｕｎｃｔｉ ｏｎｓ．ＩＥＥＥ ＴｒａｎｓａｃｔｉｏｎｓｏｎＥｌｅｃｔｒｏｎｉｃＣｏｍｐｕｔｅｒｓ， ２００６ ， ＥＣ＿１４（１）：６６－６８［４］Ｄｏｓｈｉ－ＶｅｌｅｚＦ， ＫｉｍＢ．Ｔｏｗａｒｄｓａｒｉｇｏｒｏｕｓｓｃｉｅｎｃｅｏｆｉｎｔｅｒｐｒｅｔａｂｌｅｍａｃｈｉｎｅｌｅａｒｎｉｎｇ． ａｒＸｉｖ？２０１７ ， １０５０：２［５］ＣｏｖｅｒＴ， ＨａｒｔＰ． Ｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｐａｔｔｅｒｎｃｌａｓｓｉｆｉｃａｔｉｏｎ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｆｏｒｍａｔｉｏｎＴｈｅｏｒｙ，１９６７ ，１３（１）：２１－２７［６］ＳｕＸ？ＫｈｏｓｈｇｏｆｔａａｒＴＭ．Ａ ｓｕｒｖｅｙｏｆｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌ ｔｅｒｉｎｇｔｅｃｈｎｉｑｕｅｓ． ＡｄｖａｎｃｅｓｉｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌ ｌｉｇｅｎｃｅ，２００９，２００９：１－１９［７］ＭｉｎｓｋｙＭ． Ｋ－Ｌｉｎｅｓ：Ａｔｈｅｏｒｙｏｆｍｅｍｏｒｙ． Ｃｏｇｎｉ ｔｉｖｅＳｃｉ ｅｎｃｅ，１９８０，４（２）；１ １７－１３３［８］ＷｏｚｎｉａｋＭ，ＧｒａｎａＭ，ＣｏｒｃｈａｄｏＥ． Ａｓｕｒｖｅｙｏｆｍｕｌｔｉｐｌｅｃｌａｓｓｉｆｉｅｒｓｙｓｔｅｍｓａｓｈｙｂｒｉｄｓｙｓｔｅｍｓ． ＩｎｆｏｒｍａｔｉｏｎＦｕｓｉｏｎ，２０１４ ，１６ ：３－１７［９］Ｓａｇｉ０， ＲｏｋａｃｈＬ． Ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ：Ａｓｕｒｖｅｙ． ＷｉｌｅｙＩｎｔｅｒｄｉｓｃｉｐｌｉ ｎａｒｙＲｅｖｉｅｗｓ ： ＤａｔａＭｉｎｉｎｇａｎｄＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ，２０１８，８（４）： ｅｌ２４９［１０］ＬａｍＬ．Ｃｌａｓｓｉｆｉｅｒｃｏｍｂｉｎａｔｉｏｎｓ：Ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓａｎｄｔｈｅｏｒｅｔｉｃａｌｉｓｓｕｅｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＭｕｌｔｉｐｌｅＣｌａｓｓｉｆｉｅｒＳｙｓｔｅｍｓ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ：Ｓｐｒｉｎｇｅｒ，２０００： ７７－８６［１１］ＲａｈｍａｎＡＦＲ，ＦａｉｒｈｕｒｓｔＭＣ．Ｓｅｒｉａｌｃｏｍｂｉｎａｔｉｏｎｏｆｍｕｌｔｉｐｌｅｅｘｐｅｒｔｓ：Ａｕｎｉｆｉｅｄｅｖａｌｕａｔｉｏｎ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ＆－ Ａｐｐｌｉｃａｔｉｏｎｓ？１９９９，２（４） ：２９２－３１１于思皓等： 基于知识线记忆的多分类器集成算法 ４７ ３３ 期［１２］［１３］［１４］［１５］［１６］［１７］［１８］［１９］［２０］［２１］［２２］［２３］［２４］［２５］［２６］［２８］ＦｕｍｅｒａＧ？ＰｉｌｌａｉＩ ， ＲｏｌｉＦ． Ａｔ ｗｏ ｓｔ ａｇｅｃｌａｓｓｉｆｉｅｒｗｉｔｈｒｅｊｅｃｔｏｐｔ ｉｏｎｆｏｒｔ ｅｘｔｃａｔ ｅｇｏｒｉｓａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏ ｆｔｈｅ ＪｏｉｎｔＩＡＰＲＩｎｔ ｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｓｏｎＳｔａｔｉｓｔｉｃａｌＴｅｃｈｎｉｑｕｅｓｉｎＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ（ＳＰＲ）ａｎｄＳｔ ｒｕｃｔ ｕｒａｌａｎｄＳｙｎｔ ａｃｔｉｃＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ（ＳＳＰＲ）． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ： Ｓｐｒｉｎｇｅｒ， ２００４：７７１ ７ ７９Ｂａｒｔｌｅｔ ｔＰＬ？ ＷｅｇｋａｍｐＭＩ Ｉ ． Ｃｌａｓｓｉｆ ｉｃａｔ ｉｏｎｗｉｔ ｈａｒｅｊｅｃｔｏｐｔ ｉｏｎｕｓｉｎｇａｈｉｎｇｅｌｏｓｓ． ＪｏｕｒｎａｌｏｆＭａｃｈｉ ｎｅＬｅａｒｎｉ ｎｇＲｅｓｅａｒｃｈ，２ ００ ８，９（８） ： １８ ２３ １８４０ＴｅｒｍｅｎｏｎＭ？ ＧｒａｎａＭ． Ａｔｗｏｓｔａｇｅｓｅｑｕｅｎｔｉａｌｅｎｓｅｍｂｌｅａｐｐｌｉｅｄｔｏｔｈｅｃｌａｓｓｉｆｉ ｃａｔｉｏｎｏｆＡｌｚｈｅｉｍｅｒ？ｓｄｉｓｅａｓｅｂａｓｅｄｏｎＭＲＩｆｅａｔ ｕｒｅｓ． ＮｅｕｒａｌＰｒｏｃｅｓｓｉ ｎｇＬｅｔ ｔ ｅｒｓ， ２０１２ ， ３５（１）： １ １２ＣｌａｒｋＰ，Ｎｉｂｌ ｅｔ ｔ Ｔ． ＴｈｅＣＮ２ｉｎｄｕｃｔ ｉｏｎａｌｇｏｒｉｔ ｈｍ． ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，１９８９ ， ３（ ４）； ２６１ ２８３ＲｉｖｅｓｔＲＬ． Ｌｅａｒｎｉ ｎｇｄｅｃｉｓｉｏｎｌｉｓｔｓ． ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ？１９８７ ，２ （ ３） ：２２９ ２４ ６ＦｒｅｕｎｄＹ． Ｂｏｏｓｔｉ ｎｇａｗｅａｋｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｂｙｍａｊｏｒｉｔｙ．ＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｐｕｔａｔ ｉｏｎ，１９９５，１２１（２） ： ２ ５６ ２８５ＦｒｅｕｎｄＹ？ ＳｃｈａｐｉｒｅＲＥ． Ａｄｅｃｉｓｉｏｎ ｔ ｈｅｏｒｅｔｉ ｃｇｅｎｅｒａｌｉｚａｔｉ ｏｎｏｆｏｎｌｉｎｅｌｅａｒｎｉｎｇａｎｄａｎａｐｐｌｉｃａｔｉｏｎｔｏｂｏｏｓｔ ｉｎｇ／ ／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ａｔｉｏｎａｌＬｅａｒｎｉｎｇＴｈｅｏｒｙ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ； Ｓｐｒｉｎｇｅｒ，１９９５； ２３ ３７ＳｃｈａｐｉｒｅＲＥ． Ｔｈｅｓｔ ｒｅｎｇｔ ｈｏｆ ｗｅａｋｌｅａｒｎａｂｉｌｉｔｙ． ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，１９９０， ５（２） ： １９７ ２２７ＫｉｖｉｎｅｎＪ？Ｗａｒｍｕｔ ｈＭＫ． Ｂｏｏｓｔ ｉｎｇａｓｅｎｔ ｒｏｐｙｐｒｏｊｅｃｔｉ ｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ１２ ｔｈＡｎｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ａｔ ｉｏｎａｌＬｅａｒｎｉｎｇｔｈｅｏｒｙ． Ｓａｎｔ ａＣｒｕｚ，ＵＳＡ，１９９９： １３４ １４４ＴｕｒｎｅｒＫ？ ＧｈｏｓｈＪ． Ａｎａｌｙｓｉｓｏｆ ｄｅｃｉｓｉｏｎｂｏｕｎｄａｒｉｅｓｉｎｌｉｎｅａｒｌｙｃｏｍｂｉ ｎｅｄｎｅｕｒａｌｃｌａｓｓｉｆ ｉｅｒｓ． Ｐａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ， １９９６ ，２９（２） ： ３４ １ ３４８ＢｒｅｉｍａｎＬ． Ｂａｇｇｉｎｇｐｒｅｄｉｃｔｏｒｓ．２４（ ２）： １２３ １４０ＢｒｅｉｍａｎＬ． Ｒａｎｄｏｍｆ ｏｒｅｓｔｓ．４５（１）： ５３２ＳｋｕｒｉｃｈｉｎａＭ， ＤｕｉｎＲＰＷ．ｒａｎｄｏｍｓｕｂｓｐａｃｅｍｅｔｈｏｄｆ ｏｒＭａｃｈｉｎｅＬｅａｒｎｉｎｇ， １９９６ ，ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，２００１，Ｂａｇｇｉｎｇ，ｂｏｏｓｔ ｉｎｇａｎｄｔｈｅｌｉｎｅａｒｃｌａｓｓｉｆｉ ｅｒｓ． Ｐａｔ ｔ ｅｒｎＡｎａｌｙｓｉｓ＆Ａｐｐｌｉｃａｔｉｏｎｓ，２００２，５（２） ： １２ １ １３５ＴｒｅｍｂｌａｙＧ？ＳａｂｏｕｒｉｎＲ， ＭａｕｐｉｎＰ． Ｏｐｔｉ ｍｉｚｉｎｇｎｅａｒｅｓｔｎｅｉｇｈｂｏｕｒｉｎｒａｎｄｏｍｓｕｂｓｐａｃｅｓｕｓｉｎｇａｍｕｌｔｉｏｂｊｅｃｔｉｖｅｇｅｎｅｔｉ ｃａｌｇｏｒｉｔｈｍ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１７ｔｈＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｃａｍｂｒｉｄｇｅ， ＵＫ，２００４，１：２０８ ２１１ＴｉｎｇＫＭ，ＷｅｌｌｓＪＲ，ＴａｎＳＣ， ｅｔａｌ． Ｆｅａｔ ｕｒｅｓｕｂｓｐａｃｅａｇｇｒｅｇａｔｉ ｎｇ： Ｅｎｓｅｍｂｌｅｓｆ ｏｒｓｔ ａｂｌｅａｎｄｕｎｓｔ ａｂｌｅｌｅａｒｎｅｒｓ．ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ， ２０１１，８２（ ３） ：３７５３ ９７ＢｒｙｌｌＲ， Ｇｕｔ ｉｅｒｒｅｚ ＯｓｕｎａＲ， ＱｕｅｋＦ． Ａｔ ｔ ｒｉｂｕｔ ｅｂａｇｇｉｎｇ：Ｉ ｍｐｒｏｖｉｎｇａｃｃｕｒａｃｙｏｆｃｌａｓｓｉｆｉｅｒｅｎｓｅｍｂｌｅｓｂｙｕｓｉｎｇｒａｎｄｏｍｆｅａｔ ｕｒｅｓｕｂｓｅｔｓ． Ｐａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ？ ２００３ ， ３６（６） ： １２９１１３０２ＤｕａｎＫ？ＫｅｅｒｔｈｉＳＳ？ＣｈｕＷ？ｅｔ ａｌ． Ｍｕｌｔｉ ｃａｔ ｅｇｏｒｙｃｌａｓｓｉｆｉｃａｔｉｏｎｂｙｓｏｆｔ ｍａｘｃｏｍｂｉｎａｔｉｏｎｏｆｂｉｎａｒｙｃｌａｓｓｉｆｉｅｒｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔ ｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＭｕｌｔｉｐｌｅＣｌａｓｓｉ ｆｉｅｒＳｙｓｔ ｅｍｓ．Ｂｅｒｌｉ ｎ，Ｇｅｒｍａｎｙ；Ｓｐｒｉｎｇｅｒ，２００３： １２５ １３４［２９］ＫｕｎｃｈｅｖａＬＩ． ＣｏｍｂｉｎｉｎｇＰａｔ ｔ ｅｒｎＣｌａｓｓｉｆｉｅｒｓ： ＭｅｔｈｏｄｓａｎｄＡｌｇｏｒｉｔｈｍｓ． ＪｏｈｎＷｉｌｅｙ＆－Ｓｏｎｓ，２０１４［３０］ＲａｕｄｙｓＳ． Ｔｒａｉ ｎａｂｌｅｆｕｓｉｏｎｒｕｌｅｓ． Ｉ ． Ｌａｒｇｅｓａｍｐｌｅｓｉｚｅｃａｓｅ．ＮｅｕｒａｌＮｅｔ ｗｏｒｋｓ？２００６ ，１９（ １０） ： １５０６ １５ １６［３１］ＲａｕｄｙｓＳ． Ｔｒａｉｎａｂｌｅｆｕｓｉｏｎｒｕｌｅｓ． Ｉ Ｉ ． Ｓｍａｌｌｓａｍｐｌｅｓｉｚｅｅｆ ｆｅｃｔｓ． ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２００６，１９（１０）： １５１７ １５２７［３２］ＩｎｏｕｅＩ Ｉ，ＮａｒｉｈｉｓａＩ Ｉ． Ｏｐｔｉｍｉｚｉｎｇａｍｕｌｔ ｉｐｌｅｃｌａｓｓｉｆｉｅｒｓｙｓｔ ｅｍ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅＰａｃｉｆｉｃＲｉｍＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆ ｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ． Ｂｅｒｌｉｎ， Ｇｅｒｍａｎｙ： Ｓｐｒｉｎｇｅｒ， ２００２ ：２８５ ２９４［３３］ＡｌｅｘａｎｄｒｅＬＡ， ＣａｍｐｉｌｈｏＡＣ， ＫａｍｅｌＭ． Ｃｏｍｂｉｎｉｎｇｉｎｄｅｐｅｎｄｅｎｔａｎｄｕｎｂｉａｓｅｄｃｌａｓｓｉｆｉｅｒｓｕｓｉｎｇｗｅｉｇｈｔｅｄａｖｅｒａｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅ１５ ｔ ｈＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｂａｒｃｅｌｏｎａ ，Ｓｐａｉｎ， ２０００ ， ２： ４９５ ４９８［３４］ＢｉｇｇｉｏＢ， ＦｕｍｅｒａＧ？ ＲｏｌｉＦ． Ｂａｙｅｓｉａｎａｎａｌｙｓｉｓｏｆｌｉｎｅａｒｃｏｍｂｉｎｅｒｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔ ｅｒｎａｔ ｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＭｕｌｔ ｉｐｌｅＣｌａｓｓｉｆｉｅｒＳｙｓｔｅｍｓ． Ｂｅｒｌｉｎ？ Ｇｅｒｍａｎｙ： Ｓｐｒｉ ｎｇｅｒ？２００７： ２９２３ ０１［３５］Ｋｉｔ ｔｌｅｒＪ？ＡｌｋｏｏｔＦＭ． Ｓｕｍｖｅｒｓｕｓｖｏｔ ｅｆｕｓｉｏｎｉ ｎｍｕｌｔｉｐｌｅｃｌａｓｓｉｆｉｅｒｓｙｓｔｅｍｓ． ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＰａｔ ｔ ｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ， ２００３ ， ２５（ １） ： １１０ １１５［３６］ＲａｏＮＳＶ． Ａｇｅｎｅｒｉｃｓｅｎｓｏｒｆｕｓｉｏｎｐｒｏｂｌｅｍ： Ｃｌａｓｓｉｆｉ ｃａｔｉｏｎａｎｄｆｕｎｃｔ ｉｏｎｅｓｔ ｉｍａｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＭｕｌ ｔｉｐｌｅＣｌａｓｓｉｆ ｉｅｒＳｙｓｔ ｅｍｓ． Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ：Ｓｐｒｉｎｇｅｒ，２００４； １６ ３０［３７］ＳｈｌｉｅｎＳ． Ｍｕｌｔ ｉｐｌｅｂｉｎａｒｙｄｅｃｉ ｓｉｏｎｔｒｅｅｃｌａｓｓｉｆｉｅｒｓ． Ｐａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ，１９ ９０ ， ２３（７）； ７ ５７ ７６３［３８］ＷｏｚｎｉａｋＭ． Ｅｘｐｅｒｉｍｅｎｔｓｗｉ ｔｈＴｒａｉｎｅｄａｎｄＵｎｔ ｒａｉｎｅｄＦｕｓｅｒｓ． Ｉｎｎｏｖａｔ ｉｏｎｓｉｎＨｙｂｒｉｄＩ ｎｔ ｅｌｌｉｇｅｎｔＳｙｓｔ ｅｍｓ． Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ； Ｓｐｒｉｎｇｅｒ，２００７； １４４ １５０［３９］ＷｏｚｎｉａｋＭ． Ｅｖｏｌｕｔ ｉｏｎａｒｙａｐｐｒｏａｃｈｔｏｐｒｏｄｕｃｅｃｌａｓｓｉｆ ｉｅｒｅｎｓｅｍｂｌｅｂａｓｅｄｏｎｗｅｉｇｈｔ ｅｄｖｏｔｉｎｇ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅ２００９ＷｏｒｌｄＣｏｎｇｒｅｓｓｏｎＮａｔ ｕｒｅ＆－ＢｉｏｌｏｇｉｃａｌｌｙＩｎｓｐｉｒｅｄＣｏｍｐｕｔｉｎｇ．Ｋｏｃｈｉ，Ｉｎｄｉａ，２００９； ６４８ ６５３［４０］ＺｈｅｎｇＺ？ ＰａｄｍａｎａｂｈａｎＢ． Ｃｏｎｓｔ ｒｕｃｔ ｉｎｇｅｎｓｅｍｂｌｅｓｆ ｒｏｍｄａｔ ａｅｎｖｅｌ ｏｐｍｅｎｔａｎａｌｙｓｉｓ． ＩＮＦＯＲＭＳＪｏｕｒｎａｌｏｎＣｏｍｐｕｔ ｉｎｇ，２００７， １９ （４） ； ４８ ６ ４９６［４１］Ｐａｒｔ ａｌａｓＩ ， ＴｓｏｕｍａｋａｓＧ？ＶｌａｈａｖａｓＩ． Ｐｒｕｎｉｎｇａｎｅｎｓｅｍｂｌｅｏｆｃｌａｓｓｉｆｉｅｒｓｖｉａｒｅｉｎｆ ｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ． Ｎｅｕｒｏｃｏｍｐｕｔ ｉｎｇ，２００ ９， ７２（７９）： １９００１９０９［４２］Ｒｕｔ ａＤ， ＧａｂｒｙｓＢ． Ｃｌａｓｓｉｆｉｅｒｓｅｌｅｃｔ ｉｏｎｆ ｏｒｍａｊｏｒｉ ｔｙｖｏｔ ｉｎｇ．Ｉｎｆｏｒｍａｔ ｉｏｎＦｕｓｉｏｎ，２００５ ，６ （ １） ： ６３ ８１［４３］ＷｏｌｐｅｒｔＤＩ Ｉ． Ｓｔａｃｋｅｄｇｅｎｅｒａｌｉｚａｔ ｉｏｎ． Ｎｅｕｒａｌｎｅｔ ｗｏｒｋｓ？１９９２ ，５ （ ２）：２ ４１ ２５９［４４］Ｉ ｌ ａｓｈｅｍＳ． Ｏｐｔ ｉｍａｌｌｉｎｅａｒｃｏｍｂｉ ｎａｔｉｏｎｓｏｆ ｎｅｕｒａｌｎｅｔ ｗｏｒｋｓ．ＮｅｕｒａｌＮｅｔ ｗｏｒｋｓ，１９９７，１０（４） ： ５９９６１４［４５］ＤｕａｎＺ？ＷａｎｇＬ． ＫｄｅｐｅｎｄｅｎｃｅＢａｙｅｓｉａｎｃｌａｓｓｉｆｉｅｒｅｎｓｅｍｂｌｅ．Ｅｎｔ ｒｏｐｙ，２０１７，１９（１２）： ６５１［４６］ＭａｈｄｉａｎｐａｒｉＭ， ＳａｌｅｈｉＢ， ＭｏｈａｍｍａｄｉｍａｎｅｓｈＦ，ｅｔａｌ．Ｒａｎｄｏｍｆｏｒｅｓｔｗｅｔｌａｎｄｃｌａｓｓｉｆｉ ｃａｔ ｉｏｎｕｓｉｎｇＡＬＯＳ２Ｌｂａｎｄ？ＲＡＤＡＲＳＡＴ２Ｃｂａｎｄ，ａｎｄＴｅｒｒａＳＡＲＸｉｍａｇｅｒｙ． ＩＳＰＲＳＪｏｕｒｎａｌｏｆＰｈｏｔ ｏｇｒａｍｍｅｔ ｒｙａｎｄＲｅｍｏｔ ｅＳｅｎｓｉｎｇ？２０１７ ，１３０：１３ ３１４７４ 计 算机 学 报 ２０２１年［４７］ＭａｇｈｓｏｕｄｉＹ，Ｃｏｌｌｉ ｎｓＭ，ＬｅｃｋｉｅＤＧ． Ｐｏｌａｒｉｍｅｔｒｉ ｃｃｌａｓｓｉｆｉ？ｃａｔｉｏｎｏｆＢｏｒｅａｌｆｏｒｅｓｔｕｓｉｎｇｎｏｎｐａｒａｍｅｔｒｉｃｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｎｄｍｕｌｔｉｐｌ ｅｃｌａｓｓｉｆｉｅｒｓ． ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＡｐｐｌｉｅｄＥａｒｔｈＯｂｓｅｒｖａｔｉｏｎａｎｄＧｅｏｉｎｆｏｒｍａｔｉｏｎ，２０１２ ，１９（Ｃｏｍｐｌｅｔｅ）：１３９－１５０［４８］ＳｉａｍｉＭ，ＮａｄｅｒｐｏｕｒＭ，ＬｕＪ． Ａｃｈｏｑｕｅｔｆｕｚｚｙｉｎｔｅｇｒａｌｖｅｒｔｉｃａｌｂａｇｇｉｎｇｃｌａｓｓｉｆｉｅｒｆｏｒｍｏｂｉｌｅｔｅｌｅｍａｔｉｃｓｄａｔａａｎａｌｙｓｉｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１９ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＦｕｚｚｙＳｙｓｔｅｍｓ．ＮｅｗＯｒｌ ｅａｎｓ，ＵＳＡ，２０１９：１－６［４９］ＫｏａｙＡ，ＣｈｅｎＡ，ＷｅｌｃｈＩ，ｅｔａｌ．Ａ ｎｅｗｍｕｌｔｉｃｌａｓｓｉｆｉｅｒｓｙｓｔｅｍｕｓｉｎｇｅｎｔｒｏｐｙ－ｂａｓｅｄｆｅａｔｕｒｅｓｉｎＤＤｏＳａｔｔａｃｋｄｅｔｅｃｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１８ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎＮｅｔｗｏｒｋｉｎｇ． ＣｈｉａｎｇＭａｉ ，Ｔｈａｉｌａｎｄ，２０１８ ：１６２－１６７［５０］Ａｌａ’ＲａｊＭ， ＡｂｂｏｄＭ．Ｃｌａｓｓｉ ｆｉｅｒｓｃｏｎｓｅｎｓｕｓｓｙｓｔｅｍａｐｐｒｏａｃｈｆｏｒｃｒｅｄｉｔｓｃｏｒｉｎｇ． Ｋｎｏｗｌ ｅｄｇｅ－ＢａｓｅｄＳｙｓｔｅｍｓ，２０１６，１０ ４：８９－１０５［５１］ＴｓａｉＣＦ．Ｃｏｍｂｉｎｉｎｇｃｌｕｓｔｅｒａｎａｌｙｓｉ ｓｗｉｔｈｃｌａｓｓｉｆｉｅｒｅｎｓｅｍ？ｂｌｅｓｔｏｐｒｅｄｉ ｃｔｆｉ ｎａｎｃｉａｌｄｉ ｓｔｒｅｓｓ．ＩｎｆｏｒｍａｔｉｏｎＦｕｓｉ ｏｎ，２０１４，１６（１）： ４６－５８［５２］ＩｂｒａｈｉｍＷ＊ＡｂａｄｅｈＭＳ．Ｐｒｏｔｅｉｎｆｏｌｄｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇｄｅｅｐｋｅｒｎｅｌｉｚｅｄｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅａｎｄｌｉ ｎｅａｒｄｉｓｃｒｉｍｉｎａｎｔａｎａｌｙｓｉｓ． ＮｅｕｒａｌＣｏｍｐｕｔｉｎｇａｎｄ Ａｐｐｌｉ ｃａｔｉｏｎｓ，２０１８，（４）：１－１４［５３］ＭａｌｉｋＦ，ＦａｒｈａｎＳ，ＦａｈｉｅｍＭＡ． ＡｎｅｎｓｅｍｂｌｅｏｆｃｌａｓｓｉｆｉｅｒｓｂａｓｅｄａｐｐｒｏａｃｈｌｏｒｐｒｅｄｉｃｔｉｏｎｏｆＡｌｚｈｅｉｍｅｒ？ｓｄｉｓｅａｓｅｕｓｉｎｇＩｍｒｉｉｍａｇｅｓｂａｓｅｄｏｎｆｕｓｉｏｎｏｆｖｏｌｕｍｅｔｒｉｃ，ｔｅｘｔｕｒａｌａｎｄｈｅｍｏｄｙｎａｍｉ ｃｆｅａｔｕｒｅｓ． ＡｄｖａｎｃｅｓｉｎＥｌｅｃｔｒｉｃａｌ＆Ｃｏｍｐｕｔｅｒ附录１ ．知识线数量与分类指标变化具体情况见表４．表４Ｆａｓｈｉｏｎ数据集参数２００００－１００知识线数量与分类指标详情知识线数量 着准率 翻率 ＦＩ１ ０．９９６７ ０．０９９３０．１８０６２ ０．９９３７ ０．１９８９ ０．３３１５４ ０．９８３６ ０．３９６３０．５６５０８０ ． ９７７１０．７８７４０．８７２０１６０ ． ９７８５０． ９７７１０． ９７７８３２０ ． ９８０６０． ９８０５０． ９８０６１２８０ ． ９８１８０． ９８１７０． ９８１８２５ ６０ ． ９８２７０． ９８２７０． ９８２７５１２０ ． ９８３０ ０． ９８２９ ０． ９８３０ＹＵＳｉ－Ｈａｏ，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｉ ｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇａｎｄａｄａｐｔｉｖｅｎｅｔｗｏｒｋｓ．ＧＵＯＪｉａ－Ｆｅｎｇ，Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌａｎｄｄａｔａｍｉｎｉｎｇ．Ｅｎｇｉｎｅｅｒｉｎｇ，２０１８，１８（１）： ６１－７０［５４］ＡｎｙｏｓａＳＣ， ＶｉｎａｇｒｅＪ，ＪｏｒｇｅＡＭ． Ｉｎｃｒｅｍｅｎｔａｌｍａｔｒｉｘｃ〇－ｆａｃｔｏｒｉｚａｔｉｏｎｆｏｒｒｅｃｏｍｍｅｎｄｅｒｓｙｓｔｅｍｓｗｉｔｈｉｍｐｌｉｃｉｔｆｅｅｄｂａｃｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１８ＷｏｒｌｄＷｉｄｅＷｅｂＣｏｎｆｅｒｅｎｃｅ．Ｌｙｏｎ，Ｆｒａｎｃｅ，２０１８ ：１４１３－１４１８［５５］ＬｏｇｅｓｈＲ，ＳｕｂｒａｍａｎｉｙａｓｗａｍｙＶ，ＭａｌａｔｈｉＤ，ｅｔａｌ．Ｅｎｈａｎｃｉｎｇｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｔａｂｉｌｉｔｙｏｆｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇｒｅｃｏｍｍｅｎｄｅｒｓｙｓｔｅｍｔｈｒｏｕｇｈｂｉｏ－ｉｎｓｐｉｒｅｄｃｌｕｓｔｅｒｉｎｇｅｎｓｅｍｂｌｅｍｅｔｈｏｄ．ＮｅｕｒａｌＣｏｍｐｕｔｉｎｇａｎｄＡｐｐｌｉ ｃａｔｉｏｎｓ，２０１８，（５）； １－２４［５ ６］ＭｉｎｓｋｙＭ．Ｔｈｅｓｏｃｉｅｔｙｏｆｍｉｎｄ．Ｐｅｒｓｏｎａｌｉ ｓｔＦｏｒｕｍ，１９８７，３（１）： １９－３２［５７］ＮｇＡＹ，ＪｏｒｄａｎＭＩ， ＷｅｉｓｓＹ． Ｏｎｓｐｅｃｔｒａｌｃｌｕｓｔｅｒｉｎｇ：Ａｎａｌｙｓｉ ｓａｎｄａｎａｌｇｏｒｉ ｔｈｍ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，２００２ ： ８４９－８５６［５８］ＲｉｓｈＩ． Ａｎｅｍｐｉ ｒｉｃａｌｓｔｕｄｙｏｆｔｈｅｎａｉｖｅＢａｙｅｓｃｌ ａｓｓｉｆｉｅｒ．ＪｏｕｒｎａｌｏｆＵｎｉｖｅｒｓａｌＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ ，２００１ ，１（２）：１２７［５９］ＦａｎＲＥ，ＣｈａｎｇＫＷ？Ｉ ｌｓｉ ｅｈＣＪ，ｅｔａｌ． ＬＩＢＬＩＮＥＡＲ：Ａｌｉｂｒａｒｙｆｏｒｌａｒｇｅｌｉ ｎｅａｒｃｌａｓｓｉｆｉ ｃａｔｉｏｎ． ＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ，２００８，９（９）：１８７１－１８７４［６０］ＦｒｉｅｄｍａｎＪＩ Ｉ．Ｓｔｏｃｈａｓｔｉｃｇｒａｄｉｅｎｔｂｏｏｓｔｉｎｇ． ＣｏｍｐｕｔａｔｉｏｎａｌＳｔａｔｓ＆－ＤａｔａＡｎａｌｙｓｉｓ，２００２，３８（４）： ３６７－３ ７８［６１］Ｍａｒｔｉｎｅｚ－ＭｕｎｏｚＧ，ＳｕａｒｅｚＡ． Ｐｒｕｎｉｎｇｉ ｎｏｒｄｅｒｅｄｂａｇｇｉｎｇｅｎｓｅｍｂｌｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，Ｔｗｅｎｔｙ－ＴｈｉｒｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ．Ｐｉｔｔｓｂｕｒｇｈ，ＵＳＡ，２００６ ；６０９－６１６附录２．Ｋ近邻算法正确率具体情况见表５．表５Ｆａｓｈｉｏｎ数据集Ｋ近邻表现具体情况Ｋ取值Ｃｏｓｉｎｅ 距离／與欧式距离／％１ ８ ５ ６７ ８４９７２ ８ ５ ４ １ ８４ ６０３ ８ ５ ６４ ８５ ４１４ ９５ ９０ ８５ ７７５ ８ ５ ７８ ８５ ５４６ ８ ５ ８０ ８５ ４４７ ８ ５ ５ ９ ８５ ４０８ ８ ５ ４２ ８５３４９８ ５ １６ ８５ １９１０８ ５ ２９８５ １５１１ ８ ４ ７ ６ ８４９５１２？１００ ＜８ ５ １０ ＜８５ ００ＦＡＮＹｉ－Ｘｉ ｎｇ， Ｐｈ．Ｄ． ， ａｓｓｉ ｓｔａｎｔｐｒｏｆｅｓｓｏｒ．Ｈｉ ｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌａｎｄｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．ＬＡＮ Ｙａｎ－Ｙａｎ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉ ｎｃｌ ｕｄｅｍａｃｈｉｎｅｌ ｅａｒｎｉ ｎｇ，ｌ ｅａｒｎｉｎｇｔｏｒａｎｋａｎｄｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ．ＣＨＥＮＧＸｕｅ－Ｑｉ ，Ｐｈ，Ｄ， ，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｎｅｔｗｏｒｋｓｃｉｅｎｃｅ，ｎｅｔｗｏｒｋａｎｄｉｎｆｏｒｍａｔｉｏｎｓｅｃｕｒｉｔｙ，Ｗｅｂｓｅａｒｃｈａｎｄｄａｔａｍｉｎｉｎｇ．于思皓等： 基于知识线记忆的多分类器集成算法 ４７ ５３ 期ＢａｃｋｇｒｏｕｎｄＥｎｓｅｍｂｌ ｅｌ ｅａｒｎｉｎｇｈａｓａｌｗａｙｓｂｅｅｎａｎｉｍｐｏｒｔａｎｔｂｒａｎｃｈｏｆｍａｃｈｉｎｅｌｅａｒｎｉ ｎｇ．Ｊｕｓｔａｓｕｎｄｅｒｔｈｅｃｏｏｐｅｒａｔｉｏｎｏｆｍｕｌｔｉｐｌｅｏｒｇａｎｓ ，ｈｕｍａｎｂｅｉｎｇｓｃａｎｓｕｒｖｉｖｅ．Ａｇｅｎｔｓｗｈｏａｒｅｇｏｏｄａｔｄｉｆｆｅｒｅｎｔｔａｓｋｓｃａｎｆｏｒｍａｒｅａｓｏｎａｂｌｅｓｙｓｔｅｍｔｏｓｏｌ ｖｅｍｏｒｅｄｉｖｅｒｓｅｐｒｏｂｌ ｅｍｓ．Ｆｏｒｃｌ ａｓｓｉ ｆｉｃａｔｉｏｎｐｒｏｂｌ ｅｍｓ，ｔｈｅｍｕｌ ｔｉｃｌａｓｓｉｆｉ ｅｒｓｙｓｔｅｍｆｏｃｕｓｅｓｏｎｔｈｅ＜４ｄｉｖｉｄｅａｎｄｃｏｎｑｕｅｒ？？ｃｏｎｃｅｐｔ．Ｉｔｄｅｃｏｍｐｏｓｅｓｔｈｅｃｏｍｐｌ ｅｘｃｌ ａｓｓｉｆｉｃａｔｉｏｎｐｒｏｂｌ ｅｍｉｎｔｏｍｕｌｔｉｐｌ ｅｓｉｍｐｌ ｅｓｕｂｐｒｏｂｌ ｅｍｓ， ａｎｄｕｓｅｓａｓｉｎｇｌｅｍｏｄｅｌｔｏｂｒｅａｋｔｈｅｍｏｎｅｂｙｏｎｅ＞ａｎｄｔｈｅｎｒｅａｓｏｎａｂｌｙｃｏｍｂｉｎｅｓｔｈｅｓｅｍｏｄｅｌｓｔｏｏｂｔａｉｎａｓｏｌｕｔｉｏｎｔｏｔｈｅｏｒｉｇｉ ｎａｌｐｒｏｂｌｅｍ．Ｎｏｗａｄａｙｓ ， ｍｕｌｔｉｃｌ ａｓｓｉｆｉｅｒｅｎｓｅｍｂｌ ｅａｌｇｏｒｉｔｈｍｓｐｌａｙａｎｉｍｐｏｒｔａｎｔｒｏｌ ｅｉｎｖａｒｉｏｕｓｔａｓｋｓａｎｄａｒｅｉｍｐｏｒｔａｎｔｍｅｔｈｏｄｓｔｏｉｍｐｒｏｖｅｐｅｒｆｏｒｍａｎｃ ｅｉｎｍａｃｈｉ ｎｅｌｅａｒｎｉｎｇｃｏｍｐｅｔｉｔｉ ｏｎｓ．Ｈｏｗｅｖｅｒ， ｉｎｆｉ ｎａｎｃｉａｌ ，ｓｅｃｕｒｉｔｙａｎｄｓｏｍｅｏｔｈｅｒｔａｓｋｓ， ｔｈｅｉｎｆｅｒｅｎｃｅｒｅｓｕｌｔｉｓｎｏｔｃｏｎｖｉｎｃｉｎｇｏｎｌｙｂｙｒｅｌｙｉｎｇｏｎｔｈｅｉｎｃｏｍｐｌｅｔｅｄｅｓｃｒｉｐｔｉｏｎｌｉ ｋｅａｃｃｕｒａｃｙ．Ｔｈｅｒｅａｓｏｎｆｏｒｔｈｅｍｏｄｅｌｓｄｅｃｉｓｉ ｏｎｃａｎｎｏｔｂｅｉｇｎｏｒｅｄ．Ｔｈｅｅｎｓｅｍｂｌ ｅｓｔｒａｔｅｇｙｕｓｅｄｂｙｔｈｅｅｘｉｓｔｉｎｇｍｕｌｔｉｃｌａｓｓｉｆｉｅｒｓｙｓｔｅｍｃａｎｎｏｔｇｉｖｅｓｐｅｃｉｆｉｃｒｅａｓｏｎｓｆｏｒｄｅｃｉｓｉｏｎ ｍａｋｉｎｇｄｕｒｉｎｇｉ ｎｆｅｒｅｎｃｅ， ａｎｄｃａｎｎｏｔｅｘｐｌｉｃｉ ｔｌｙｇｉｖｅｔｒａｉ ｎｉｎｇｓａｍｐｌｅｓｔｈａｔａｒｅｅｆｆｅｃｔｉｖｅｉ ｎｉ ｎｆｅｒｅｎｃｅｌｉｋｅＫｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｓ，ｃｏｌ ｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇ［ａｎｄｏｔｈｅｒｍｏｄｅｌｓ］． Ｉｎｆａｃｔ，ｉｎｔｈｅｒｅｓｅａｒｃｈｏｆｐｓｙｃｈｏｌｏｇｙ， ｔｈｅｋｎｏｗｌ ｅｄｇｅ ｌｉｎｅｍｅｍｏｒｙｔｈｅｏｒｙｅｘｐｌ ａｉｎｓｔｈａｔｐｅｏｐｌｅｗｉｌ ｌａｃｔｉｖａｔｅｔｈｅｍｅｍｏｒｙｇｅｎｅｒａｔｅｄｂｙｐａｓｔｄａｔａｗｈｅｎｍａｋｉｎｇｄｅｃｉｓｉｏｎｓ＞ ａｎｄｕｓｅｏｌｄｅｘａｍｐｌｅｓａｓａｂａｓｉｓｔｏｇｕｅｓｓｔｈｅａｎｓｗｅｒｓｔｏｎｅｗｑｕｅｓｔｉｏｎｓ． Ｔｈｉｓｐａｐｅｒｅｘｐｌｏｒｅｓｔｈｉｓｐｓｙｃｈｏｌｏｇｉｃａｌｐｒｏｃｅｓｓ ， ａｎｄｐｒｏｐｏｓｅｓａｎｅｗｍｕｌｔｉ ｃｌ ａｓｓｉｆｉｅｒｅｎｓｅｍｂｌ ｅｓｔｒａｔｅｇｙｂａｓｅｄｏｎｔｈｅｋｎｏｗｌ ｅｄｇｅｌｉｎｅｍｅｍｏｒｙｔｈｅｏｒｙ， ｃａｌ ｌｅｄｔｈｅｋｎｏｗｌｅｄｇｅ ｌｉｎｅｅｎｓｅｍｂｌｅａｌｇｏｒｉｔｈｍ．ＴｈｉｓａｌｇｏｒｉｔｈｍｈａｓｂｅｔｔｅｒｉｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｔｈａｎＫｎｅａｒｅｓｔｎｅｉｇｈｂｏｒａｌｇｏｒｉｔｈｍｏｎｔｈｅｂａｓｉｓｏｆｇｕａｒａｎｔｅｅｉｎｇｔｈｅｃｌａｓｓｉｆｉ ｃａｔｉｏｎｅｖａｌｕａｔｉｏｎａｃｃｕｒａｃｙ．Ｉｎｉｎｆｅｒｅｎｃｅ，ｔｈｅｍｏｄｅｌ ｃａｎｐｒｏｖｉｄｅｓｉｍｉｌａｒｓａｍｐｌ ｅｓｉｎｔｒａｉｎｉｎｇａｓｔｈｅｂａｓｉｓｆｏｒｔｈｉｓｉｎｆｅｒｅｎｃｅ．Ｎｏｔｏｎｌｙｔｈａｔ， ｄｕｒｉｎｇｔｈｅｔｒａｉｎｉｎｇｏｆｔｈｅｍｏｄｅｌ，ｔｈｅｐｒｏｃｅｓｓｏｆｉ ｎｃｒｅａｓｉｎｇｃｏｍｐｌｅｘｉｔｙａｎｄｔｈｅｃｈａｎｇｅｓｉｎｖａｒｉｏｕｓａｓｐｅｃｔｓｏｆｃａｐａｂｉｌｉｔｉｅｓａｒｅａｌ ｌｅｘｐｌｉ ｃｉｔｌｙｄｉ ｓｐｌａｙｅｄ． Ｉｎｔｈｅｔｒａｉｎｉｎｇｐｒｏｃｅｓｓ ，ｔｈｅｍｏｄｅｌｃａｎｅｘｔｒａｃｔｔｈｅｄｉｆｆｉｃｕｌｔｐｏｉｎｔｓｏｆｔｈｅｐｒｏｂｌ ｅｍ， ｓｕｃｈａｓａｃｅｒｔａｉｎｃｌ ａｓｓｏｆｓａｍｐｌ ｅｔｈａｔｉｓｄｉｆｆｉｃｕｌ ｔｔｏｄｏｒｉｇｈｔ， ａｎｄｓｏｍｅｓｕｂｓｅｔｓｏｆｃａｔｅｇｏｒｉｅｓｔｈａｔａｒｅｅａｓｙｔｏｂｅｃｏｎｆｕｓｅｄ． Ｄｕｅｔｏｔｈｅｉ ｎｔｒｏｄｕｃｔｉｏｎｏｆｔｈｅｋｎｏｗｌ ｅｄｇｅ ｌｉｎｅ ，ｔｈｅｓｅｄｉｆｆｉｃｕｌ ｔｑｕａｎｔｉｆｉｃａｔｉｏｎｉｓｎｏｗａｖａｉｌａｂｌ ｅｔｏｂｅｄｅｓｃｒｉｂｅｄｂｙｔｈｅａｃｔｉｖａｔｉ ｏｎ，ｆｏｒｇｅｔｔｉｎｇ， ａｎｄｃｒｅａｔｉｏｎｆｒｅｑｕｅｎｃｙｏｆｔｈｅｋｎｏｗｌｅｄｇｅ ｌｉｎｅｓ． Ｔｈｅｓｅｉｎｄｉｃａｔｏｒｓｉｍｐｒｏｖｅｔｈｅｉ ｎｔｅｒｐｒｅｔａｂｉｌｉｔｙｏｆｔｈｅｍｏｄｅｌ ，ａｌ ｌｏｗｉｎｇｕｓｅｒｓｔｏｃｏｎｄｕｃｔａｍｏｒｅｓｐｅｃｉｆｉｃａｎａｌｙｓｉｓｏｆｔｈｅｐｒｏｂｌ ｅｍ． |
| [返回] |
下一篇：基于纳什均衡的智能合约缺陷检测