第３８卷　第７期２０１５年７月计　　算　　机　　学　　报ＣＨＩＮＥＳＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲＳＶｏｌ．３８ Ｎｏ．７Ｊｕｌｙ　２０１５　收稿日期：２０１３－１２－０８；最终修改稿收到日期：２０１４－０８－１３．本课题得到国家自然科学基金（６０７７５０４５，６１０３３０１３）、苏州大学东吴学者计划（１４３１７３６０）和苏州大学科技创新团队项目（９０１１８００６）资助．杨梦铎，女，１９８９年生，博士研究生，主要研究方向为李群机器学习、模式识别．Ｅ－ｍａｉｌ：２０１３４０２７００７＠ｓｔｕ．ｓｕｄａ．ｅｄｕ．ｃｎ．李凡长，男，１９６４年生，教授，博士生导师，中国计算机学会（ＣＣＦ）高级会员，主要研究领域为李群机器学习、动态模糊逻辑．张　莉，女，１９７５年生，博士，教授，中国计算机学会（ＣＣＦ）高级会员，主要研究领域为机器学习、模式识别、神经网络和智能信息处理．李群机器学习十年研究进展杨梦铎　李凡长　张莉（苏州大学计算机科学与技术学院　江苏苏州　２１５００６）摘　要　该文主要从３个方面介绍李群机器学习近年来的研究进展．首先，该文将解释为什么采用李群结构进行数据或特征描述，以此阐明李群机器学习与传统机器学习方法的区别，并且通过李群在人工智能领域的广泛应用来说明李群表示的普遍性．其次，该文概述了李群机器学习自提出以来的主要学习算法，着重强调最近的一些研究进展．最后，针对目前的研究现状，该文给出李群机器学习未来的一些研究方向．关键词　李群机器学习；学习算法；李群；分类器中图法分类号ＴＰ１８１　　　ＤＯＩ号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０１５．０１３３７Ａｄｖａｎｃｅｓ　ｉｎ　ｔｈｅ　Ｓｔｕｄｙ　ｏｆ　Ｌｉｅ　Ｇｒｏｕｐ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　ｉｎ　Ｒｅｃｅｎｔ　Ｔｅｎ　ＹｅａｒｓＹＡＮＧ　Ｍｅｎｇ－Ｄｕｏ　ＬＩ　Ｆａｎ－Ｚｈａｎｇ　ＺＨＡＮＧ　Ｌｉ（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２１５００６）Ａｂｓｔｒａｃｔ　Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｓ　ａｄｖａｎｃｅｓ　ｉｎ　ｔｈｅ　ｓｔｕｄｙ　ｏｆ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ（ＬＭＬ）ｆｒｏｍ　ｔｈｒｅｅ　ａｓｐｅｃｔｓ．Ｆｉｒｓｔ，ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ｔｈｅ　ｒｅａｓｏｎｓ　ｗｈｙ　ｗｅ　ｃｈｏｏｓｅ　Ｌｉｅ　ｇｒｏｕｐ　ｔｏ　ｄｅｓｃｒｉｂｅｆｅａｔｕｒｅｓ，ａｉｍｉｎｇ　ａｔ　ｃｌａｒｉｆｙｉｎｇ　ｔｈｅ　ｄｉｆｆｅｒｅｎｃｅｓ　ｂｅｔｗｅｅｎ　ＬＭＬ　ａｎｄ　ｔｒａｄｉｔｉｏｎａｌ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｍｅｔｈｏｄｓ．Ｂｙ　ｓｈｏｗｉｎｇ　ｅｘｔｅｎｓｉｖｅ　ａｐｐｌｉｃａｔｉｏｎｓ　ｉｎ　ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ　ａｒｅａ，ｗｅ　ｉｌｌｕｓｔｒａｔｅ　ｔｈｅ　ｕｎｉｖｅｒｓａｌｉｔｙ　ｏｆＬｉｅ　Ｇｒｏｕｐ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．Ｓｅｃｏｎｄ，ｔｈｉｓ　ｐａｐｅｒ　ｏｕｔｌｉｎｅｓ　ｔｈｅ　ｍａｉｎ　ＬＭＬ　ａｌｇｏｒｉｔｈｍｓ　ｓｉｎｃｅ　ｐｒｏｐｏｓｅｄ，ｗｉｔｈ　ａｎ　ｅｍｐｈａｓｉｓ　ｏｎ　ｒｅｃｅｎｔ　ｒｅｓｅａｒｃｈ　ｐｒｏｇｒｅｓｓ．Ａｔ　ｌａｓｔ，ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｃｕｒｒｅｎｔ　ｄｅｖｅｌｏｐｍｅｎｔ，ｔｈｉｓ　ｐａｐｅｒ　ｓｈｏｗｓ　ｓｏｍｅ　ｆｕｔｕｒｅ　ｒｅｓｅａｒｃｈ　ｄｉｒｅｃｔｉｏｎｓ　ａｂｏｕｔ　ＬＭＬ．Ｋｅｙｗｏｒｄｓ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ；ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ；Ｌｉｅ　ｇｒｏｕｐ；ｃｌａｓｓｉｆｉｅｒ１　引　言由于真实世界中数据的多样性和复杂性，人们经常将数据嵌入到流形结构中表示．这使得传统的基于欧氏空间的机器学习方法变得无效．于是会不可避免地提出这样的疑问———是否存在某种方法：既能够利用流形结构表示数据的便捷性，又能够寻找到相应的可计算模型？对此，流形学习的许多尝试给出了肯定的答案以及两点启发：（１）可以利用流形的性质，对传统的基于欧氏空间的机器学习方法进行修改，使其适用于流形空间；（２）依据流形的结构，将其映射到欧氏空间中，再运用传统的机器学习方法处理问题．然而在实际情况中，流形的结构经常无法把握，可用的流形性质经常也无法确定，寻找流形到欧氏空间的映射往往十分困难，并且很多时候仍需要寻找另一个映射将欧氏空间的计算结果映射回流形空间中．这些问题无疑都大大增加了实际操作中的难度．一个不错的选择是寻找某种特定的流形：一方面，它能够自然地对数据或其特征进行表示；另一方面，它具有许多优良的性质能为计算所用．李群既是一个群，又是一个微分流形，能够在群操作下保持光滑结构．近年来，李群不再局限于数学领域的理论研究，这类连续变换群也被许多计算机领域的学者所熟知．在这样的背景下，文献［１－２］将李群表示与机器学习算法结合起来，提出了李群机器学习的理论框架．自２００４年提出至今，李群机器学习已经走过了十年的历程，相继出版了两本著作［３－４］．为了方便同行们快速的了解相关内容，本文首先介绍李群机器学习的概念，阐述为什么选择李群来研究机器学习．其次，本文给出了目前李群机器学习的主要研究成果并重点介绍一些典型的代表性工作．最后，分析并讨论李群机器学习未来的研究方向与发展趋势．２　李群机器学习的概念１９世纪后期，挪威数学家索菲斯·李为连续变换群奠定了理论基础，随后这类群被后人命名为李群．在数学中，李群是一个群，同时也是一个微分流形，具有在群操作下保持光滑结构的性质．李群是一类光滑流形，因此能够利用微积分对其进行研究．此外，李群理论的核心思想之一是用李群的线性化版本来替换全局目标李群，这类局部或者线性化表示被索菲斯·李叫做无穷小群，也即后人所称的李代数．定义１．　设Ｇ 是一个非空集合，满足：（１）Ｇ 是一个群；（２）Ｇ 也是一个微分流形；（３）群的运算是可微的，即由Ｇ×Ｇ 到Ｇ 的映射（ｇ１，ｇ２）ｇ１ｇ－１２是可微的映射．则称Ｇ 是一个李群（Ｌｉｅ　ｇｒｏｕｐ）．李群机器学习与传统机器学习方法的不同是李群机器学习采用李群结构对数据或特征进行表示并利用群作用来处理对数据的操作．微分流形的几何性质可以用来便捷地描述数据，群的代数性质能够提供具体的求解方案，这使得李群机器学习的思想得以形成．定义２．　李群机器学习．一般用Ｇ 表示输入空间，Ｍ 表示输出空间．令ＧＲＤ，ＭＲｄ，Ｄ＞ｄ，借用李群的定义将Ｇ 对Ｍ 的左作用可用如下映射表示：：Ｇ×Ｍ →Ｍ，满足：（１）对于所有的ｘ∈Ｍ，（ｅ，ｘ）＝ｘ；（２）对于所有的ｇ，ｈ∈Ｇ 和ｘ∈Ｍ，（ｇ，（ｈ，ｘ））＝（ｇｈ，ｘ）．Ｇ 对Ｍ 的右作用可用如下映射ψ 表示：ψ：Ｍ ×Ｇ→Ｍ，满足：（１）对于所有的ｘ∈Ｍ，ψ（ｘ，ｅ）＝ｘ；（２）对于所有的ｇ，ｈ∈Ｇ 和ｘ∈Ｍ，ψ（ψ（ｘ，ｇ），ｈ）＝ψ（ｘ，ｇｈ）．相对于其他流形而言，李群是被研究得比较深入且被运用得比较多的可微流形．为此，接下来用总结的如下３种原因来解释为什么选择李群结合机器学习任务．２．１　李群是变换的自然表示许多模式识别的任务依赖于数据在变换下的不变性问题．因此，在实际应用中经常需要用到“变换”这一概念，例如图像不变性、刚体运动估计等．当需要描述的是变换本身时，所涉及的操作是变换的结合而不是单纯的对变换进行加法或数乘．因此直观上能够理解：采用群这种代数结构来表示变换要比线性空间更加合适．另一方面，群的概念也能够帮助理解群与不变性的关系：如果图像的两个变换都保持一个不变特征，那么很明显这两个变换的合成也不会改变这个特征．因此任意两个这样变换的合成也包含在保持特征不变性的变换集合中．单位变换（不做任何变换）显然能够保持特征，并且任意变换的逆变换也存在于这个集合中．这些都与群的概念一一对应，因此采用群结构表示变换是合适的，从而能够将原始问题转化为寻找相关变换群的问题．群结构和群作用可以保证在实际应用中方便地表示变换．可以说，李群是变换空间的一种自然表示．２．２　李群与李代数能够相互转换机器学习方法的性能在很大程度上依赖于数据或特征的表示．采用李群对数据表示所面临的一个问题是：传统的基于向量空间的机器学习方法变得无效．李代数是描述无穷小变换（比如十分小角度的旋转）时用到的代数结构．李的基本定理描述了李群与李代数之间的关系．李代数是李群在单位元处的切空间，它能够完全捕获李群的局部结构．通常，可以将李代数中的元素看作是李群中无限接近于单位元的李群元素．有了李代数的概念，李群能够被看作是局部拓扑等价于向量空间，这使得移植传统的基于向量空间（线性空间）的模型和算法到李空间变得可能．李群和李代数之间的相互转换，使得许多非线性空间问题能够利用李群表示成李代数结构，形成线性空间，这就为非线性问题的线性化表示找到了１３３８ 计　　算　　机　　学　　报２０１５年新途径．除了利用其线性特性构建统计模型之外，李代数还允许沿着李群流形上两点间的最短路径（测地线）引导物体，并且对变换能够给出自然的参数化表示．２．３　矩阵群属于李群在模式识别的诸多应用中，尤其是在计算机视觉领域中，经常采用矩阵来存储数据或表示特征．非奇异实方阵在矩阵乘法下构成一般线性群，一般线性群的所有子群构成矩阵群，并且矩阵群具有李群结构．所以诸如仿射群、旋转群、协方差矩阵群这种在人工智能中常见的矩阵群都属于李群．值得一提的是，虽然矩阵群是李群，然而并非所有的李群都是矩阵群．可以说在众多李群中运用得最为广泛的是矩阵群．３　李群机器学习模型为了巩固与完善李群机器学习的理论基础，文献［５－７］给出了李群机器学习的４个假设公理与两种学习模型，即几何模型与代数模型．李群机器学习的几何模型利用李群微分流形的性质，致力于学习系统的表示与度量；李群机器学习的代数模型利用李群和李代数之间的相互转换，将向量空间的算法拓展到流形空间．依据两种学习模型，可以概括李群机器学习算法的一些基本思路：一方面，可以利用李群的几何性质来设计算法，包括李群的表示与度量、拓扑性质、流形学习等；另一方面，可以将李群映射到李代数空间，从而能够移植传统的基于向量空间的算法．３．１　基于李群的表示李群机器学习利用机器学习方法处理具有李群结构的数据．然而，并不是所有特征都自然地具备李群结构．若要应用基于李群的机器学习方法，首先要做的是构造有效的李群特征．在动态场景中经常会遇到各种各样的变换．这些变换矩阵在矩阵乘法的作用下往往构成一般线性群的某个子群，而这些子群属于李群，因此这些变换特征具有李群结构．如文献［８］总结了常见的的仿射群ＧＡ（２）、旋转群ＳＯ（３）、特殊欧氏群ＳＥ（３）、特殊线性群ＳＬ（３）等李子群在计算机领域中的应用．有时在静态场景中也可以利用目标对象到标准模板的变换矩阵，构造李群特征．例如文献［９］为停车场俯视照片中的车辆构建利用旋转角度和缩放比例作为参数的辐条模型，通过建立每个车辆实例到基准车辆的变换构造李群特征并将该变换特征应用在车辆分类问题中．协方差矩阵作为一种正定对称矩阵，能够满足矩阵群的要求，因此是构建李群的另一种方式．文献［１０］提出了一种区域协方差特征并将其应用在模板跟踪中．这种特征不仅维数低、可融合多种相关特征而且具有一定程度的旋转和比例不变性．３．２　李群度量在李群表示的基础上，遇到的第１个问题就是向量空间的计算不再适用，典型的如李群流形上两点间的距离不能直接用欧氏距离来表示．为此，针对李群流形上的度量问题衍生了一些李群机器学习算法．流形上两点之间具有最短距离的曲线叫做测地线，它定义了流形上的度量．因此，文献［１１］在给出李群机器学习模型的同时也给出了相应的等距变换算法和测地线距离算法．算法１． 李群机器学习的等距变换算法（Ｉｓｏｍｅｔｒｉｃ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ　Ａｌｇｏｒｉｔｈｍ，ＩｓｏＴ）．输入：样本集Ｘ＝｛ｘ１，ｘ２，…，ｘｎ∈ＲＤ｝输出：Ｙ＝｛ｙ１，ｙ２，…，ｙｎ∈Ｒｄ｝，ｄ＜Ｄ１．令输入样本集为Ｘ＝｛ｘ１，ｘ２，…，ｘｎ∈ＲＤ｝，Ｘ 满足李群结构．２．在Ｘ 的李代数ｇ 上取定一个在自同构Ａｄ（Ｇ）的作用下的不变内积：〈Ａｄ（ｇ）ｘ１，Ａｄ（ｇ）ｘ２〉＝〈ｘ１，ｘ２〉，ｘ１，ｘ２∈ｇ，ｇ∈Ｇ．３．取定一组标准正交基｛ｘｉ：１ｉｎ｝，〈ｘｉ，ｘｊ〉＝δｉｊ．用左平移把｛ｘｉ：１ｉｎ｝分别张成Ｘ 上左不变向量场，记为ｘｉ，即建立起黎曼空间结构．４．在这个黎曼空间上，对Ｘ 进行左（或右）平移线性变换，即构成了对样本集的等距映射：Ｘ→Ｙ，Ｙ＝｛ｙ１，ｙ２，…，ｙｎ∈Ｒｄ｝，ｄ＜Ｄ．算法２． 李群机器学习的测地线距离算法（Ｇｅｏｍｅｔｒｉｃ　Ｄｉｓｔａｎｃｅ　Ａｌｇｏｒｉｔｈｍ，ＧｅｏＤ）．输入：样本点ａ输出：在ａ的坐标邻域内的所有点与ａ 的距离１．生成样本点ａ的邻域Ｕａ．２．分析ａ邻域内信息，在样本集中的单位点上取一个自同构作用下不变的内积ｇｉ，ｊ（ａ），计算ｇｉ，ｊ（ａ）的值．３．将所得ｇｉ，ｊ（ａ）的值，代入Ｄ（ａ，ｂ）＝ Σｎｉ，ｊ＝１槡ｇｉ，ｊ（ａ）（ａｉ－ｂｉ）（ａｊ－ｂｊ）中，计算Ｕａ中每一点与ａ 之间的距离．４．输出所有距离值（通常距离值越小表示与要学习的目标结果越相近）．　　在上面的算法中，Ｔａ（Ｍ）表示Ｍ 在点ａ 处的切空间．如果ｘ：Ｕ→ＲＤ 是点ａ 处的坐标系， （ｘ ） ｉ是点ａ处关于ｘｉ的方向向量， ｛ 那么（ｘ ） １， （ｘ ） ２，…，７期杨梦铎等：李群机器学习十年研究进展１３３９（ｘ ）｝ ｎ就是切空间Ｔａ（Ｍ）的坐标基．定义内积ｇｉ，ｊ（ａ）＝ （ｘ ） ｉ， （ｘ ） ｊ为Ｕ 上的一个可微函数，那么切空间上ａ点与ｂ 点之间的距离为Ｄ（ａ，ｂ）＝Σ ｎｉ，ｊ＝１ｇｉ，ｊ（ａ）（ａｉ－ｂｉ）（ａｊ－ｂｊ 槡）．实际上，算法２给出了一种通用的计算测地线距离的方法．而在实际应用中，更为常见的计算李群中任意两个元素ｘ１，ｘ２之间的距离可以用下面的公式，其中· 表示Ｆｒｏｂｅｎｉｕｓ范数．ｄ（ｘ１，ｘ２）＝ ｌｏｇ（ｘ－１１ｘ２） （１）　　对于矩阵李群来说，式（１） · 内的部分可以用Ｂａｋｅｒ－Ｃａｍｐｂｅｌｌ－Ｈａｕｓｄｏｒｆｆ（ＢＣＨ）展开公式中的前两项之和－ｌｏｇ（ｘ１）＋ｌｏｇ（ｘ２）近似得到．３．３　李群与李代数的相互映射李群与李代数之间的映射关系是通过指数映射以及对数映射来完成的．若要将李群元素映射到相应的李代数向量空间，则需要通过对数映射ｌｏｇ：Ｇ→ｇ：ｌｏｇ（ｘ）＝Σ∞ｉ＝０（－１）ｉ－１ｉ（ｘ－ｅ）ｉ （２）其中ｘ 表示李群元素．若要将李代数元素映射到李群空间中，则需要通过指数映射ｅｘｐ：ｇ→Ｇ：ｅｘｐ（ｍ）＝Σ∞ｉ＝０１ｉ！ｍｉ （３）其中ｍ 表示李代数元素．利用李群对应的李代数元素ｖ∈ｇ，可以唯一确定李群流形上的一条测地线：Ｈｖ  ｛ｅｘｐ（ｔｖ）∈Ｇ，ｔ∈Ｒ｝ （４）从表达式看出，测地线是李群Ｇ 上的一个单参数子群．通过取定ｔ的某个值，就能够确定测地线上的某个群元素．４　李群机器学习的相关算法上面简要介绍了李群机器学习模型涉及的３个方面，接下来对目前主要的研究进展进行分析、概括与总结．许多机器学习方法希望从数据中找到某种规律，构建模型并对新样本进行预测．因此，机器学习方法常常被用来完成模式识别的任务．当面临的数据具有李群结构时，人们有时仍然希望能够运用机器学习的方法学习数据的类别信息．从现有的研究成果来看，用于分类的李群机器学习算法，依照算法不同的设计思路大致可以分为两类：第１类是移植基于向量空间的机器学习算法，将其基本思想运用到具有李群结构的数据中；第２类是构造具有分类效果的代数或几何结构，通过结构特性将数据划分开．下面先介绍一个典型的改造向量空间机器学习方法的分类算法．４．１　李群均值学习算法一个简单的李群分类器的思想是先计算出训练样本中各个类别的内均值，然后通过比较未知样本与各个均值点之间测地线的距离来确定新样本的类别属性．内均值要求计算出的均值点仍然位于流形结构上，相对于利用欧氏距离计算出的均值点，内均值更能反映流形的真实结构、体现同类样本的共性，因而能够提供更加准确的分类信息．基于内均值分类的思想，文献［９］设计了一个简单的李群分类器，将具有最短李距离的均值点的类别赋给未知的车辆实例，在为停车场俯视照片的车辆分类中取得了非常好的效果．当然，也可以再进一步设计一些基于李群度量的分类算法，比如基于李群的ＫＮＮ算法、Ｋ－Ｍｅａｎｓ算法等．如果遇到的问题不再仅仅是空间的度量问题，而是希望能够运用一些基于欧氏空间的机器学习算法时，则需要寻找某种方式使得传统方法能够适用．利用李群和李代数之间的转换关系，可以考虑首先经过对数映射将样本投影到李代数的向量空间，然后在这个局部的线性空间上施加传统的机器学习方法；在学习到李代数参数后，再通过指数映射将数据映射回李群空间．这里给出一个典型的利用李群李代数相互转换解决李群样本分类问题的实例．文献［１２］借鉴线性判别分析的思想，在李群流形上寻找一条测地线，将所有样本向这条测地线上投影，使得数据集类间散度和类内散度的比值最大化．李群对应的李代数生成元可通过单参数的指数映射Ｒ　Ｇ：ｅｘｐ（ｔｖ），ｔ∈Ｒ，ｖ∈ｇ 生成李群流形上的一条测地线．李群样本点到测地线的投影被定义成测地线上与样本点距离最近的李群元素，该距离通过流形上的测地线距离来计算．文章中，作者给出的寻找Ｌｉｅ－Ｆｉｓｈｅｒ投影测地线的算法如算法３．算法３．　求Ｌｉｅ－Ｆｉｓｈｅｒ投影测地线算法（ＬｉｅＦｉｓｈｅｒ　Ａｌｇｏｒｉｔｈｍ，Ｌｉｅ－Ｆｉｓｈｅｒ）．输入：｛Ｍｉｊ｝ｊ＝１，…，ｎｉｉ＝１，…，ｃ ∈Ｇ，Ｍｉｊ表示第ｉ 类别的第ｊ 个样本，ｎｉ表示第ｉ个分类中训练样本的个数，一共有ｃ个分类输出：Ｌｉｅ－Ｆｉｓｈｅｒ投影测地线Ｈｖ对应的李代数ｖ１３４０ 计　　算　　机　　学　　报２０１５年１．对每一个李群样本Ｍｉｊ去做李代数映射：ｘｉｊ＝ｌｏｇ（Ｍｉｊ）．２．计算每类新样本的均值：μｉ＝１ｎｉΣｎｉｊ＝１ｘｉｊ，ｉ＝１，２，…，ｃ以及总体均值：μ＝１ ｎΣ ｃｉ＝１Σｎｉｊ＝１ｘｉｊ，ｉ＝１，２，…，ｃ．３．计算Ｓｂ和Ｓｗ：Ｓｂ ＝Σｃｉ＝１ｎｉ（μｉ－μ）（μｉ－μ）Ｔ，Ｓｗ ＝Σ ｃｉ＝１Σｎｉｊ＝１（ｘｉｊ－μｉ）（ｘｉｊ－μｉ）Ｔ．４．求解Ｓｂｖ＝λＳｗｖ，得到的ｖ即可按ｅｘｐ（ｔｖ），ｔ∈Ｒ 生成Ｌｉｅ－Ｆｉｓｈｅｒ的测地线Ｈｖ．算法中Ｓｂ和Ｓｗ分别代表类间散度矩阵和类内散度矩阵，Ｆｉｓｈｅｒ的判别函数希望找到某个最佳的投影方向，使得样本在该方向上投影后能够具有最大的类间离散度和最小的类内离散度．一个自然的想法是在李群空间中推导出判别函数，为此文献［１２］给出了表达式：Ｊ（ｖ）≈Σ ｃｉ＝１ｎｉ· ｌｏｇ（珘μｉ）－ｌｏｇ（珘μ）２Σ ｃｉ＝１Σｎｉｊ＝１ｌｏｇ（ｙｉｊ）－ｌｏｇ（珘μｉ）２（５）但是对于Ｊ（ｖ），不能得到显示的解析表达式，求解过程十分困难．于是，作者对每一个李群样本做对数映射，然后利用向量空间中求取平均值的方法计算新样本集的总体均值及各个类别的样本均值．有了这两个计算结果之后，就可以利用标准的Ｆｉｓｈｅｒ方法得到类间散度矩阵和类内散度矩阵．通过求取特征方程能够求得测地线的李代数生成元，再依照式（４）就可以算得用于最佳分类的那条投影测地线．接下来需要做的就是求取每一类训练样本在李代数空间中向ｖ方向投影后所得的均值，然后通过比较测试样本和各个均值之间的距离来确定新样本Ｔ 所属的类别信息．判别过程可形式化为下面的表达式：ｉ＊＝ａｒｇ　ｍｉｎ ｉ＝１，２，…，ｃｖＴｌｏｇ（Ｔ）－珘μｉ （６）其中，ｃ代表类别的数量，珘μｉ表示各类样本的均值．算法的求解过程从一开始就将李群空间的样本映射到李代数空间中，依据李代数向量空间的性质，可以对映射后的样本运用标准的线性判别分析算法．由于除了映射的过程，后续的计算都是在线性空间中完成的，因此整个算法的效率较高，计算速度快．特别是当数据构成的李群流形几何结构越平坦、越接近于超平面时，算法的精确度越高．除此之外，利用李代数向量空间的欧氏距离表示样本之间的差异还更加适用于低维的李群样本，这也是由于高维样本均值计算误差增大造成的．因此，针对高维的、局部邻域内流形分布不平坦的数据集，可以考虑先在李群空间中求取总体样本的均值以及各类别的均值，然后再将结果映射到李代数空间进而计算ｖ．其中，利用μ－１μｉ可以表示从每类均值中除去总体均值，用μ－１ｉ Ｍｉｊ表示从第ｉ 类某个样本中去掉类内的均值．计算完成后将结果映射回李代数空间求取Ｆｉｓｈｅｒ的判别函数．由于利用流形测地线计算的内均值更能反应一类样本的共性，因此这样的做法可以提高高维李群样本的分类精度．当然，相对而言在计算方面的开销将会增大．值得说明的是，这里将李群映射到李代数并运用向量空间的方法是可行的，这样的思想在无监督的聚类算法中同样适用并且在相应的文献中也给出了一定的理论证明．例如文献［１３］提出了一个适用于任何解析流形的ｍｅａｎ　ｓｈｉｆｔ算法，并以格拉斯曼流形、李群为例，详细地给出了在这两种解析流形上Ｍｅａｎ　Ｓｈｉｆｔ算法的推导过程．文献［１２－１３］给出了设计李群机器学习算法的一种思路，当在原始的李群空间中计算或求解遇到困难时，可以转而映射到相应的李代数空间，这样，线性空间的计算或许能够找到另一种解决途径．而这时，李群的优势也就更加显现出来了，因为李群和李代数之间是能够通过对数和指数映射进行自由转换的．４．２　李群半监督学习算法与其他流形相比，李群的特殊之处是李群与李代数之间的关系．李群的基本定理给出了李代数是李群在单位元处的切空间．任意一个李代数存在一个与之对应的连通李群，任意两个具有相同李代数的李群是局部同构的．在实矩阵的例子中，李代数包括那些使得ｅｘｐ（ｔ　Ｘ）∈Ｇ 成立的矩阵Ｘ，其中ｔ∈Ｒ，ｅｘｐ表示指数映射．这意味着可以将具有李群结构的数据方便地映射为李代数的形式．而作为李群上的一种局部切空间，李代数具有向量空间的性质．有了这样的前提，将李代数与传统的监督学习、半监督学习方法结合起来能够有效地解决李群空间上的问题．半监督学习问题通常需要解决一类监督学习的任务，但是训练过程经常利用大量的无标签样本以及少量的有标签样本作为辅助．李群上的半监督学习问题可以描述为存在某个样本数量为ｎ＝ｌ＋ｋ的李群数据集Ｇ＝｛ｘｉ｜ｘｉ∈ＲＤ，１ｉｌ＋ｋ｝，其中Ｄ表示样本维数，Ｌ＝｛（ｘ１，ｙ１），（ｘ２，ｙ２），…，（ｘｌ，ｙｌ）｝表示少量的有标签李群样本，Ｕ ＝｛ｘｌ＋１，ｘｌ＋２，…，ｘｌ＋ｋ｝表示大量无标签李群样本，即满足ｌｋ．依据经验的观察，人们发现无标签的数据在结合少量有标签数据之后，学习的准确率能够得到相当大的改进．７期杨梦铎等：李群机器学习十年研究进展１３４１在这样的研究目的下，文献［１４］将半监督的思想引入李群数据集上，设计出相应的李群半监督模型．为了能够利用无标签的李群样本，需要对数据的潜在分布做一定的结构假设．李群的微分流形性质决定了在半监督学习任务中需要用到平滑假设以及流形假设：平滑假设是指通常认为相互邻近的点具有相同的标签；而流形假设意味着相比于输入空间来说，数据往往存在于某个维数低得多的流形上．平滑假设在一定程度上反映了这样一条性质，即相互聚集的点能够形成相同的类别归属，以此尽可能地简化分界边线．流形假设则使得利用无标签数据流形上的距离与密度能够帮助整个学习进程．在假设的基础上，文献［１５］利用李群流形上的几何距离（测地线距离）设计基于几何结构的李群半监督学习模型．此外，为了扩展模型以适用于向量空间的半监督学习算法，作者将李群映射到以单参数子群形式存在的李代数空间，设计基于代数结构的李群半监督学习模型．针对李群设计的半监督方法能够对构形空间是李群的数据进行方便地处理．例如，某些医药应用中的药分子特征空间构成李群结构．在监督学习任务中获得大量有标签的数据通常是十分费力的事，有时还需要具有一定经验的专家参与．例如在药物的测定工作中，需要聘请专业的人员对药物分子的活性进行测定．并且在多数情况下，存在大量未被测定的药物分子．这时选用半监督学习的方式不仅能够节约时间与成本，还能在一定程度上保证测定的准确率．传统的学习方法由于受到数据集所在空间的限制不能够提供准确的预测信息．因此，将李群半监督算法应用在药物活性预测中不仅解决了样本的分布问题，而且利用未测定数据提高模型精度，能够在很大程度上减少药物测定的工作成本．４．３　李群覆盖学习算法利用李代数解决李群机器学习问题的思路是将李群流形上的数据映射到向量空间中以使得李群机器学习的适用性更加广泛．另一种李群机器学习的解决思路是希望利用李群结构的某些性质，在此之上设计适用的学习算法．有别于改造传统的模式识别方法，这一类用于分类的李群机器学习算法考虑在数据集上构造具有分类性能的结构．例如，寻找原有数据中的某种同构关系暗含了一定的分类信息．群论中规定了两个同构的群具有相同的性质．文献［１６］就利用了李群与其覆盖群局域同构的性质，将同类样本采用相同的覆盖群表示，从而将不同类别的样本区分开．在这样的问题中，核心的问题是寻找李群相应的覆盖群．多连通的李群空间必定存在某个同态的、单连通的简单李群与之对应，这个简单李群被称为原李群的一个覆盖群．原李群与其覆盖群之间的映射是一个连续的群同态，被称作覆盖同态．覆盖是研究代数几何的重要工具，其思想在机器学习领域已经得到了广泛的应用．文献［１６－１７］利用李群特殊的代数几何结构，给出了李群机器学习的单连通覆盖算法和多连通覆盖算法，并将其应用在药物分子设计中，验证了算法的有效性和优越性．在数学中，覆盖群是定义在拓扑群上的一个覆盖空间，这个覆盖空间要构成一个拓扑群并且满足到原拓扑群的映射是一个覆盖同态．并且如果拓扑群Ｈ 是拓扑群Ｇ 的一个覆盖群，那么Ｈ 与Ｇ 局部同构．作为拓扑群的特例，李群继承覆盖群的所有性质．尤其是对于流形结构，流形的每个覆盖仍然是一个流形，并且在流形上覆盖同态变成了一个光滑映射．李群作为一个微分流形，李群Ｇ 与其覆盖群是局部同构的，当且仅当Ｇ 本身为单连通李群时，ｆ 为同构．作为单位元处的切空间，李代数还能够辅助李群寻找其覆盖空间．这是因为两个李群是局部同构的当且仅当它们的李代数是同构的．这意味着两个李群之间的映射是覆盖同态当且仅当李代数上的诱导映射是同构映射．除此之外，连通李群Ｇ 必有连通且单连通的覆盖群（珟Ｇ，ｆ），称为Ｇ 的通用覆盖群．为了简化问题且保证引入的覆盖群仍然是一个李群，需要将研究的范围限制在连通李群中并且引入通用覆盖的概念．连通李群上的覆盖空间存在这样的性质：一个连通李群的通用覆盖仍然是一个李群．事实上，微分流形的任意一个覆盖都是微分流形，但是通过指定通用覆盖保证了李群的群结构．算法４． 求连通李群的通用覆盖群算法（Ｕｎｉｖｅｒｓａｌ　Ｃｏｖｅｒｉｎｇ　Ｇｒｏｕｐ　Ａｌｇｏｒｉｔｈｍ，ＵＣＧ）．输入：连通李群Ｇ输出：Ｇ 的通用覆盖群，覆盖映射ｆ１．取定单位标架（Ｕ，φ）．从Ｕ 出发可以构造点集∪ ∞ｍ＝１（Ｕ烇×Ｕ×烉…×烋Ｕｍ）．２．取此点集中的元素（ｕ１，ｕ２，…，ｕｍ）和（ｖ１，ｖ２，…，ｖｐ），ｕ，ｖ，ｕｖ∈Ｕ．根据（ｕ，ｖ）＝ｕｖ 这种规则，对（ｕ１，ｕ２，…，ｕｍ）进行有限步变化，检查是否可以变为（ｖ１，ｖ２，…，ｖｐ）．３．将符合等价条件的元素的等价类记为（ｕ１，ｕ２，…，ｕｍ）＊．继续选择其他元素；将所有符合等价关系的等价类构成集合珟Ｇ．４．在等价类集合和（ｕ１，ｕ２，…，ｕｍ）之间建立覆盖映射１３４２ 计　　算　　机　　学　　报２０１５年ｆ：（ｕ１，ｕ２，…，ｕｍ）＊→ｕ１ｕ２…ｕｍ，则（珟Ｇ，ｆ）即为Ｇ 的覆盖群．对于每一个李代数，存在唯一一个与之对应的单连通李群．那么，一个连通李群Ｇ 的通用覆盖群是唯一的一个单连通李群Ｈ ，满足Ｈ 与Ｇ 的李代数相同．由于同构的群具有相似的性质，因此可以认为具有相同覆盖群的李群样本共享相同的标签．连通性是主要的拓扑性质之一，可以用来区分两个不同的拓扑空间．一个更强的概念是道路连通空间，在这个空间中任意两个点能够通过一条路径连接起来．在此基础上，文献［１６］给出单连通覆盖算法．算法５．　李群机器学习的单连通覆盖算法（Ｓｉｍｐｌｙ　Ｃｏｎｎｅｃｔｅｄ　Ｃｏｖｅｒｉｎｇ　Ｇｒｏｕｐ　Ａｌｇｏｒｉｔｈｍ，ＳＣＣＧ）．设定样本集为Ｄ＝｛ｘｉ｜ｘｉ＝（ｘｉ，ｙｉ），ｉ＝１，２…，ｎ｝，ｘｉ表示样本的特征值集合，ｙｉ表示样本特征值对应的权值．所有的样本构成一个特征空间，它嵌套在一个微分流形结构中，也就构成了一个简单李群，每个样本点表示群中的一个元素．输入：样本集Ｘ＝｛ｘ１，ｘ２，…，ｘｎ∈ＲＤ｝输出：相同类别的样本１．令输入样本集Ｘ＝｛ｘ１，ｘ２，…，ｘｎ∈ＲＤ｝，Ｘ 满足李群结构．２．利用求覆盖群算法，得到其覆盖群和覆盖映射．３．求解覆盖群的生成元和结构常数．４．对于新样本，通过覆盖映射将其映射到覆盖群上，判断该点到覆盖群的单位元之间是否存在一条通路，并且通路是否同伦于０．５．若符合条件，则表明新样本是符合输出的，同时将新样本的道路加入到覆盖群的类集，调整覆盖映射的操作算子θ．６．若不符合条件，则此样本不属于要学习的目标结果．７．实例测试．在单连通覆盖算法中，一个拓扑空间Ｘ 中，点ｘ 到点ｙ 的路径被定义成单位区间［０，１］到Ｘ 上的一个连续函数ｆ，其中ｆ（０）＝ｘ，ｆ（１）＝ｙ．一个非空拓扑空间的极大连通子集称作该空间的连通分支．一个拓扑空间Ｘ 的连通分支构成了对Ｘ 的一个划分．划分的概念要求集合是非空的，并且集合之间是不相交的，集合的并集是整个空间．又由于集合的一个划分能够唯一确定一组等价类，这就为分类提供了基础．如果对于每一个有效的分块，都采用对应的覆盖群表示，则可以得到另一类多连通覆盖算法．在文献［１６］中，作者在多连通李群群空间分割算法的基础上运用多连通覆盖算法并且给出了相应的应用实例．求解覆盖群的过程是相对复杂的，这说明利用覆盖群的思想做分类问题具有一定的适用范围．李群的性质在很大程度上都与空间的连通度有关．当李群的群空间是多连通的时候，需要利用多值表示，这对问题的分析与求解都是不利的．因此，在遇到连通李群的问题时，可以利用李群与其覆盖群的局部同构关系，不仅可以保持李群流形的拓扑性质，还可以将寻找与李群局部同构的覆盖群问题转化为求解同构的李代数问题并且与在通用覆盖的情况下所求的李代数相同．对于几何性质不太复杂的李群特征，建议采用移植算法的思想．针对一些结构特性较为突出的例子，可以通过寻找数据间的覆盖关系获取一定的分类信息．例如在文献［１７］中，作者给出了李群覆盖算法的一个应用实例，将学习算法引入到药物分子设计领域中，进而研究药物构效关系模型和分子对接模型．４．４　同调边缘学习算法李群机器学习的优势之一就是集成了代数结构和几何结构，在利用结构特性的模式识别算法中，除了可以构造像覆盖群这样的代数结构也可以从另一个角度思考利用微分流形的一些几何结构．比如，存在另一类基于李群的分类算法是利用特征空间的拓扑性质来设计的．例如，拓扑不变性可用来有效地保持流形内部结构的几何特征，依据对象是否在空间中同胚可以为对象进行分类．文献［１８－２０］利用同胚的可剖空间与相同维数同调群同构，设计出了同调边缘学习算法．算法的主要思想是：若能够找到两个可剖空间在某一维数的同调群不同构，则可以推断出这两个拓扑空间不同胚．所以同调群构成了判别两个可剖分空间不同胚的一个工具．又由于同调论是边缘划分的有效方法之一，因此作者引用同调代数的方法从机器学习的角度来研究数据的边缘分类问题．当然，除了从同胚的角度考虑分类问题，由于同胚的空间必是同伦等价的，所以可以考虑将同胚的概念推广到同伦等价上．依据拓扑空间的同伦等价关系可将拓扑空间进行分类．同一类拓扑空间具有相同的伦型，不同类拓扑空间具有不同伦型，以此可将拓扑分类拓展成同伦等价分类．４．５　李群深层结构学习算法深层结构通常是指将多层非线性的单层模块堆叠起来的学习模型，这些单层模块可以以概率图的形式存在，也可以是具有单个隐藏层的神经网络，并且依据不同的情形可以选择不同的激活函数．相比于浅层模型来说，深层结构能够以一种更紧凑的方式表征十分复杂的函数，并且通常用相对不大的参数规模就可以捕获输入空间多样的配置信息．７期杨梦铎等：李群机器学习十年研究进展１３４３针对数据的复杂性和图像结构特征的不变性，文献［２１－２２］在深层结构中嵌入李群半监督学习、李群逐层学习以及李群启发式学习，给出了李群深层结构学习算法．在李群深层结构学习算法中，核心的问题是数据的深层表示．在数据本身以流形形式存在的前提下，作者将输入空间划分成由多个子流形组成．每一个子流形特征化输入数据的某个有效部件．将子流形作为深层结构中的每一层单层模块堆叠起来，可以得到刻画输入的整体模型．在识别阶段，每一层都为最后的分类贡献一定的判别信息，综合各个部件的识别结果，能够反映输入数据的整体描述．该深层结构学习算法与现在流行的深度学习方法有一定的不同．深度学习希望通过特征学习对高层次抽象的特征进行建模．而这里的深层结构强调将样本逐层分结构进行比较．这样分结构比较的原因是因为相同个体不同结构之间的差异性要远远大于不同个体同一结构之间的差异性．就好比人与人之间眼睛的相似度总是大于同一个人眼睛和鼻子的相似度．因此，将一个整体划分为有一定语义的结构，分别相应地进行比较，对于分类任务而言是一种十分有效的方式．当然，对于深度学习的思想，也可以借鉴其特征学习的方式，设计一些李群机器学习的算法．对于已有的初步想法将在最后的展望部分进行描述．４．６　Ｆｉｎｓｌｅｒ几何学习算法在微分几何中，Ｆｉｎｓｌｅｒ流形被定义成一个微分流形Ｍ 连同定义在Ｍ 切丛上的Ｆｉｎｓｌｅｒ函数Ｆ，使得对于每一个切向量ｖ，Ｆ 满足平滑性（ｓｍｏｏｔｈｎｅｓｓ）、正定性（ｐｏｓｉｔｉｖｅ　ｄｅｆｉｎｉｔｅｎｅｓｓ）、齐次性（ｈｏｍｏｇｅｎｅｉｔｙ）以及次可加性（ｓｕｂａｄｄｉｔｉｖｉｔｙ）．Ｆｉｎｓｌｅｒ几何将Ｆｉｎｓｌｅｒ流形作为其研究的主要目标，它非平凡地推广了黎曼流形，并采用比黎曼度量更具有一般结构的Ｆｉｎｓｌｅｒ度量作为度量准则．文献［２３－２４］将Ｆｉｎｓｌｅｒ度量替换传统Ｋ 近邻分类（Ｋ－Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ，ＫＮＮ）算法中基于欧氏距离的度量，得到基于Ｆｉｎｓｌｅｒ度量的ＫＮＮ改进算法．常见的黎曼几何利用黎曼度量研究黎曼流形与光滑流形，它将欧氏几何扩展到不一定是平坦的空间中，但是在每一点的无穷小处仍然与欧氏空间相似．Ｆｉｎｓｌｅｒ几何是一类泛化了黎曼几何的伪黎曼几何（ｐｓｅｕｄｏ－Ｒｉｅｍａｎｎｉａｎ　ｇｅｏｍｅｔｒｙ），在这个结构中的度量张量不必是正定的．对于流形Ｍ 上的Ｆｉｎｓｌｅｒ结构被定义成这样一个函数Ｆ：ＴＭ→［０，∞），ＴＭ 表示流形Ｍ 上的切丛，使得Ｆ 在ＴＭ －｛０｝上是无限可微的，对于ＴＭ 上的所有ｘ，ｙ 满足Ｆ（ｘ，ｍｙ）＝｜ｍ｜Ｆ（ｘ，ｙ）并且Ｆ２的垂直Ｈｅｓｓｉａｎ是正定的．作者利用实验，将Ｆｉｎｓｌｅｒ度量引入到非欧氏的输入空间中，Ｆｉｎｓｌｅｒ度量对于分类的有效性得到了验证．除此之外，Ｆｉｎｓｌｅｒ度量在多流形数据集上得到进一步扩展，形成了Ｆｉｎｓｌｅｒ几何学习模型［２４］．在该学习模型中，首先需要将多流形的结构划分成单个子流形的集合．文献［２４］采用基于中心点的数据集划分方法，预先确定好中心点的个数，然后将每个数据点划分到最近中心点所代表的类别区域中．为了避免维数灾难的问题，对划分好的每个子流形还需做一定的降维处理．接下来，需要利用Ｆｉｎｓｌｅｒ度量依据数据集的分布构造相应的邻接图．在邻接图的基础上求出各个子流形中心点间的最短图路径与低维嵌入表示．最后的目标函数是尽量最大化各个子流形中心点之间的Ｆｉｎｓｌｅｒ距离，并且保持各个划分开的子流形内部相对紧密，最大限度地降低局部结构的信息丢失．４．７　李群机器学习的辛群学习算法在基于结构特性的分类方法中，除了构造数据间的分类结构，还可以利用数据本身所特有的结构帮助分类．矩阵群作为一类特殊的李群，由于它的集合元素是矩阵并且具有方便可计算的李群李代数映射公式，使得它在实际运用中十分常见．在矩阵群中，还可以细分出许多各具特色的群，比如酉群、辛群等．许多李群机器学习算法将这些特殊的群运用在了分类任务中，达到了良好的效果．辛群作为一个典型的李子群，已经被广泛地应用于动力学领域中．文献［２５－２６］则从机器学习的角度将辛群应用在计算机视觉中，设计基于辛矩阵的分类器并将其应用在人脸识别等模式识别的过程中．定义在域Ｆ 上的辛群通常具有形式Ｓｐ（２ｎ，Ｆ），它由２ｎ×２ｎ的辛矩阵在矩阵乘法下构成，其中矩阵元素属于Ｆ，矩阵乘法代表群操作．辛矩阵是一个２ｎ×２ｎ的矩阵Ｍ ，满足ＭＴΩＭ ＝Ω，ＭＴ表示Ｍ 矩阵的转置，Ω 是一个固定的２ｎ×２ｎ 的非奇异、斜对称矩阵．在文献［２５－２６］涉及的实际应用中，总是令限定域Ｆ 为实数域Ｒ．由于每个辛矩阵的行列式值为１，因此实数范围内的辛矩阵在矩阵乘法下构成了特殊线性群ＳＬ（２ｎ，Ｒ）的一个子群，也就是实李群的一种特定形式．在辛群分类器中最关键的步骤是保证将输入数据用辛矩阵的形式表示出来．有了辛群表示以后，接下来则可以在辛矩阵的基础上提取相应的特征，以便于进行后续的模式匹配．１３４４ 计　　算　　机　　学　　报２０１５年辛群分类器的特征提取过程可以看做寻找辛表示的过程．辛表示可以以群表示的形式存在，也可以是以辛向量空间（Ｖ，ω）上的李代数形式存在，其中ω 表示辛向量空间所保持的辛形式ω：Ｖ×Ｖ→Ｆ．在文献［２５－２６］中，作者采用奇异值分解的方式求取ｋ个最大的奇异值所对应的列向量，以此构建辛空间下原始输入图像的一组基．这样任一训练图像都可以以基的线性加和的形式重构．可以证明，这些基实际上构成了关于辛矩阵的坐标系，称作辛特征子空间．测试图像依据自身到辛特征子空间的投影长度衡量与各个类别图像的相似度，投影长度以辛矩阵内积的方式计算出．存在定理表明两个辛矩阵的乘积仍然是一个辛矩阵，所以整个辛矩阵的集合自然具备群结构．类似于线性变换的概念，辛向量空间中的辛矩阵被称作一个辛变换．由此辛群可以被定义成域Ｆ 上２ｎ维向量空间中线性变换的集合，并且要求该变换能够保持非退化（ｎｏｎｄｅｇｅｎｅｒａｔｅ）、斜对称（ｓｋｅｗ－ｓｙｍｍｅｔｒｉｃ）和双线性（ｂｉｌｉｎｅａｒ）的形式．文献中作者指出辛变换能够帮助对辛矩阵进行化简，并且给出几个常见的辛矩阵的化简形式，特定的化简形式可以做为一类辛群分类器的识别准则．即如果经保形变换得到的输入图像辛矩阵与特定辛矩阵的形式相符合，则可以判定两者的类别一致．利用辛矩阵分解方法的优势是能够直接对原始图像进行运算而不需要事先将图像拉成向量的形式，这就保证了局部位置信息不会丢失．４．８　李群机器学习的纤维丛学习算法人们经常希望能够了解样本的统计特性，以此估计一些可能需要的信息．比如通过计算每种类别样本的均值，可以帮助预测新样本的分类信息．因此，如何在李群空间中计算统计量是个迫切需要解决的问题．针对李群的流形统计问题，国内外已有许多学者设计了相应的算法．文献［２７－２８］采用基于迭代的方法计算李群的均值．依据计算出的均值点是否存在于李群流形上，文献［２９］指出李群流形的内均值与外均值的区别．文献［３０－３１］从微分几何的角度，给出了几种矩阵李群的均值计算方法．此外，文献［３２］分析了李群上的高斯分布问题并将其应用在形状统计中．然而，以上这些研究成果仅仅是出于对统计量的考量．有时候仅从单一的统计量中不能获得足够的数据分析信息．因此，还需要设计相应的算法刻画整个数据的分布情况．为了寻找反映数据真实分布的骨架，文献［３３］提出了一种主曲线构建算法．该算法的主要思想是将流形数据集分割成一个个的球形邻域，通过邻域切空间的主成分来拟合出一条通过数据分布的光滑曲线．作为利用切空间近似描述几何性质的一种扩展，文献［３４－３５］将各邻域上的切空间构成切丛，并加入多流形之间联络的概念，给出了主曲线构建算法的一个改进的版本．新算法在逼近方式、收敛条件、参数控制等方面都有显著的不同，并且在抗噪性方面具有明显的优势．下面简要介绍一下这个基于切丛联络的主曲线构建算法．纤维丛在拓扑学中被定义成一个空间，它由四元组（Ｅ，Ｂ，π，Ｆ）构成．其中Ｅ，Ｂ，Ｆ 分别代表整个结构的总空间、基空间以及纤维空间，π定义从Ｅ 到Ｂ 上一个连续的满射，使得Ｅ 的每个局部空间存在Ｆ 令Ｅ 与Ｂ×Ｆ 同胚．从结构上纤维丛的局部是一个直积空间Ｂ×Ｆ，而在全局上一般具有一个不同的拓扑空间Ｅ．它的一个特殊类被称作向量丛，在当纤维空间为向量空间时成立．在微分几何中，最重要的一类向量丛即是定义在微分流形上的切丛，它由流形Ｍ 上各点处切空间不相交的并集组成．在许多流形学习的方法中，都会从不同程度运用切空间研究流形的局部结构．从该点出发，文献［３４－３５］利用切丛分析具有流形结构的数据，切丛的运用不仅能给出流形的局部描述同时也能为研究流形局部与全局的结构关系提供方法．在利用切空间描述局部信息的同时，文献［３４－３５］中作者选择主曲线（ｐｒｉｎｃｉｐａｌ　ｃｕｒｖｅ）作为描述流形数据整体分布的工具．类似于主成分（ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔ）的概念，主曲线是一条描绘流形结构的光滑曲线．通过局部切空间不断逼近的方式，主曲线希望找到真实反映流形数据的分布信息．借助切丛联络构建主曲线的方法是对切空间主曲线构建算法的一个推广．联络从几何的角度指的是数据点所在的空间以平行或者一致性的方式沿着某条曲线或一组曲线进行的转换．联络使得不同局部空间中的元素能够相互联系与比较，也可以成为构建主曲线的参考标准．算法６．　基于切丛联络的主曲线构建算法（Ｔａｎｇｅｎｔ　Ｂｕｎｄｌｅ　Ｃｏｎｎｅｃｔｉｏｎ　Ｂａｓｅｄ　Ｐｒｉｎｃｉｐａｌ　ＣｕｒｖｅＣｏｎｓｔｒｕｃｔｉｏｎ　Ａｌｇｏｒｉｔｈｍ，ＴＢＣＰＣＣ）．输入：整个数据集Ｑ０（λ１，δ１）输出：估计的函数主曲线１．初始化ｋ＝１．２．如果输入数据集内样本个数小于某个阈值Ｃ，则程序结束．７期杨梦铎等：李群机器学习十年研究进展１３４５３．使用两个球形邻域Ｑｋ（λ１，δ１），Ｑｋ（λ２，δ２）覆盖样本数据，ｋ表示第ｋ 层递归．４．对每一个邻域Ｑｋ（λｉ，δｉ），ｉ＝１，２内数据点ｘｉ１，ｘｉ２，…，ｘｉｎ进行主成分分析，得到主特征向量ξｋｉｊ＝（ξｉ１，ξｉ２，…，ξｉｊ）．５．令ξｋｌ＝ｍｉｎξＴ（ｋ－１｝ｌ，ξｉｍ ，ｍ＝１，２，…，ｊ，其中ξ（ｋ－１）ｉ为Ｑ（ｋ－１）（λｌ，δｌ）内数据点协方差矩阵的主特征向量，并且Ｑｋ（λｉ，δｉ）包含于Ｑｋ（λｌ，δｌ），计算Ｑｋ（λｉ，δｉ），ｉ＝１，２，…，ｋ内数据点ｘｋｉ在ξｋｉ上的投影及局部重构向量ｘ＾ｉｋ，｛ｘ＾ｉｋ｝，ｉ＝１，２是流形局部截面．６．计算｛ｘ＾ｉｋ｝的联络Ｄ；如果Ｄ 小于某一阈值β，连接ｘ＾ｉｋ，应用样条函数或局部光滑化方法近似光滑的主曲线，程序结束．７．否则对于第１个球形邻域，调用本算法，进入第ｋ＋１层递归；对于第２个球形邻域，调用本算法，进入第ｋ＋１层递归．从算法的设计思路上看，切丛联络与切空间的主曲线构建算法中都试图通过流形多个局部空间的主成分逐渐逼近整体分布的主曲线，并且选用球邻域覆盖的方式辅助局部特征的选取．切空间的主曲线构建算法采用增加球邻域开覆盖数量的方式来逼近最优的主曲线，通过不断细化流形结构能够拟合出一条反映数据分布的主轴．切丛联络的主曲线构建算法则采用一种递归的方式，通过逐渐缩小球邻域覆盖的形式逐一逼近局部切空间．联络作为帮助判断收敛的条件，当相邻局部空间的联络小于一定的范围时可以认为两个球邻域在用于生成主曲线时已经足够紧密．４．９　标架丛上的联络学习算法存在一种特殊的纤维丛，其上的满射定义为π：Ｐ→Ｘ，并且同时存在一个拓扑群Ｇ 作为该纤维丛的结构群，使得Ｇ 对总空间Ｐ 产生连续的右作用，即有Ｐ×Ｇ→Ｐ．这样的纤维丛与结构群一起构成了一个主Ｇ 丛（ｐｒｉｎｃｉｐａｌ　Ｇ－ｂｕｎｄｌｅ）．如果有另一个纤维空间同为结构群Ｇ 作用的拓扑空间，那么主Ｇ 丛允许产生一个相伴的配丛，将原纤维空间变换到该纤维空间．当这样的配丛可以是任意一个向量丛时，称主Ｇ 丛为标架丛．如果将主Ｇ 丛限定在光滑流形范围内，则π：Ｐ→Ｘ 为一个光滑映射且结构群Ｇ 为李群．此范畴内标架丛的配丛是定义在光滑流形上的切丛．在基于切丛的流形学习方法中，通常需要构造一个统一的坐标架，将对数据的操作都映射在该坐标架中处理．如果限定对数据的操作到李群Ｇ 的群作用上，那么便可由结构群（李群Ｇ）引出光滑流形上标架丛的概念．标架丛在李群Ｇ 的作用下能够使Ｐ 的纤维结构得到保持，即Ｐ 的纤维上的元素ｙ∈Ｐｘ，对于所有的ｇ∈Ｇ 有ｙｇ∈Ｐｘ．然而一个仍需解决的问题是在现实的情况中数据常常体现出多流形的结构，这种多流形不仅体现在数据本身结构的复杂性方面而且体现在大量具有流形结构的异常噪声方面．复杂的多流形结构使得构造统一坐标架的方法变得无效，但如果用与标架丛相伴的切丛表示李群Ｇ 作用下的其他拓扑空间，可以考虑用整个标架丛将多个切丛联系起来，刻画统一的多流形数据结构．在标架丛中，每个与主Ｇ 丛相伴的配丛能够自然地构造出对应的坐标架，如果需要联系多个切丛中的流形结构，需要利用切丛上线性联络的概念，它是将近邻数据点连接的一种线性映射，也可以理解为从流形上一点的切空间沿着某条路径平行移动到另一点的切空间中．因此标架丛形成了一个联系各个切丛坐标架的坐标覆盖．借助于标架丛的运用，文献［３６－３７］针对大数据的多流形结构问题，结合标架丛上的纵空间和横空间联络算子，给出了基于标架丛的纵空间联络、横空间联络学习算法．在纵空间联络学习算法中作者用纵空间场的全局坐标对多流形结构数据进行分类，由于构造多个切空间的坐标架与相应联络算子，算法在性能方面需要付出相应的时间复杂度作为代价．横空间联络学习算法在纵空间算法基础上，对于每个切空间进行一定的维数约简后重新构造坐标场，较纵空间算法而言在一定程度上降低了学习算法的时间复杂度．４．１０　谱估计学习算法在计算流形数据的统计特性时，不可避免地涉及到的一个问题就是对数据的降维．当数据所在的空间变成李群空间时，一些基于欧氏空间的降维算法将无法适用．针对这样的问题，一些文献继承了原有算法的思想并将其扩展到非线性的流形空间中．例如文献［２７－２８］是对已被研究得比较深入的主成分分析（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ，ＰＣＡ）方法进行改造，给出了适用于非线性黎曼对称空间的主测地线分析（Ｐｒｉｎｃｉｐａｌ　Ｇｅｏｄｅｓｉｃ　Ａｎａｌｙｓｉｓ，ＰＧＡ）方法，成功地将其运用于李群表示的医学解剖对象的统计分析中．算法的主要思想是将李群样本先映射到对应的李代数空间中，然后在线性空间中进行主成分分析．除此之外，由于高维流形空间中的数据往往存在反映内在属性的几何结构特征，因此还有许多降维算法设计的出发点是希望尽可能地用较少的参数描绘数据这类更加本质的特征．例如现有的许多流形学习的算法如等距映射（Ｉｓｏｍｅｔｒｉｃ　ＦｅａｔｕｒｅＭａｐｐｉｎｇ，Ｉｓｏｍａｐ）、局部线性嵌入（Ｌｏｃａｌ　Ｌｉｎｅａｒ１３４６ 计　　算　　机　　学　　报２０１５年Ｅｍｂｅｄｄｉｎｇ，ＬＬＥ）、局部切空间排列（Ｌｏｃａｌ　ＴａｎｇｅｎｔＳｐａｃｅ　Ａｌｉｇｎｍｅｎｔ，ＬＴＳＡ）等，数据约减时的原则是尽量保持流形结构的几何特性，其良好的效果为基于李群的维数约简问题找到了另一种解决途径．然而针对不同的样本分布，这些算法也表现出了一定的局限性．例如，Ｉｓｏｍａｐ不适用于曲率变化较大的流形、ＬＬＥ对噪声十分敏感、ＬＴＳＡ 不能有效地处理较大的样本集等．因此接下来简单介绍针对高维空间中李群数据的维数约简问题衍生出的一系列算法．谱理论是在更宽泛的数学空间下，对单一方阵下的特征向量与特征值理论的推广．现阶段赋予计算机应用的李群多为矩阵群．在有限矩阵的范围下，谱可以理解为其特征值的多重集．在应用数学与科学计算中，谱方法是对确定的微分方程进行数值求解的一类技术，它能够被用来解决常微分方程、偏微分方程以及微分方程中所包含的特征值问题．谱方法的思想是将微分方程的解写成基函数线性加和的形式并且选择合适的系数来满足原微分方程．在利用谱方法解决常微分方程的特征值问题中，能够转换成类似于求解矩阵特征值问题的方式求解．流形数据的维数约减涉及从一个拓扑空间连续变换到另一个拓扑空间的动作，而这样连续变换的动作在拓扑学中称为同伦．在代数拓扑中，谱能够反映特定空间中同伦下的不变量．然而，对于多数流形来说精确的谱计算是十分困难的，于是相应的，谱估计计算方法成为目前一种有效的替代方式．文献［３８］利用邻接图或拉普拉斯矩阵等图相关矩阵研究图性质，引入谱理论学习图相关的特征多项式、特征值与特征向量描绘计算机视觉中特征流形的拓扑不变量，为高维流形数据的降维提供了途径．无向图具有一个对称的邻接矩阵因而具有实值的特征值以及完整且正交的特征向量，这些特征值的多重集构成了无向图的谱．文献中作者基于谱图理论设计了一种无监督的谱估计学习算法，有效地保持了图的抽象结构与流形的几何特性．谱估计方法的核心是通过寻找合适的谱并将其对应的特征向量作为数据空间的投影向量，以此找到保留图不变量的低维嵌入流形空间．谱的计算需要建立在数据集的邻接矩阵基础上，并且依据邻接矩阵描述的数据相似性关系定义准则函数，最优的解对应最佳的预测或识别结果．在谱估计算法中多重集的选取往往依赖于一定的经验且可以从其他流形学习算法中分析总结．文献［３９］基于局部线性嵌入算法选取拉普拉斯算子的两个极大特征值作为流形的谱，该特征选取的方式在降维与分类应用中得到了验证．算法７．　图像特征流形拓扑不变性的谱估计学习算法（Ｓｐｅｃｔｒｕｍ　Ｅｓｔｉｍａｔｉｏｎ　Ｌｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ，ＳＥＬ）．输入：原始数据集Ｘ＝｛ｘｉ｝输出：输出重构数据集Ｘ′＝｛ｘ′ｉ｝１．判断数据集是否满足连续映射、局部同胚映射、拓扑空间、连通性这４个假设条件．在满足的情况下，如果图像特征流形的局部维数未知，则通过极大似然估计算法计算出流形的局部维数ｄ．２．对数据样本集运行ＬＬＥ算法，并且返回第２特征向量｛Ｙｎ｝，其中ｎ是所需的特征向量数目．３．寻找每个特征向量Ｙｉ的局部极值：对每一个数据点，通过关系矩阵Ｅ 求得其相应的邻域｛ｘｅｊ｝．如果对ｘｅｊ ∈｛ｘｅｊ｝，都满足Ｙｋ（ｘｉ）Ｙｋ（ｘｅｊ）（或Ｙｋ（ｘｉ）Ｙｋ（ｘｅｊ）），则ｘｉ是局部极大值（或局部极小值）．其中，局部极值的数目表示特征向量的分析度．４．计算局部极大极小曲线：初始化，令｛ｘｉ｝＝｛ｘｉ｝；如果Ｙｋ（ｘｉ）×Ｙｋ（ｘｅｊ）０，则依次将其邻接点ｘｅｊ加入到集合｛ｘｉ｝中．对所有｛ｘｉ｝中的点，重复步骤４，直至没有新的点再加入集合．每一个｛ｘｉ｝都是与流形非线性结构一一对应的曲线．尽管邻接矩阵依赖于顶点的标记，然而邻接矩阵的谱是图的同构不变量．算法中局部极值曲线能够依照不同邻域尺度的特征向量形成不同曲率的曲线，对应流形不同局部的非线性特征．谱估计学习算法一方面利用类似于ＰＣＡ中主成分的概念，从描述数据相似性的关系矩阵中寻找合适的特征向量构成谱，使得计算过程相对快速；另一方面，不同尺度特征向量构成的曲线对应不同曲率的结构，算法中局部曲线的应用可以有效地保持流形内部的非线性结构特征．４．１１　张量学习算法在数学里，张量是一种几何实体，或者说广义上的“数量”．张量概念包括标量、向量和线性算子．张量是一个可用来表示在一些向量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积．当在描述高维数据时，通常将数据分量用多维数组来表示，进而构成张量并通过张量分解等工具对数据进行有效地降维．文献［４０－４１］利用张量的特点，结合张量的分解技术和张量场理论工具，提出了基于张量场的数据约简算法，建立张量场学习模型并给出在人脸识别应用中的张量丛学习算法．首先给出张量场的数据约简模型〈Ｘ，ψ，Φ，ｆ，Φ′〉．Ｘ＝｛Ｘ１，…，ＸＮ｝表示输入数据集；Φ 表示由输７期杨梦铎等：李群机器学习十年研究进展１３４７入数据集生成的张量场；ｆ 为张量场仿射变换函数；Φ′为张量场Φ 的约简形式；由ψ 可以从数据集Χ 抽象出张量场Φ，即ψ：Ｘ→Φ．Ｘ 是需要处理的原始数据对象．这里ψ 表示由原始数据抽象出张量场模型的方法，通过ψ 得到原始数据的张量场表达形式．而Φ′是Φ 经过约简处理后的张量场，约简处理的过程通过张量场仿射变换函数ｆ 完成．数据约简的方法就是找到一个合适的仿射变换ｆ，求得在ｆ 作用下的一个低维空间下的张量场的分量表达形式．这里仿射变换ｆ 的求解将借助高阶奇异值分解技术（Ｈｉｇｈ－Ｏｒｄｅｒ　ＳｉｎｇｕｌａｒＶａｌｕｅ　Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＨＯＳＶＤ）．ＨＯＳＶＤ 是一种比较常用的张量分解方法，它使得一个张量可以表达成若干矩阵与核张量的张量积形式．在求解过程采用迭代方法，使得问题在迭代的方式下求得最优值．因为整个算法考虑的张量数据不是单个张量，而且张量阶数不局限于２阶、３阶，这使得整个算法相对于ＨＯＯＩ（Ｈｉｇｈ－Ｏｒｄｅｒ　Ｏｒｔｈｏｇｏｎａｌ　Ｉｔｅｒａｔｉｏｎ）等常见的张量算法更具普遍性．４．１２　李群核学习算法恒定感知在一定程度上依赖于个体检测不变性的能力，因此视觉感知中的重要问题之一就是视觉不变性，它是指物体在经历平移、旋转或缩放等变换后依然被认为是相同的．李群具有自然地表示变换的优势，因而在相当长的一段时间里，李群的连续变换群理论被用于解决视觉空间感知中的不变性问题［４２－４９］．２００７年，Ｘｕ等人［５０］以一种非监督的方式设计了一个基于李群理论的视觉不变量学习方法．文中作者为图像中的物体进行李群仿射运动建模，并用李群对应的李代数生成元对其进行参数化，求解的过程被转化成了通过ＥＭ 算法对生成元进行迭代估计．这个结果说明了可以从包含变换的图像对中直接学习李变换群的生成元，并且一旦这样的生成元被学习到了，它还能够被运用在图像变换的估计中．文章提出的方法在处理相对较小的变换时具有很大的优势，但是在处理大的变换时需要考虑如何在提出的指数生成模型上找到全局最优值．不同于文献［５０］保留全部变换信息的方法，文献［１０］设计了一种区域协方差李群特征，将多种可能相关的特征进行融合．虽然这损失了部分变换信息，但在实际运用中取得了良好的效果．上面提到的检测不变性变换的研究方法中，研究者们更倾向于利用李代数向量空间的性质，采用线性的识别算法判别样本．然而针对这种问题需要被处理的数据集是线性可分的．由此对于非线性可分的李群变换样本，必须考虑寻找另一种有效的方式对其进行处理．文献［５１－５２］将区域协方差的不变特征运用在手写体字符识别中．借鉴核方法的思想，作者将线性不可分的数据集映射到高维特征空间中，运用原空间中的约束函数来实现内积运算，从而使数据集在高维的目标空间中能够线性可分．由于矩阵没有内积运算，对于矩阵李群的样本集不能运用基于向量的核函数，文献［５２］还推导了多种适用于李群空间的核函数，包括李群径向基核、李群多项式核、李群线性核、李群感知器核，并在此基础上给出了李群核学习算法．核方法［５３］是模式识别中处理这类问题的一种方法，最著名的例子是在支持向量机（Ｓｕｐｐｏｒｔ　ＶｅｃｔｏｒＭａｃｈｉｎｅ，ＳＶＭ）［５４－５５］中的应用，它采用与其他数据点间的相似性来替代明确计算数据点特征向量的方式．核方法的命名主要来自于核方法中所用到的核函数，它仅仅计算数据点对在特征空间中的内积从而将样本集映射到一个高维的、隐含的特征空间中．这样做的好处是样本集在映射到更高维空间以后，使得原先线性不可分的性质往往能够变得线性可分，并且内积的计算量常常小于直接计算特征坐标的计算量．已有相当多的方法与核方法结合起来用来弥补线性分类的局限性，如ＫＰＣＡ（Ｋｅｒｎｅｌ　ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）［５４］、ＫＩＣＡ（Ｋｅｒｎｅｌ　ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）［５６］以及ＫＦＤＡ（Ｋｅｒｎｅｌ　ＦｉｓｈｅｒＤｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ）［５７］等．依据类似的思想，当线性判别分析（ＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ，ＬＤＡ）算法遇到线性不可分样本集时，自然的想法是借用核函数将原始空间映射到高维隐含特征空间中，以此将原有的非线性问题转换为线性可分的目标问题．由于矩阵李群样本在群作用后结果值仍属于矩阵范畴，于是文献［５１］中作者选用推导出的若干适用于李群结构的核函数，设计出李群核函数的ＫＬｉｅＤＡ 算法，对非线性矩阵李群样本进行分类．多类问题的推导思路类似于Ｌｉｅ－Ｆｉｓｈｅｒ算法，这里仅给出二分类的ＫＬｉｅＤＡ算法．算法８．　两分类的李群核ＫＬｉｅＤＡ 分类算法（Ｋｅｒｎｅｌ　Ｌｉｅ　Ｇｒｏｕｐ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ，ＫＬｉｅＤＡ）．输入：｛Ｍｉｊ｝ｊ＝１，…，ｎｉｉ＝１，…，ｃ ∈Ｇ，ｘｉｊ表示第ｉ 个类别的第ｊ 个样本，ｎｉ表示第ｉ个分类中训练样本的个数输出：每个未知样本的类别归属１．对每一个李群样本ｘｉｊ，求出两类李群样本的均值μ１和μ２，Ｖμ＝ｅｘｐ １ｎΣ ｎｉ＝１（ ｌｏｇ２ｘｉ）式求Ｌｏｇ－Ｅｕｃｌｉｄｅａｎ均值．１３４８ 计　　算　　机　　学　　报２０１５年２．选择具体李群核函数，求得两类李群样本的Ｍｉ＝１ｎｉΣｎｉｋ＝１ｋ（ｘｊ，ｘｉｋ），并令Ｍ＝（Ｍ１－Ｍ２）（Ｍ１－Ｍ２）Ｔ．３．计算Ｎ＝Σｉ＝１，２Ｋｉ（Ｉ－１ｎｉ）ＫＴｉ ，其中Ｋｉ为ｎ×ｎｉ阶矩阵，且（Ｋｉ）ｎｍ ＝ｋ（ｘｎ，ｘｉｍ）．４．计算α：α＝Ｎ－１（Ｍ１－Ｍ２）．５．计算两类均值μ１和μ１到空间中的向量ｖ上的投影：μ１＝（ｖ·Φ（μ１））＝Σｃｉ－１Σｎｉｊ＝１αｉｋ（ｘｉｊ，μ１），μ２＝（ｖ·Φ（μ２））＝Σｃｉ－１Σｎｉｊ＝１αｉｋ（ｘｉｊ，μ２）．６．对未知样本ｘ，先将其投影到空间中的向量ｖ上ｘ～＝（ｖ·Φ（ｘ））＝Σｃｉ－１Σｎｉｊ＝１αｉｋ（ｘｉｊ，ｘ），再通过ｉ＊＝ａｒｇ　ｍｉｎ ｉ＝１，２ ｜ｘ　～－μ　～ｉ｜得到其类别归属．算法８相比传统ＫＦＤＡ算法，在保持了相同的时空复杂度下有两点创新：（１）使用矩阵李群核函数，能处理矩阵样本；（２）算法的步１和步６中先计算原样本的均值以及均值在空间中投影，对于未知样本映射至空间中后，只判断与每类均值点的距离，计算量较小．ＫＬｉｅＤＡ算法和Ｌｉｅ－Ｆｉｓｈｅｒ算法都能对非线性矩阵李群样本进行分类．从分类过程来看，ＫＬｉｅＤＡ是通过将非线性可分样本映射到高维空间，使之线性可分，在分类期间采用李群均值加速完成未知样本的类别判别，整个分类过程并不在样本所在的李群流形空间中完成．而Ｌｉｅ－Ｆｉｓｈｅｒ是利用李群均值以及样本到测地线投影的方法在样本所在流形空间中寻找到一条分类测地线完成样本分类，原始样本的分布特点直接决定学习到的测地线的分类性能．从计算开销来看，ＫＬｉｅＤＡ由于需要计算核矩阵，而核矩阵的计算时间复杂度是Ｏ（ｎ２），比Ｌｉｅ－Ｆｉｓｈｅｒ计算两个散度矩阵的Ｏ（ｎ）明显要大，空间复杂度也因为核矩阵的原因达到Ｏ（ｎ２），Ｌｉｅ－Ｆｉｓｈｅｒ只需Ｏ（ｎ）．因此，对于大样本集的分类问题，ＫＬｉｅＤＡ算法将会明显比Ｌｉｅ－Ｆｉｓｈｅｒ慢．从算法应用角度来看，Ｌｉｅ－Ｆｉｓｈｅｒ是学习到一条固定的测地线进行分类，而ＫＬｉｅＤＡ则可根据不同的样本集分布特点选择不同的李群核函数，使算法达到更好的分类结果，因此ＫＬｉｅＤＡ 算法比Ｌｉｅ－Ｆｉｓｈｅｒ算法在应用上更具灵活性．在李群核学习算法中，依据样本集不同的分布情况而选用不同的李群核函数可能使算法得到不同的效果，因而时常需要变换核函数以适应于不同的情形．手写体图像的区域协方差特征虽然分布于流形空间中，但是具有非常好的线性分布特性［５１］．因此，即使采用线性核或者低阶多项式核也能够达到良好的分类效果．由于核矩阵需要的时间复杂度是Ｏ（ｎ２），所以算法相对的计算开销比较大．算法３提出的Ｌｉｅ－Ｆｉｓｈｅｒ算法将样本向某条分类测地线投影，是一种近似线性的方法．在数据集规模很大的情况下，今后可以尝试将协方差矩阵特征与Ｌｉｅ－Ｆｉｓｈｅｒ这类计算开销小、近似线性的方法结合起来．４．１３　李群子空间轨道生成学习算法不论在二维还是三维空间，李代数能够为变换做一个自然的参数化表示．因此许多文献采用李代数进行参数化建模，将李群运用在模版跟踪中［５８－６０］．李代数的主要作用是在保持与几何变换群联系的同时，构建在向量空间的等价表示．并且利用李代数的好处是在不改变物体形状的前提下，允许物体沿着测地线移动．文献［６１］采用李群和李代数的形式，对动态视觉现象进行建模，提出了运动的概率建模方法．文献［６２－６３］用基于协方差的目标描述以及基于李代数的更新机制来对非刚性物体进行跟踪．刚体运动估计是指给定两组对应的三维点，发现从一组点变换到另一组点的旋转和平移量．如果这两组对应点中存在多个刚体运动，那么这就变成了一个更加困难的多运动估计问题．文献［６４］从含有噪声的三维点对中估计具有李群结构的多个刚体运动．文献［６５］通过李算子迭代搜索算法，对小幅度的物体运动进行参数估计．针对跟踪或检索引发的搜索问题，除了利用李代数参数化的迭代更新方法之外，还可以利用学习空间的某些特殊结构来完成．文献［６６－６７］引入学习子空间中轨道的概念，给出了李群机器学习轨道生成的广度优先以及深度优先算法．轨道是群作用下的产生物，假设有一个作用在集合Ｘ 上的群Ｇ，集合元素ｘ∈Ｘ 的轨道是由这样一些元素构成的集合，这些元素由群元素ｇ∈Ｇ 作用在ｘ 上获得．用符号的形式表示ｘ 的轨道为Ｇ．ｘ＝｛ｇ．ｘ｜ｇ∈Ｇ｝．轨道的作用是在群Ｇ 的作用下形成对集合Ｘ 的有效划分，它能够很自然地定义一种等价关系：集合中的元素ｘ 和ｙ 是等价的当且仅当存在群元素ｇ∈Ｇ 使得ｇ．ｘ＝ｙ．于是轨道在这样的等价关系下能够形成相应的等价类．将轨道运用在模式识别的应用中主要是依据定理：如果元素ｘ 与ｙ 等价当且仅当它们的轨道是相同的．如果从几何的角度来看，轨道可以看做包括当前状态集合以及操作算子的一个轨道子空间，所有的轨道构成了整个学习空间．在实现的时候，文章采用Ｄｙｎｋｉｎ图［６８］来表示整个学习子空间，每一个中间状态看作是一个图结点，结点之间的连接值对应着７期杨梦铎等：李群机器学习十年研究进展１３４９状态转移的代价．如果能从初始状态出发，并在到达目标状态的所有路径中找到一条正确划分样本标签的最优路径，那么就达到了学习算法的目的．与传统的搜索算法相比，该方法是基于李群几何结构设计的学习算法，十分适用于结构特性显著的数据集．下面简单地介绍一下李群子空间轨道生成学习算法．在矩阵李群的作用下，文献［６６－６７，６９］基于状态结点构成的有向图建立轨道空间．在连通的前提下，有向图中的每条弧对应于一个操作算子，操作算子的相互结合能够完成任意结点之间的相互转换．因此轨道学习算法下的分类任务实质上可以看成寻找在矩阵李群作用下从初始状态结点到目标状态结点的一条轨道，如果这样的轨道存在则说明两个状态结点在某种意义下是等价的．除了为寻找到这样的目标轨道之外，还需要设计一定的算法保证寻找到的这条轨道尽可能是学习空间中的最优轨道．基于这样的思想，文献［６７］提出了用于生成目标轨道的轨道生成算法．对于该学习算法，作者选用树结构作为一种特殊的形式并首先考虑两种搜索策略：广度优先和深度优先．广度优先策略要求在进入下一层之前必须扩展完本层的所有状态，因此需要足够大的存储空间，但是能够确保找到从初始状态到目标状态的最短路径；深度优先策略则要求生成结点时孩子结点先于兄弟结点，是一种局部生成的方式，学习效率相对较高，但是不一定能够找到全局最优解．下面简单列出文中轨道生成算法中的广度优先策略．算法９． 轨道生成广度优先算法（Ｏｒｂｉｔ　ＢｒｅａｄｔｈＦｉｒｓｔ，ＯＢＦ）．输入：ｍ＝（ｍ１，…，ｍｌ）：支配权向量（所有ｍｉ＞０），Ｄ：Ｄｙｎｋｉｎ矩阵，ｌ：Ｇ 的秩输出：权向量列表ω＝（ω１，…，ωｌ）和３个相关整数，第１个整数ｔｏ表明ω 在列表中的位置，第２个整数ｆｒｏｍ 表明权向量的起始点，第３个整数ｉ表明生成ω 的计数输入ｍ；／／初始状态，即未经过学习的原始样例将ｍ 插入ｃｕｒｒｅｎｔ－ｌｅｖｅｌ列表的表头；／／权值结点链表令ｌｅｖｅｌ＝０，ｌｅｖｅｌｃｏｕｎｔ［ｌｅｖｅｌ］＝１；／／用于每一层计数的整数数组令ｆｒｏｍ＝１；／／父权值的位置令ｔｏ＝１；／／新权值的位置，也是被计算权值当前的总数ＷＨＩＬＥ（ｌｅｖｅｌｃｏｕｎｔ［ｌｅｖｅｌ］＞０ＡＮＤｌｅｖｅｌ＜ｍａｘｌｅｖｅｌ）｛ｌｅｖｅｌ＋＋；设ｆｒｏｍ＝ｔｏ；／／对ｃｕｒｒｅｎｔ－ｌｅｖｅｌ列表中权值往下计数ＦＯＲ（ｃｕｒｒｅｎｔ－ｌｅｖｅｌ列表中的每一个权值ω）｛ＦＯＲ（ｉ＝１ＴＯｌ）ＩＦ（ωｉ＞０）｛通过σｉ将ω 计算给ｖ；ＩＦ（ｖｊ０对ｉ＜ｊｌ）｛／／存储ｖ，ｎｅｘｔ－ｌｅｖｅｌ为新权值结点链表将ｖ插入ｎｅｘｔ－ｌｅｖｅｌ列表的表头；ｌｅｖｅｌｃｏｕｎｔ　［ｌｅｖｅｌ］＋＋；输出ｖ，ｔｏ，ｆｒｏｍ，ｉ｝｝ｆｒｏｍ－－；／／ｃｕｒｒｅｎｔ－ｌｉｓｔ列表遵循先入后出原则｝／／ｃｕｒｒｅｎｔ－ｌｅｖｅｌ存储当前计算的权值释放前面的列表ｃｕｒｒｅｎｔ－ｌｅｖｅｌ；令ｃｕｒｒｅｎｔ－ｌｅｖｅｌ＝ｎｅｘｔ－ｌｅｖｅｌ；／／ｎｅｘｔ－ｌｅｖｅｌ存储由ｃｕｒｒｅｎｔｌｅｖｅｌ生成的新权值令ｎｅｘｔ－ｌｅｖｅｌ＝ｎｕｌｌ；／／权值计算完毕，释放列表｝除此之外，由于广度优先和深度优先策略都具有一定的盲目性，作者考虑在学习一条目标轨道的时候，加入一些启发式信息，也进一步研究了李群机器学习子空间轨道启发式学习算法．４．１４　李群机器学习的量子群学习算法机械系统的构形空间通常是一个李子群．例如，文献［７０－７１］用于解决机械系统的自动控制问题，文献［７２－７４］研究导向汽车移动的运动规划．此外，李群和李代数的优良性质能够被很好地用于非线性控制中［７５－７８］．在机械系统自动控制的文献中，有相当一部分文献将原始问题转化成一个优化问题，李群在这些问题上得到了很好的应用［７９－８３］．由于矩阵李群还可以细分出许多各具特色的群，因此在机械系统构形空间是某种特殊矩阵群时，可以参照各个群的学习算法，比如辛群学习算法［２５－２６］、量子群学习算法［８４－８６］以及更一般的张量学习算法［４０－４１］等．量子群是对经典李群、李代数中基本对称概念的推广，研究的是一类特殊的非交换非余交换的Ｈｏｐｆ代数，尤其是从李代数的包络代数和群的函数代数经过“量子化”得到的非交换非余交换的Ｈｏｐｆ代数．近年来，量子群及其相关的ｑ变形理论已被应用于物理学的各个分支．文献［８４－８５］给出了量子群分类器的构造方法，并将其应用在ＤＮＡ的序列分类中．文献［８４，８６］基于量子群的基本理论，结合药物分子设计中的分子对接问题，给出了一个基于量子群生成元的分子对接药物设计新方法．作者首先给出了分子对接的数学模型实际上就是最小化相互作用系统结合自由能的一个优化设计问题．其次，进一步分析了分子对接的量子群模型．这个模型利用生成元的形式表示量子群并利用基于量子群生成元的分子匹配算法对量子群的分子对接进行模拟．４．１５　基于范畴理论的学习算法范畴是描述数学实体及其之间关系的抽象概念．范畴的概念中包括一类物件ｏｂ（）（ｏｂｊｅｃｔｓ）及１３５０ 计　　算　　机　　学　　报２０１５年物件之间的态射ｈｏｍ（）（ｍｏｒｐｈｉｓｍｓ）关系．不同的范畴对应不同种类的物件及其相互关系，这类物件可以代表任何一种数学结构（如集合），而态射依照物件的不同需做对应的改变．每一个态射ｆ 关联物件ｏｂ（）中一个唯一的源物件ａ和目标物件ｂ，称ｆ是从ａ到ｂ的一个态射，写作ｆ：ａ→ｂ．这和集合上定义的函数很像，实际上由集合作为物件，函数作为态射正是一种类型的范畴．ａ到ｂ上态射的全体称作一个态射类，记作ｈｏｍ （ａ，ｂ）．对物件类中的任意３个物件ａ，ｂ，ｃ，定义三者之上的二元运算ｈｏｍ （ａ，ｂ）×ｈｏｍ （ｂ，ｃ）→ｈｏｍ （ａ，ｃ）为范畴上的态射复合运算．更具体的，针对ａ，ｂ上的态射ｆ：ａ→ｂ以及ｂ，ｃ上的态射ｇ：ｂ→ｃ，对应的态射复合为ｇｆ：ａ→ｃ．在集合范畴，态射复合即为函数复合．综上所述，不同的物件、态射与态射复合形成了不同的范畴．例如所有集合构成的范畴，对应的态射就是定义在集合之间的函数；所有群构成的范畴，其态射是群之间的群同态；所有拓扑空间构成的范畴，态射又是拓扑空间上的连续函数，等等．文献［８７］希望用范畴来表示机器学习过程中的学习表达式，例如以决策树为研究对象的决策树范畴或者在概率统计范围下的贝叶斯范畴．文中作者不仅详细地规定了学习表达式完整的范畴定义，而且用实例证明了将机器学习过程中的学习表达式表示成范畴形式是可行的．对于每一类学习表达式范畴，文献中都设计了相应的态射类与态射复合并且使得学习表达式范畴满足态射复合的两个公理：结合律公理与单位元公理．结合律公理是指若存在物件类ｏｂ（）上的４个物件ａ，ｂ，ｃ，ｄ 和态射ｆ：ａ→ｂ，ｇ：ｂ→ｃ及ｈ：ｃ→ｄ，则有ｈ（ｇｆ）＝（ｈｇ）ｆ 成立．单位元公理是指对物件类ｏｂ（）中的任意一个物件ｘ 都存在一个单位态射１ｘ：ｘ→ｘ 使得范畴上的任意态射ｆ：ａ→ｂ能够满足１ｂｆ＝ｆ＝ｆ１ａ．作为扩展，文献中作者还研究了态射的一些基本类型，包括满态射、单态射以及双态射等．除了在学习表达式范畴内研究物件与态射的表示之外，文献［８７］还试图将每一类学习表达式范畴看作是一类物件，研究学习表达式范畴与学习表达式范畴之间的态射，这种范畴之间的态射称为函子．函子是将范畴进一步抽象后得到的概念．因为范畴本身又可以被看作另一种数学结构，所以能够进一步定义两类范畴之间的态射关系，即函子．在学习表达式范畴之上定义函子相对定义普通态射而言是困难的，这是因为建立两种范畴之间的函子不仅需要关联一个范畴中的物件和另一个范畴中的物件，而且需要将一个范畴中的态射同另一个范畴中的态射联系起来．选择范畴理论来研究学习表达式的一个好处是范畴的普遍公理能够给出各种数学结构中共性的统一概述，这样的公理能够帮助将这些共同特性推广到学习表达式中．例如在基于矩阵李群的机器学习过程中，如果将学习表达式规范到矩阵李群范畴下，那么可以由范畴的单位元公理自然地推出矩阵李群的单位元是唯一存在的．范畴理论另外一个显著特点是范畴往往更着重关注物件之间的态射而非物件本身．而更加透彻的态射研究又常常能够获取更多的物件结构．就好比研究群同态能够帮助研究更多的群特性．这是因为群同态专注于将一个群在保持群结构的基础上变换到另一个群的过程，由变换相联系之后那么原先群上的信息能够传递到另一个群之上．最后，当将范畴概念抽象化到函子的层次上时，这时研究的态射关系不仅仅停留在同一数学结构之中，而是注重探索不同物件种类之间的关联关系．这样的优势在代数拓扑中体现得尤为明显，这也是为什么能够将几何拓扑的问题转换成用代数方法求解的原因之一．学习表达式之间态射的一个有效应用是将图像数据高维空间对象表示映射到低维空间对象表示中，由此在低维表示中获得原先高维空间中数据的结构信息．于是文献［８８－８９］依据态射是线性或是非线性的情况给出两种范畴表示的数据降维算法．算法１０． 基于范畴的线性降维算法（ＣａｔｅｇｏｒｙＢａｓｅｄ　Ｌｉｎｅａｒ　Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ　Ｒｅｄｕｃｔｉｏｎ　Ａｌｇｏｒｉｔｈｍ，ＣＬＤＲ）．输入：原始高维数据对象Ｘ输出：低维坐标数据对象Ｙ１．构造关联对象Ｍ．态射ｇ 为构造关联对象的过程，ｇ：Ｘ→Ｍ．其中关联对象Ｍ 和态射ｇ 需要根据高维数据对象Ｘ和已知关系对象Δ 确定，不同的关系对象Δ 对应不同的关联对象Ｍ，得到最终输出的低维坐标数据对象Ｙ 的表示意义不同．２．计算关联对象Ｍ 的特征值对象Ζ 和特征向量对象Ｗ ．ｈ：Ｍ →Ｚ，φ：Ｚ→Ｗ ，根据数据降维范畴的复合运算律（ｃｏｍｐｏｓｉｔｉｏｎ　ｌａｗ）可得φｈ：Ｍ →Ｗ ．３．分析数据降维范畴中已知对象的特征和关系，求得低维坐标数据对象Ｙ．其中需要自定义算子“·”来确定中间过渡对象Ｔ，使得：Ｔ→Ｙ．　　算法１１．　基于范畴的非线性降维算法（ＣａｔｅｇｏｒｙＢａｓｅｄ　Ｎｏｎｌｉｎｅａｒ　Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ　Ｒｅｄｕｃｔｉｏｎ　Ａｌｇｏｒｉｔｈｍ，ＣＮＤＲ）．输入：原始高维数据对象Ｘ输出：低维嵌入数据对象Ｙ７期杨梦铎等：李群机器学习十年研究进展１３５１１．确定原始高位数据对象Ｘ 中各元素的邻域点，构造邻域对象Ｇ．态射ｌ为计算各元素邻域点，构造邻域对象的过程，ｌ：Ｘ→Ｇ．２．构造矩阵对象Ｈ．邻域对象Ｇ 中包含原始高维数据对象Ｘ 中各元素及其属性和关系（例如距离或权值等），利用邻域对象Ｇ 中已知元素，寻找合适的态射ｐ 映射得到矩阵对象Ｈ ，ｐ：Ｇ→Ｈ．其中矩阵对象Ｈ 的意义与所选邻域对象Ｇ 中元素的属性有关．３．根据所得矩阵对象Ｈ 分析计算低维嵌入数据对象Ｙ．利用态射ψ完成从Ｈ 到Ｙ 的映射，即ψ：Ｈ→Ｙ．其中态射ψ的形式及其方法取决于矩阵对象Ｈ 的意义，不同的ψ 的过程，需要构造不同的对象和态射．５　李群机器学习展望从目前国内外研究的初步成果来看，李群机器学习已被广泛运用于人工智能领域并已逐步表现出了自己鲜明的特点．首先，李群在处理尺度变换、平移变换、旋转变换等部分拓扑变换时具备的显著优势，使得李群成为研究不变性的一个有力的工具．由于人类视觉系统具有一定的变换不变性，且对外部世界的感知极大地依赖于对图像的理解，因此可以将李群理论运用在视觉认知领域中用于研究图像的不变性特征．其次，从计算的角度来看，李群与李代数之间的转换关系能够便捷地改造基于向量空间的传统机器学习算法，这为李群机器学习处理各样纷繁复杂的问题提供了保证．此外，根据已有的进展与现行的发展趋势，接下来给出李群机器学习的一些前进方向供读者参考．５．１　李群深度学习由于在现实生活中人们越来越经常地面临着大数据，这为数据的表示、提取以及运算都带来了挑战．近年来，由表示学习引发的深度学习正逐步兴起，并由此激发了对李群机器学习的进一步思考．目前，已有越来越多的算法致力于研究数据的流形表示问题［９０］．在这其中，文献［９１］利用深度学习模型ＣＡＥ（Ｃｏｎｔｒａｃｔｉｖｅ　Ａｕｔｏ－Ｅｎｃｏｄｅｒｓ）训练图像，并将得到的表示关于输入分量的雅克比矩阵进行奇异值分解，以此提取流形局部的切方向．文中指出流形上某点处的切空间能够捕获数据集局部的有效变换，包括微小的平移与旋转，样本的类别属性应当不受这些变换的影响．基于这样的思想，作者设计了一种流形切空间分类器ＭＴＣ（Ｍａｎｉｆｏｌｄ　ＴａｎｇｅｎｔＣｌａｓｓｉｆｉｅｒ）．在实验部分，作者将ＭＴＣ应用于手写体数字识别中．在不使用任何先验领域知识的前提下，分类性能在ＭＮＩＳＴ数据集上取得了目前为止最好的结果．受到ＭＴＣ模型的启发，我们可以考虑构建李群深度学习模型．首先，现有的李群机器学习中已经给出一些对流形切空间的研究：文献［３４－３５］将流形上各点切空间构成切丛，进一步分析和处理流形结构；文献［３６－３７］针对大数据的多流形结构，设计出标架丛上的联络学习算法．利用这些数学结构可以对模型化的切空间进行推广．其次，针对计算机视觉中数据的复杂性和图像结构的不变性，文献［２１－２２］考虑利用一种可堆叠的深层结构将人脸图像中的各个部位综合起来表示，并嵌入李群半监督学习［１４－１５］，给出逐层学习的人脸识别算法．为此可以将这种逐层学习的思想与现有的深度学习模型结合起来，并且对于如何利用模型构造具有李群结构的变换也是一个值得探索的问题．５．２　李群范畴学习范畴为计算机科学的许多方面提供了形式表示，如程序语言理论、自动机理论、计算理论等，有效地概括了特定对象以及对象之间的映射关系．文献［８７－８８］利用范畴理论来研究学习系统的表示问题，为机器学习系统的范畴表示给出了证明．在此基础上，考虑将范畴理论运用到李群机器学习中，阐述李群机器学习算法中高维数据与低维表示之间的态射关系以及学习表达式的映射机制，从而构建起统一的范畴表示框架．５．３　李群统计学习目前，关于流形统计的研究已日趋成熟．由李群机器学习中引发的流形统计问题使人们思考是否可进一步探索两者之间的内在关系．非线性问题可以用多参数的李群结构表示，而借助李代数又可以得到对应的单参数子群．在李代数向量空间的线性结构之上，能够计算出均值、高斯分布等统计信息．因此，有了这些统计特性我们可以尝试结合李群理论研究李群流形上的统计学习问题．当然，对于李群机器学习未来的研究方向还有很多，这里仅列出一些供读者们参考．参考文献［１］ Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｋａｎｇ　Ｙｕ．Ｔｈｅ　ｓｔｕｄｙ　ｏｆ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙｆｒａｍｅ　ｂａｓｅｄ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐ．Ｊｏｕｒｎａｌ　ｏｆ　Ｙｕｎｎａｎ　ＮａｔｉｏｎａｌｉｔｉｅｓＵｎｉｖｅｒｓｉｔｙ，２００４，１３（４）：２５１－２５５（ｉｎ　Ｃｈｉｎｅｓｅ）（李凡长，康宇．基于Ｌｉｅ群的机器学习理论框架．云南民族大学学报（自然科学版），２００４，１３（４）：２５１－２５５）［２］ Ｘｕ　Ｈｕａｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｓｔｕｄｙ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ．Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍｓ，２００５，１（４）：８４３－８４９１３５２ 计　　算　　机　　学　　报２０１５年［３］ Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｑｉａｎ　Ｘｕ－Ｐｅｉ，Ｘｉｅ　Ｌｉｎ，Ｈｅ　Ｓｈｕ－Ｐｉｎｇ．ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ　ａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎｓ．Ｈｅｆｅｉ：Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｃｈｉｎａ　Ｐｒｅｓｓ，２００９（ｉｎ　Ｃｈｉｎｅｓｅ）（李凡长，钱旭培，谢琳，何书萍．机器学习理论及应用．合肥：中国科技大学出版社，２００９）［４］ Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｚｈａｎｇ　Ｌｉ，Ｙａｎｇ　Ｊｉ－Ｗｅｎ，ｅｔ　ａｌ．Ｌｉｅ　ＧｒｏｕｐＭａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ．Ｈｅｆｅｉ：Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｃｈｉｎａ　Ｐｒｅｓｓ，２０１３（ｉｎ　Ｃｈｉｎｅｓｅ）（李凡长，张莉，杨继文等．李群机器学习．合肥：中国科技大学出版社，２０１３）［５］ Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｘｕ　Ｈｕａｎ．Ｔｈｅ　ｔｈｅｏｒｙ　ｆｒａｍｅｗｏｒｋ　ｏｆ　Ｌｉｅ　ｇｒｏｕｐｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ（ＬＭＬ）．Ｃｏｍｐｕｔｅｒ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ，２００７，１（３）：６２－８０［６］ Ｘｕ　Ｈｕａｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ’ｓ　ａｘｉｏｍｈｙｐｏｔｈｅｓｉｚｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００６ＩＥＥＥ　ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｇｒａｎｕｌａｒ　Ｃｏｍｐｕｔｉｎｇ．Ａｔｌａｎｔａ，ＵＳＡ，２００６：４０１－４０４［７］ Ｗａｎｇ　Ｘｉａｏ－Ｑｉａｎ．Ｒｅｓｅａｒｃｈ　ｏｆ　Ｌｉｅ　Ｇｒｏｕｐ　Ｃｌａｓｓｉｆｉｅｒ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１３（ｉｎ　Ｃｈｉｎｅｓｅ）（王晓乾．李群分类器研究［硕士学位论文］．苏州大学，苏州，２０１３）［８］ Ｘｕ　Ｑｉａｎｇ，Ｍａ　Ｄｅｎｇ－Ｗｕ．Ａｐｐｌｉｃａｔｉｏｎｓ　ｏｆ　Ｌｉｅ　ｇｒｏｕｐｓ　ａｎｄ　Ｌｉｅａｌｇｅｂｒａ　ｔｏ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ：Ａ　ｂｒｉｅｆ　ｓｕｒｖｅｙ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆｔｈｅ　２０１２Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｓｙｓｔｅｍｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｃｓ．Ｙａｎｔａｉ，Ｃｈｉｎａ，２０１２：２０２４－２０２９［９］ Ｙａｒｌａｇａｄｄａ　Ｐ，Ｏｚｃａｎｌｉ　Ｏ，Ｍｕｎｄｙ　Ｊ．Ｌｉｅ　ｇｒｏｕｐ　ｄｉｓｔａｎｃｅ　ｂａｓｅｄｇｅｎｅｒｉｃ　３－Ｄ　ｖｅｈｉｃｌｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｔａｍｐａ，ＵＳＡ，２００８：１－４［１０］ Ｔｕｚｅｌ　Ｏ，Ｐｏｒｉｋｌｉ　Ｆ，Ｍｅｅｒ　Ｐ．Ｒｅｇｉｏｎ　ｃｏｖａｒｉａｎｃｅ：Ａ　ｆａｓｔｄｅｓｃｒｉｐｔｏｒ　ｆｏｒ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ９ｔｈ　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ．Ｇｒａｚ，Ａｕｓｔｒｉａ，２００６：５８９－６００［１１］ Ｘｕ　Ｈｕａｎ．Ｒｅｓｅａｒｃｈ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｎ　Ｌｉｅ　Ｇｒｏｕｐ　ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ　Ｍｏｄｅｌｓ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００７（ｉｎ　Ｃｈｉｎｅｓｅ）（许欢．李群机器学习模型及应用研究［硕士学位论文］．苏州大学，苏州，２００７）［１２］ Ｇａｏ　Ｃｏｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｌｉｅ　ｇｒｏｕｐ　ｍｅａｎｓ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１２，２５（６）：９００－９０８（ｉｎ　Ｃｈｉｎｅｓｅ）（高聪，李凡长．李群均值学习算法．模式识别与人工智能，２０１２，２５（６）：９００－９０８）［１３］ Ｓｕｂｂａｒａｏ　Ｒ，Ｍｅｅｒ　Ｐ．Ｎｏｎｌｉｎｅａｒ　ｍｅａｎ　ｓｈｉｆｔ　ｆｏｒ　ｃｌｕｓｔｅｒｉｎｇｏｖｅｒ　ａｎａｌｙｔｉｃ　ｍａｎｉｆｏｌｄｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００６ ＩＥＥＥＣｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｎｅｗ　Ｙｏｒｋ，ＵＳＡ，２００６：１１６８－１１７５［１４］ Ｘｕ　Ｈａｎ－Ｘｉａｎｇ． Ａ　Ｓｅｍｉ－Ｓｕｐｅｒｖｉｓｅｄ　Ｌｅａｒｎｉｎｇ　ＡｌｇｏｒｉｔｈｍＢａｓｅｄ　ｏｎ　Ｌｉｅ　Ｇｒｏｕｐ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００９（ｉｎ　Ｃｈｉｎｅｓｅ）（徐寒香．一种基于李群的半监督学习算法及应用研究［硕士学位论文］．苏州大学，苏州，２００９）［１５］ Ｘｕ　Ｈａｎ－Ｘｉａｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００９ＷＲＩＧｌｏｂａｌ　Ｃｏｎｇｒｅｓｓ　ｏｎ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｓｙｓｔｅｍｓ．Ｘｉａｍｅｎ，Ｃｈｉｎａ，２００９：５７３－５７７［１６］ Ｇｕａｎ　Ｗｅｎ－Ｗｅｎ．Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｖｅｒｉｎｇ　Ａｌｇｏｒｉｔｈｍ　ｉｎ　ＬｉｅＧｒｏｕｐ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００９（ｉｎ　Ｃｈｉｎｅｓｅ）（管文文．李群机器学习的覆盖算法及其应用研究［硕士学位论文］．苏州大学，苏州，２００９）［１７］ Ｇｕａｎ　Ｗｅｎ－Ｗｅｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｄｒｕｇ　ｍｏｌｅｃｕｌａｒ　ｄｅｓｉｇｎ　ｕｓｉｎｇＬｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ（ＬＭＬ）／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｄｖａｎｃｅｄ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２００８：４１１－４１４［１８］ Ｘｉａｎ　Ｍｉｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎｈｏｍｏｌｏｇｙ　ｂｏｕｎｄａｒｙ．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２００８，４４（２１）：１９２－１９４，２４４（ｉｎ　Ｃｈｉｎｅｓｅ）（鲜敏，李凡长．一种同调边缘学习算法．计算机工程与应用，２００８，４４（２１）：１９２－１９４，２４４）［１９］ Ｘｉａｎ　Ｍｉｎ．Ｒｅｓｅａｒｃｈ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｎ　ａ　Ｈｏｍｏｌｏｇｙ　ＢｏｕｎｄａｒｙＬｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００９（ｉｎ　Ｃｈｉｎｅｓｅ）（鲜敏．一种同调边缘学习算法及其应用研究［硕士学位论文］．苏州大学，苏州，２００９）［２０］ Ｙａｎｇ　Ｊｉ－Ｗｅｎ，Ｌｉ　Ｚｈｅ－Ｓｈｕｏ，Ｈｅ　Ｓｈｕ－Ｐｉｎｇ，Ｘｉａｎ　Ｍｉｎ．Ｏｎｃｅｌｌｕｌａｒ　ｈｏｍｏｌｏｇｙ　ｂｏｕｎｄａｒｙ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ．Ｊｏｕｒｎａｌ　ｏｆＣｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ，２０１３，５０（５）：１００５－１０１１（ｉｎ　Ｃｈｉｎｅｓｅ）（杨季文，李哲硕，何书萍，鲜敏．胞腔同调边缘学习算法研究．计算机研究与发展，２０１３，５０（５）：１００５－１０１１）［２１］ Ｈｅ　Ｗｅｎ－Ｈｕｉ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｌｉｅ　Ｇｒｏｕｐ　Ｄｅｅｐ　Ｓｔｒｕｃｔｕｒｅ　ＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１１（ｉｎ　Ｃｈｉｎｅｓｅ）（何文慧．李群深层结构学习算法研究［硕士学位论文］．苏州大学，苏州，２０１１）［２２］ Ｈｅ　Ｗｅｎ－Ｈｕｉ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐ　ｄｅｅｐｓｔｒｕｃｔｕｒｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ．Ｊｏｕｒｎａｌ　ｏｆ　Ｆｒｏｎｔｉｅｒｓ　ｏｆ　ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２０１０，４（７）：６４６－６５３（ｉｎ　Ｃｈｉｎｅｓｅ）（何文慧，李凡长．李群深层结构学习算法研究．计算机科学与探索，２０１０，４（７）：６４６－６５３）［２３］ Ｃｈｅｎ　Ｍｉｎｇ，Ｈｅ　Ｓｈｕ－Ｐｉｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｆｉｎｓｌｅｒｍｅｔｒｉｃ　ｉｎ　ＫＮＮ　ａｌｇｏｒｉｔｈｍ．Ｊｏｕｒｎａｌ　ｏｆ　Ｆｒｏｎｔｉｅｒｓ　ｏｆ　ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２０１１，５（１１）：１０２１－１０２６（ｉｎ　Ｃｈｉｎｅｓｅ）（陈明，何书萍，李凡长．Ｆｉｎｓｌｅｒ度量在ＫＮＮ算法中的应用研究．计算机科学与探索，２０１１，５（１１）：１０２１－１０２６）［２４］ Ｃｈｅｎ　Ｍｉｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｆｉｎｓｌｅｒ　Ｇｅｏｍｅｔｒｙ　Ｌｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１２（ｉｎＣｈｉｎｅｓｅ）（陈明．Ｆｉｎｓｌｅｒ几何学习算法研究［硕士学位论文］．苏州大学，苏州，２０１２）［２５］ Ｆｕ　Ｈｕｉ－Ｘｉｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｒｅｓｅａｒｃｈ　ｏｆ　ｔｈｅ　ｓｙｍｐｌｅｃｔｉｃ　ｇｒｏｕｐｃｌａｓｓｉｆｉｅｒ　ｂａｓｅｄ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　４ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｆｕｚｚｙ　Ｓｙｓｔｅｍｓ　ａｎｄＫｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ．Ｈａｉｋｏｕ，Ｃｈｉｎａ，２００７：６４９－６５４［２６］ Ｆｕ　Ｈｕｉ－Ｘｉｎ．Ｒｅｓｅａｒｃｈ　ｏｆ　ｔｈｅ　Ｓｙｍｐｌｅｃｔｉｃ　Ｇｒｏｕｐ　Ｃｌａｓｓｉｆｉｅｒ　ｉｎｔｈｅ　Ｌｉｅ　Ｇｒｏｕｐ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００８（ｉｎ　Ｃｈｉｎｅｓｅ）（付会欣．李群机器学习中的辛群分类器研究［硕士学位论文］．苏州大学，苏州，２００８）７期杨梦铎等：李群机器学习十年研究进展１３５３［２７］ Ｆｌｅｔｃｈｅｒ　Ｐ　Ｔ，Ｌｕ　Ｃ，Ｊｏｓｈｉ　Ｓ．Ｓｔａｔｉｓｔｉｃｓ　ｏｆ　ｓｈａｐｅ　ｖｉａ　ｐｒｉｎｃｉｐａｌｇｅｏｄｅｓｉｃ　ａｎａｌｙｓｉｓ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００３ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄＰａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｍａｄｉｓｏｎ，ＵＳＡ，２００３：９５－１０１［２８］ Ｆｌｅｔｃｈｅｒ　Ｐ　Ｔ，Ｌｕ　Ｃ，Ｐｉｚｅｒ　Ｓ　Ｍ．Ｐｒｉｎｃｉｐａｌ　ｇｅｏｄｅｓｉｃ　ａｎａｌｙｓｉｓｆｏｒ　ｔｈｅ　ｓｔｕｄｙ　ｏｆ　ｎｏｎｌｉｎｅａｒ　ｓｔａｔｉｓｔｉｃｓ　ｏｆ　ｓｈａｐｅ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓｏｎ　Ｍｅｄｉｃａｌ　Ｉｍａｇｉｎｇ，２００４，２３（８）：９９５－１００５［２９］ Ｂｒｕｎ　Ａ，Ｗｅｓｔｉｎ　Ｃ　Ｆ，Ｈｅｒｖｅｒｔｈｓｏｎ　Ｍ，Ｋｎｕｔｓｓｏｎ　Ｈ．Ｉｎｔｒｉｎｓｉｃａｎｄ　ｅｘｔｒｉｎｓｉｃ　ｍｅａｎｓ　ｏｎ　ｔｈｅ　ｃｉｒｃｌｅ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ　ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｈｏｎｏｌｕｌｕ，Ｈａｗａｉｉ，ＵＳＡ，２００７：１０５３－１０５６［３０］ Ｆｉｏｒｉ　Ｓ，Ｔａｎａｋａ　Ｔ．Ａｎ　ａｌｇｏｒｉｔｈｍ　ｔｏ　ｃｏｍｐｕｔｅ　ａｖｅｒａｇｅｓ　ｏｎｍａｔｒｉｘ　Ｌｉｅ　ｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ，２００９，５７（１２）：４７３４－４７４３［３１］ Ｆｉｏｒｉ　Ｓ，Ｔａｎａｋａ　Ｔ．Ｌｅａｒｎｉｎｇ　ａｖｅｒａｇｅｓ　ｏｖｅｒ　ｔｈｅ　Ｌｉｅ　ｇｒｏｕｐｏｆ　ｓｙｍｍｅｔｒｉｃ　ｐｏｓｉｔｉｖｅ　ｄｅｆｉｎｅ　ｍａｔｒｉｃｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ．Ａｔｌａｎｔａ，ＵＳＡ，２００９：８２８－８３２［３２］ Ｆｌｅｔｃｈｅｒ　Ｐ　Ｔ，Ｊｏｓｈｉ　Ｓ，Ｌｕ　Ｃ，Ｐｉｚｅｒ　Ｓ　Ｍ．Ｇａｕｓｓｉａｎ　ｄｉｓｔｒｉｂｕｔｉｏｎｓ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ　ａｎｄ　ｔｈｅｉｒ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｓｔａｔｉｓｔｉｃａｌ　ｓｈａｐｅａｎａｌｙｓｉｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎＩｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　Ｍｅｄｉｃａｌ　Ｉｍａｇｉｎｇ．Ａｍｂｌｅｓｉｄｅ，ＵＫ，２００３：４５０－４６２［３３］ Ｚｈａｏ　Ｌｉａｎ－Ｗｅｉ，Ｌｕｏ　Ｓｉ－Ｗｅｉ，Ｌｉａｏ　Ｌｉｎｇ－Ｚｈｉ，Ｔｉａｎ　Ｍｅｉ．Ｓｔｕｄｙｏｎ　ｐｒｉｎｃｉｐａｌ　ｃｕｒｖｅ　ｃｏｎｓｔｒｕｃｔｉｏｎ　ａｌｇｏｒｉｔｈｍ．Ｊｏｕｒｎａｌ　ｏｆ　ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，２００６，３０（２）：８０－８３（ｉｎ　Ｃｈｉｎｅｓｅ）（赵连伟，罗四维，廖灵芝，田媚．主曲线构建算法研究．北京交通大学学报，２００６，３０（２）：８０－８３）［３４］ Ｚｈａｎｇ　Ｊｉｏｎｇ． Ｒｅｓｅａｒｃｈ　ｏｎ　ｔｈｅ　Ｆｉｂｅｒ　Ｂｕｎｄｌｅ　ＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍｓ　Ｂａｓｅｄ　ｏｎ　Ｍａｎｉｆｏｌｄ　Ｌｅａｒｎｉｎｇ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００８（ｉｎ　Ｃｈｉｎｅｓｅ）（张炯．基于流形学习的纤维丛学习算法研究［硕士学位论文］．苏州大学，苏州，２００８）［３５］ Ｚｈａｎｇ　Ｊｉｏｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ａ　ｆｉｂｅｒ　ｂｕｎｄｌｅ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎｍａｎｉｆｏｌｄ　ｌｅａｒｎｉｎｇ．Ｊｏｕｒｎａｌ　ｏｆ　Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ （ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ），２００８，４４（５）：４７７－４８５（ｉｎ　Ｃｈｉｎｅｓｅ）（张炯，李凡长．基于流形学习的纤维丛模型研究．南京大学学报（自然科学版），２００８，４４（５）：４７７－４８５）［３６］ Ｌｉ　Ｊｕｎ．Ｒｅｓｅａｒｃｈｅｓ　ｏｎ　Ａｆｆｉｎｅ　Ｃｏｎｎｅｃｔｉｏｎ　Ｌｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１２（ｉｎＣｈｉｎｅｓｅ）（李军．仿射联络学习算法研究［硕士学位论文］．苏州大学，苏州，２０１２）［３７］ Ｌｉ　Ｊｕｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｚｈａｎｇ　Ｌｉ．Ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ａｆｆｉｎｅ　ｃｏｎｎｅｃｔｉｏｎ．Ｊｏｕｒｎａｌ　ｏｆ　Ｆｒｏｎｔｉｅｒｓ　ｏｆＣｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２０１２，６（３）：２６７－２７４（ｉｎＣｈｉｎｅｓｅ）（李军，李凡长，张莉．仿射联络图像分割算法．计算机科学与探索，２０１２，６（３）：２６７－２７４）［３８］ Ｄｏｎｇ　Ｍｅｎｇ－Ｘｕａｎ．Ｓｐｅｃｔｒａｌ　Ｅｓｔｉｍａｔｉｏｎ　ｏｆ　Ｉｍａｇｅ　ＦｅａｔｕｒｅｓＭａｎｉｆｏｌｄ　Ｌｅａｒｎｉｎｇ　Ｍｅｔｈｏｄ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１２（ｉｎ　Ｃｈｉｎｅｓｅ）（董梦璇．图像特征流形的谱估计学习方法［硕士学位论文］．苏州大学，苏州，２０１２）［３９］ Ｄｏｎｇ　Ｍｅｎｇ－Ｘｕａｎ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｔｈｅ　ｅｓｔｉｍａｔｉｏｎ　ａｌｇｏｒｉｔｈｍｏｆ　Ｌａｐｌａｃｉａｎ　ｅｉｇｅｎｖａｌｕｅｓ　ｆｏｒ　ｔｈｅ　ｔａｎｇｅｎｔ　ｂｕｎｄｌｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　ａｎｄ　Ｓｅｃｕｒｉｔｙ．Ｓａｎｙａ，Ｃｈｉｎａ，２０１１：４９２－４９６［４０］ Ｌｉ　Ｘｉａｎｇ－Ｌｉａｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ａ　ｍｏｄｅｌ　ｏｆ　ｄａｔａ　ｒｅｄｕｃｔｉｏｎｂａｓｅｄ　ｏｎ　ｔｅｎｓｏｒ　ｆｉｅｌｄ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００９ ＷＲＩ　ＧｌｏｂａｌＣｏｎｇｒｅｓｓ　ｏｎ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｓｙｓｔｅｍｓ．Ｘｉａｍｅｎ，Ｃｈｉｎａ，２００９：３５６－３５９［４１］ Ｌｉ　Ｘｉａｎｇ－Ｌｉａｎｇ．Ｒｅｓｅａｒｃｈ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｎ　ａ　Ｄａｔａ　ＲｅｄｕｃｔｉｏｎＭｅｔｈｏｄ　Ｂａｓｅｄ　ｏｎ　Ｔｅｎｓｏｒ　Ｆｉｅｌｄ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００９（ｉｎ　Ｃｈｉｎｅｓｅ）（李祥亮．一种基于张量场的数据约简方法及应用研究［硕士学位论文］．苏州大学，苏州，２００９）［４２］ Ｈｏｆｆｍａｎ　Ｗ　Ｃ．Ｔｈｅ　Ｌｉｅ　ａｌｇｅｂｒａ　ｏｆ　ｖｉｓｕａｌ　ｐｅｒｃｅｐｔｉｏｎ．Ｊｏｕｒｎａｌｏｆ　Ｍａｔｈｅｍａｔｉｃａｌ　Ｐｓｙｃｈｏｌｏｇｙ，１９６６，３（１）：６５－９８［４３］ Ｄｏｄｗｅｌｌ　Ｐ　Ｃ．Ｔｈｅ　Ｌｉｅ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ　ｇｒｏｕｐ　ｍｏｄｅｌ　ｏｆ　ｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎ．Ｐｅｒｃｅｐｔｉｏｎ　＆Ｐｓｙｃｈｏｐｈｙｓｉｃｓ，１９８３，３４（１）：１－１６［４４］ Ｇｉｂｓｏｎ　Ｊ　Ｊ．Ｔｈｅ　Ｓｅｎｓｅｓ　Ｃｏｎｓｉｄｅｒｅｄ　ａｓ　Ｐｅｒｃｅｐｔｕａｌ　Ｓｙｓｔｅｍｓ．Ｎｅｗ　Ｙｏｒｋ：Ｈｏｕｇｈｔｏｎ　Ｍｉｆｆｌｉｎ，１９６６［４５］ Ｃｏｌｅ　Ｊ　Ｂ，Ｍｕｒａｓｅ　Ｈ，Ｎａｉｔｏ　Ｓ．Ａ　Ｌｉｅ　ｇｒｏｕｐ　ｔｈｅｏｒｅｔｉｃ　ａｐｐｒｏａｃｈｔｏ　ｔｈｅ　ｉｎｖａｒｉａｎｃｅ　ｐｒｏｂｌｅｍ　ｉｎ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　ａｎｄ　ｏｂｊｅｃｔｒｅｃｏｇｎｉｔｉｏｎ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ，１９９１，１２（９）：５１９－５２３［４６］ Ｖａｎ　Ｇ　Ｌ，Ｍｏｏｎｓ　Ｔ，Ｐａｕｗｅｌｓ　Ｅ，Ｏｏｓｔｅｒｌｉｎｃｋ　Ａ．Ｖｉｓｉｏｎ　ａｎｄＬｉｅ’ｓ　ａｐｐｒｏａｃｈ　ｔｏ　ｉｎｖａｒｉａｎｃｅ．Ｉｍａｇｅ　ａｎｄ　Ｖｉｓｉｏｎ　Ｃｏｍｐｕｔｉｎｇ，１９９５，１３（４）：２５９－２７７［４７］ Ｒａｏ　Ｒ　Ｐ　Ｎ，Ｒｕｄｅｒｍａｎ　Ｄ　Ｌ．Ｌｅａｒｎｉｎｇ　Ｌｉｅ　ｇｒｏｕｐｓ　ｆｏｒ　ｉｎｖａｒｉａｎｔｖｉｓｕａｌ　ｐｅｒｃｅｐｔｉｏｎ．Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，１９９９，１１：８１０－８１６［４８］ Ｂｌａｃｋ　Ｍ　Ｊ，Ｊｅｐｓｏｎ　Ａ　Ｄ．Ｅｉｇｅｎｔｒａｃｋｉｎｇ：Ｒｏｂｕｓｔ　ｍａｔｃｈｉｎｇ　ａｎｄｔｒａｃｋｉｎｇ　ｏｆ　ａｒｔｉｃｕｌａｔｅｄ　ｏｂｊｅｃｔｓ　ｕｓｉｎｇ　ａ　ｖｉｅｗ－ｂａｓｅｄ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，１９９８，２６（１）：６３－８４［４９］ Ｒａｏ　Ｒ　Ｐ　Ｎ，Ｂａｌｌａｒｄ　Ｄ　Ｈ．Ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｌｏｃａｌｉｚｅｄ　ｏｒｉｅｎｔｅｄｒｅｃｅｐｔｉｖｅ　ｆｉｅｌｄｓ　ｂｙ　ｌｅａｒｎｉｎｇ　ａ　ｔｒａｎｓｌａｔｉｏｎ－ｉｎｖａｒｉａｎｔ　ｃｏｄｅ　ｆｏｒｎａｔｕｒａｌ　ｉｍａｇｅｓ．Ｎｅｔｗｏｒｋ：Ｃｏｍｐｕｔａｔｉｏｎ　ｉｎ　Ｎｅｕｒａｌ　Ｓｙｓｔｅｍｓ，１９９８，９（２）：２１９－２３４［５０］ Ｘｕ　Ｍｉａｏ，Ｒａｏ　Ｒ　Ｐ　Ｎ．Ｌｅａｒｎｉｎｇ　ｔｈｅ　Ｌｉｅ　ｇｒｏｕｐｓ　ｏｆ　ｖｉｓｕａｌｉｎｖａｒｉａｎｃｅ．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００７，１９（１０）：２６６５－２６９３［５１］ Ｇａｏ　Ｃｏｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｓｈｅｎ　Ｃｈｅｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｌｉｅｇｒｏｕｐ　ｋｅｒｎｅｌ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ．Ｊｏｕｒｎａｌ　ｏｆ　Ｆｒｏｎｔｉｅｒｓ　ｏｆＣｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２０１２，６（１１）：１０２６－１０３８（ｉｎ　Ｃｈｉｎｅｓｅ）（高聪，李凡长，沈程．李群核学习算法研究．计算机科学与探索，２０１２，６（１１）：１０２６－１０３８）［５２］ Ｇａｏ　Ｃｏｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｌｉｅ　Ｇｒｏｕｐ　Ｍｅａｎ　Ｌｅａｒｎｉｎｇ　Ａｌｇｏｒｉｔｈｍａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１２（ｉｎ　Ｃｈｉｎｅｓｅ）（高聪．李群均值学习算法及应用研究［硕士学位论文］．苏州大学，苏州，２０１２）［５３］ Ａｉｚｅｒｍａｎ　Ｍ　Ａ，Ｂｒａｖｅｒｍａｎ　Ｅ　Ａ，Ｒｏｚｏｎｏｅｒ　Ｌ．Ｔｈｅｏｒｅｔｉｃａｌｆｏｕｎｄａｔｉｏｎｓ　ｏｆ　ｔｈｅ　ｐｏｔｅｎｔｉａｌ　ｆｕｎｃｔｉｏｎ　ｍｅｔｈｏｄ　ｉｎ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｌｅａｒｎｉｎｇ．Ａｕｔｏｍａｔｉｏｎ　ａｎｄ　Ｒｅｍｏｔｅ　Ｃｏｎｔｒｏｌ，１９６４，２５：８２１－８３７［５４］ Ｓｃｈｌｋｏｐｆ　Ｂ，Ｂｕｒｇｅｓ　Ｃ　Ｊ　Ｃ，Ｓｍｏｌａ　Ａ　Ｊ．Ａｄｖａｎｃｅｓ　ｉｎ　ＫｅｒｎｅｌＭｅｔｈｏｄｓ：Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｌｅａｒｎｉｎｇ：Ｐｈｉｌｏｍｅｌ　Ｂｏｏｋｓ．ＴｈｅＭＩＴ　Ｐｒｅｓｓ，１９９９１３５４ 计　　算　　机　　学　　报２０１５年［５５］ Ｖａｐｎｉｋ　Ｖ　Ｎ．Ｔｈｅ　Ｎａｔｕｒｅ　ｏｆ　Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　Ｔｈｅｏｒｙ．Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ　Ｎｅｗ　Ｙｏｒｋ，Ｉｎｃ．，１９９５［５６］ Ｃｈｅｎｇ　Ｊｉａｎ，Ｌｉｕ　Ｑｉｎｇ－Ｓｈａｎ，Ｌｕ　Ｈａｎ－Ｑｉｎｇ．Ｔｅｘｔｕｒｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｕｓｉｎｇ　ｋｅｒｎｅｌ　ｉｎｄｅｐｅｎｄｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｃａｍｂｒｉｄｇｅ，ＵＫ，２００４：６２０－６２３［５７］ Ｍｉｋａ　Ｓ，Ｒａｔｓｃｈ　Ｇ，Ｗｅｓｔｏｎ　Ｊ，ｅｔ　ａｌ．Ｆｉｓｈｅｒ　ｄｉｓｃｒｉｍｉｎａｎｔａｎａｌｙｓｉｓ　ｗｉｔｈ　ｋｅｒｎｅｌｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１９９９ＩＥＥＥ　ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ　Ｓｏｃｉｅｔｙ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ｆｏｒ　ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ　ＩＸ．Ｍａｄｉｓｏｎ，ＵＳＡ，１９９９：４１－４８［５８］ Ｂａｙｒｏ－Ｃｏｒｒｏｃｈａｎｏ　Ｅ，Ｏｒｔｅｇｏｎ－Ａｇｕｉｌａｒ　Ｊ．Ｔｅｍｐｌａｔｅ　ｔｒａｃｋｉｎｇｗｉｔｈ　Ｌｉｅ　ａｌｇｅｂｒａｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００４ＩＥＥＥ　ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｒｏｂｏｔｉｃｓ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ．Ｎｅｗ　Ｏｒｌｅａｎｓ，ＵＳＡ，２００４：５１８３－５１８８［５９］ Ｂａｙｒｏ－Ｃｏｒｒｏｃｈａｎｏ　Ｅ，Ｏｒｔｅｇｏｎ－Ａｇｕｉｌａｒ　Ｊ．Ｌｉｅ　ａｌｇｅｂｒａ　ｔｅｍｐｌａｔｅｔｒａｃｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅｏｎ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｃａｍｂｒｉｄｇｅ，ＵＫ，２００４：５６－５９［６０］ Ｂａｙｒｏ－Ｃｏｒｒｏｃｈａｎｏ　Ｅ，Ｏｒｔｅｇｏｎ－Ａｇｕｉｌａｒ　Ｊ．Ｌｉｅ　ａｌｇｅｂｒａ　ａｐｐｒｏａｃｈｆｏｒ　ｔｒａｃｋｉｎｇ　ａｎｄ　３Ｄｍｏｔｉｏｎ　ｅｓｔｉｍａｔｉｏｎ　ｕｓｉｎｇ　ｍｏｎｏｃｕｌａｒ　ｖｉｓｉｏｎ．Ｉｍａｇｅ　ａｎｄ　Ｖｉｓｉｏｎ　Ｃｏｍｐｕｔｉｎｇ，２００７，２５（６）：９０７－９２１［６１］ Ｌｉｎ　Ｄａ－Ｈｕａ，Ｇｒｉｍｓｏｎ　Ｅ，Ｆｉｓｈｅｒ　Ｊ．Ｌｅａｒｎｉｎｇ　ｖｉｓｕａｌ　ｆｌｏｗｓ：ＡＬｉｅ　ａｌｇｅｂｒａｉｃ　ａｐｐｒｏａｃｈ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００９ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ｍｉａｍｉ，ＵＳＡ，２００９：７４７－７５４［６２］ Ｐｏｒｉｋｌｉ　Ｆ，Ｔｕｚｅｌ　Ｏ，Ｍｅｅｒ　Ｐ．Ｃｏｖａｒｉａｎｃｅ　ｔｒａｃｋｉｎｇ　ｕｓｉｎｇ　ｍｏｄｅｌｕｐｄａｔｅ　ｂａｓｅｄ　ｏｎ　Ｌｉｅ　ａｌｇｅｂｒａ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００６ＩＥＥＥＣｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｎｅｗ　Ｙｏｒｋ，ＵＳＡ，２００６：７２８－７３５［６３］ Ｔｕｚｅｌ　Ｏ，Ｐｏｒｉｋｌｉ　Ｆ，Ｍｅｅｒ　Ｐ．Ｌｅａｒｎｉｎｇ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ　ｆｏｒｉｎｖａｒｉａｎｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｔｒａｃｋｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２００８ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄＰａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ．Ａｎｃｈｏｒａｇｅ，ＵＳＡ，２００８：１－８［６４］ Ｔｕｚｅｌ　Ｏ，Ｓｕｂｂａｒａｏ　Ｒ，Ｍｅｅｒ　Ｐ．Ｓｉｍｕｌｔａｎｅｏｕｓ　ｍｕｌｔｉｐｌｅ　３Ｄｍｏｔｉｏｎ　ｅｓｔｉｍａｔｉｏｎ　ｖｉａ　ｍｏｄｅ　ｆｉｎｄｉｎｇ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　１０ｔｈ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２００５：１８－２５［６５］ Ｐａｎ　Ｗ　Ｄ，Ｙｏｏ　Ｓｅｏｎｇ－Ｍｏｏ，Ｐａｒｋ　Ｃｈｕｌ－Ｈｏ．Ｃｏｍｐｌｅｘｉｔｙａｃｃｕｒａｃｙ　ｔｒａｄｅｏｆｆｓ　ｏｆ　Ｌｉｅ　ｏｐｅｒａｔｏｒｓ　ｉｎ　ｍｏｔｉｏｎ　ｅｓｔｉｍａｔｉｏｎ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｌｅｔｔｅｒｓ，２００７，２８（７）：７７８－７８７［６６］ Ｃｈｅｎ　Ｆｅｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｏｒｂｉｔｓ　ｇｅｎｅｒａｔｅｄ　ｌａｔｔｉｃｅ　ａｌｇｏｒｉｔｈｍｏｆ　ｌｅａｒｎｉｎｇ　ｓｕｂｓｐａｃｅ　ｉｎ　Ｌｉｅ－ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ（ＬＭＬ）．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（１５）：１８４－１８７（ｉｎ　Ｃｈｉｎｅｓｅ）（陈凤，李凡长．李群机器学习（ＬＭＬ）的学习子空间轨道生成格算法．计算机工程与应用，２００７，４３（１５）：１８４－１８７）［６７］ Ｃｈｅｎ　Ｆｅｎｇ．Ｒｅｓｅａｒｃｈ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｎ　Ｏｒｂｉｔｓ　ＧｅｎｅｒａｔｅｄＡｌｇｏｒｉｔｈｍ　ｏｆ　Ｌｅａｒｎｉｎｇ　Ｓｕｂｓｐａｃｅ　ｉｎ　Ｌｉｅ－Ｇｒｏｕｐ　ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ（ＬＭＬ）［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００７（ｉｎ　Ｃｈｉｎｅｓｅ）（陈凤．李群机器学习（ＬＭＬ）子空间轨道生成算法及应用研究［硕士学位论文］．苏州大学，苏州，２００７）［６８］ Ｌｉ　Ｆａｎ－Ｚｈａｎｇ，Ｈｅ　Ｓｈｕ－Ｐｉｎｇ，Ｑｉａｎ　Ｘｕ－Ｐｅｉ．Ｓｕｒｖｅｙ　ｏｎ　Ｌｉｅｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ．Ｃｈｉｎｅｓｅ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ，２０１０，３３（７）：１１１５－１１２６（ｉｎ　Ｃｈｉｎｅｓｅ）（李凡长，何书萍，钱旭培．李群机器学习研究综述．计算机学报，２０１０，３３（７）：１１１５－１１２６）［６９］ Ｃｈｅｎ　Ｆｅｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｏｒｂｉｔｓ　ｇｅｎｅｒａｔｅｄ　ｔｈｅｏｒｙ　ｏｆ　ｌｅａｒｎｉｎｇｓｕｂｓｐａｃｅ　ａｎｄ　ｉｔｓ　ａｌｇｏｒｉｔｈｍ　ｉｎ　Ｌｉｅ－ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ（ＬＭＬ）．Ｊｏｕｒｎａｌ　ｏｆ　Ｓｕｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ （Ｎａｔｕｒａｌ　ＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２００７，２３（１）：６１－６６（ｉｎ　Ｃｈｉｎｅｓｅ）（陈凤，李凡长．李群机器学习（ＬＭＬ）的学习子空间轨道生成理论及算法初探．苏州大学学报（自然科学版），２００７，２３（１）：６１－６６）［７０］ Ｍａｉｔｈｒｉｐａｌａ　Ｄ　Ｈ　Ｓ，Ｂｅｒｇ　Ｊ　Ｍ，Ｄａｙａｗａｎｓａ　Ｗ　Ｐ．Ａｌｍｏｓｔｇｌｏｂａｌ　ｔｒａｃｋｉｎｇ　ｏｆ　ｓｉｍｐｌｅ　ｍｅｃｈａｎｉｃａｌ　ｓｙｓｔｅｍｓ　ｏｎ　ａ　ｇｅｎｅｒａｌｃｌａｓｓ　ｏｆ　Ｌｉｅ　ｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ＡｕｔｏｍａｔｉｃＣｏｎｔｒｏｌ，２００６，５１（２）：２１６－２２５［７１］ Ｃｈｕ　Ｔｉａｎ－Ｇｕａｎｇ，Ｚｈａｎｇ　Ｃｉ－Ｓｈｅｎ，Ｗａｎｇ　Ｌｏｎｇ．Ａ　ｓｏｌｖａｂｌｅＬｉｅ　ａｌｇｅｂｒａ　ｃｏｎｄｉｔｉｏｎ　ｆｏｒ　ｓｔａｂｉｌｉｔｙ　ｏｆ　ｌｉｎｅａｒ　ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌｓｙｓｔｅｍｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｃｏｎｔｒｏｌ，２００６，５１（２）：３２０－３２４［７２］ Ｂｉｇｇｓ　Ｊ，Ｈｏｌｄｅｒｂａｕｍ　Ｗ，Ｊｕｒｄｊｅｖｉｃ　Ｖ．Ｓｉｎｇｕｌａｒｉｔｉｅｓ　ｏｆ　ｏｐｔｉｍａｌｃｏｎｔｒｏｌ　ｐｒｏｂｌｅｍｓ　ｏｎ　ｓｏｍｅ　６－Ｄ　Ｌｉｅ　ｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｃｏｎｔｒｏｌ，２００７，５２（６）：１０２７－１０３８［７３］ Ｋｏｎｓｔａｎｔｉｎ　Ｓ，Ｓｕｒｙａ　Ｐ　Ｎ　Ｓ，Ｈｕｇｈ　Ｄ－Ｗ．Ｕｓｉｎｇ　Ｌｉｅ　ｇｒｏｕｐｓｙｍｍｅｔｒｉｅｓ　ｆｏｒ　ｆａｓｔ　ｃｏｒｒｅｃｔｉｖｅ　ｍｏｔｉｏｎ　ｐｌａｎｎｉｎｇ．Ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｏｂｏｔｉｃｓ　Ｒｅｓｅａｒｃｈ，２０１２，３１（２）：１５１－１６６［７４］ Ｓａｒｌｅｔｔｅ　Ａ，Ｂｏｎｎａｂｅｌ　Ｓ，Ｓｅｐｕｌｃｈｒｅ　Ｒ．Ｃｏｏｒｄｉｎａｔｅｄ　ｍｏｔｉｏｎｄｅｓｉｇｎ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ＡｕｔｏｍａｔｉｃＣｏｎｔｒｏｌ，２０１０，５５（５）：１０４７－１０５８［７５］ Ｍｏｎａｃｏ　Ｓ，Ｎｏｒｍａｎｄ－Ｃｙｒｏｔ　Ｄ，Ｃａｌｉｆａｎｏ　Ｃ．Ｆｒｏｍ　ｃｈｒｏｎｏｌｏｇｉｃａｌｃａｌｃｕｌｕｓ　ｔｏ　ｅｘｐｏｎｅｎｔｉａｌ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｏｆ　ｃｏｎｔｉｎｕｏｕｓ　ａｎｄｄｉｓｃｒｅｔｅ－ｔｉｍｅ　ｄｙｎａｍｉｃｓ：Ａ　Ｌｉｅ－ａｌｇｅｂｒａｉｃ　ａｐｐｒｏａｃｈ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｃｏｎｔｒｏｌ，２００７，５２（１２）：２２２７－２２４１［７６］ Ｎｏｒｄｋｖｉｓｔ　Ｎ，Ｂｕｌｌｏ　Ｆ．Ｃｏｎｔｒｏｌ　ａｌｇｏｒｉｔｈｍｓ　ａｌｏｎｇ　ｒｅｌａｔｉｖｅｅｑｕｉｌｉｂｒｉａ　ｏｆ　ｕｎｄｅｒａｃｔｕａｔｅｄ　Ｌａｇｒａｎｇｉａｎ　ｓｙｓｔｅｍｓ　ｏｎ　Ｌｉｅｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｃｏｎｔｒｏｌ，２００８，５３（１１）：２６５１－２６５８［７７］ Ｂｏｎｎａｂｅｌ　Ｓ，Ｍａｒｔｉｎ　Ｐ，Ｒｏｕｃｈｏｎ　Ｐ．Ｎｏｎ－ｌｉｎｅａｒ　ｓｙｍｍｅｔｒｙｐｒｅｓｅｒｖｉｎｇ　ｏｂｓｅｒｖｅｒｓ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎＡｕｔｏｍａｔｉｃ　Ｃｏｎｔｒｏｌ，２００９，５４（７）：１７０９－１７１３［７８］ Ｌａｇｅｍａｎ　Ｃ，Ｔｒｕｍｐｆ　Ｊ，Ｍａｈｏｎｙ　Ｒ．Ｇｒａｄｉｅｎｔ－ｌｉｋｅ　ｏｂｓｅｒｖｅｒｓｆｏｒ　ｉｎｖａｒｉａｎｔ　ｄｙｎａｍｉｃｓ　ｏｎ　ａ　Ｌｉｅ　ｇｒｏｕｐ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎＡｕｔｏｍａｔｉｃ　Ｃｏｎｔｒｏｌ，２０１０，５５（２）：３６７－３７７［７９］ Ａｒｉｅｓａｎｕ　Ｃ　Ｐ．Ａｎ　ｕｎｄｅｒａｃｔｕａｔｅｄ　ｄｒｉｆｔ－ｆｒｅｅ　ｌｅｆｔ　ｉｎｖａｒｉａｎｔｃｏｎｔｒｏｌ　ｓｙｓｔｅｍ　ｏｎ　ａ　ｓｐｅｃｉｆｉｃ　Ｌｉｅ　ｇｒｏｕｐ．Ｊｏｕｒｎａｌ　ｏｆ　ＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ，２０１２，２０１２：１－１４［８０］ Ｓａｃｃｏｎ　Ａ，Ａｇｕｉａｒ　Ａ　Ｐ，Ｈａｕｓｅｒ　Ｊ．Ｌｉｅ　ｇｒｏｕｐ　ｐｒｏｊｅｃｔｉｏｎｏｐｅｒａｔｏｒ　ａｐｐｒｏａｃｈ：Ｏｐｔｉｍａｌ　ｃｏｎｔｒｏｌ　ｏｎ　Ｔ　ＳＯ（３）／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　５０ｔｈ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄｅｃｉｓｉｏｎ　ａｎｄ　Ｃｏｎｔｒｏｌ　ａｎｄＥｕｒｏｐｅａｎ　Ｃｏｎｔｒｏｌ　Ｃｏｎｆｅｒｅｎｃｅ．Ｏｒｌａｎｄｏ，ＵＳＡ，２０１１：６９７３－６９７８［８１］ Ｋｏｂｉｌａｒｏｖ　Ｍ　Ｂ，Ｍａｒｓｄｅｎ　Ｊ　Ｅ．Ｄｉｓｃｒｅｔｅ　ｇｅｏｍｅｔｒｉｃ　ｏｐｔｉｍａｌｃｏｎｔｒｏｌ　ｏｎ　Ｌｉｅ　ｇｒｏｕｐｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｒｏｂｏｔｉｃｓ，２０１１，２７（４）：６４１－６５５［８２］ Ｓａｃｃｏｎ　Ａ，Ｈａｕｓｅｒ　Ｊ，Ａｇｕｉａｒ　Ａ　Ｐ．Ｏｐｔｉｍａｌ　ｃｏｎｔｒｏｌ　ｏｎ　ｎｏｎｃｏｍｐａｃｔ　Ｌｉｅ　ｇｒｏｕｐｓ： Ａ　ｐｒｏｊｅｃｔｉｏｎ　ｏｐｅｒａｔｏｒ　ａｐｐｒｏａｃｈ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　４９ｔｈ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄｅｃｉｓｉｏｎ　ａｎｄＣｏｎｔｒｏｌ．Ａｔｌａｎｔａ，ＵＳＡ，２０１０：７１１１－７１１６７期杨梦铎等：李群机器学习十年研究进展１３５５［８３］ Ｋｏｂｉｌａｒｏｖ　Ｍ，Ｃｒａｎｅ　Ｋ，Ｄｅｓｂｒｕｎ　Ｍ．Ｌｉｅ　ｇｒｏｕｐ　ｉｎｔｅｇｒａｔｏｒｓｆｏｒ　ａｎｉｍａｔｉｏｎ　ａｎｄ　ｃｏｎｔｒｏｌ　ｏｆ　ｖｅｈｉｃｌｅｓ．ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎＧｒａｐｈｉｃｓ，２００９，２８（２）：１－１４［８４］ Ｈｅ　Ｓｈｕ－Ｐｉｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｑｕａｎｔｕｍ　Ｇｒｏｕｐ　Ｃｌａｓｓｉｆｉｅｒ　ｉｎ　ＬｉｅＧｒｏｕｐ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２００８（ｉｎ　Ｃｈｉｎｅｓｅ）（何书萍．李群机器学习中的量子群分类器研究［硕士学位论文］．苏州大学，苏州，２００８）［８５］ Ｈｅ　Ｓｈｕ－Ｐｉｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ａ　ｓｙｍｍｅｔｒｉｃａｌ　ｌｉｎｅａｒ　ｔｒａｎｓｆｏｒｍｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｏｎ　ｑｕａｎｔｕｍ　ｇｒｏｕｐ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ２００７ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｇｒａｎｕｌａｒ　Ｃｏｍｐｕｔｉｎｇ．Ｓａｎ　Ｊｏｓｅ，ＵＳＡ，２００７：７２４－７２４［８６］ Ｈｅ　Ｓｈｕ－Ｐｉｎｇ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ａ　ｍｏｌｅｃｕｌａｒ　ｄｏｃｋｉｎｇ　ｄｒｕｇ　ｄｅｓｉｇｎａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｑｕａｎｔｕｍ　ｇｒｏｕｐ．Ｊｏｕｒｎａｌ　ｏｆ　ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅｓ），２００８，４４（５）：５１２－５１９（ｉｎＣｈｉｎｅｓｅ）（何书萍，李凡长．一个基于量子群的分子对接药物设计算法．南京大学学报（自然科学版），２００８，４４（５）：５１２－５１９）［８７］ Ｚｈｏｕ　Ｌｉ－Ｌｉ．Ｒｅｓｅａｒｃｈ　ｏｎ　Ｍａｐｐｉｎｇ　Ｍｅｃｈａｎｉｓｍ　ｏｆ　ＬｅａｒｎｉｎｇＥｘｐｒｅｓｓｉｏｎ［Ｍ．Ｓ．ｄｉｓｓｅｒｔａｔｉｏｎ］．Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２０１１（ｉｎ　Ｃｈｉｎｅｓｅ）（周丽丽．学习表达式的映射机制研究［硕士学位论文］．苏州大学，苏州，２０１１）［８８］ Ｚｈｏｕ　Ｌｉ－Ｌｉ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｒｅｓｅａｒｃｈ　ｏｎ　ｍａｐｐｉｎｇ　ｍｅｃｈａｎｉｓｍｏｆ　ｌｅａｒｎｉｎｇ　ｅｘｐｒｅｓｓｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５ｔｈ　ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｒｏｕｇｈ　Ｓｅｔ　ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　Ｔｅｃｈｎｏｌｏｇｙ．Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ，２０１０：２９８－３０３［８９］ Ｚｈｏｕ　Ｌｉ－Ｌｉ，Ｌｉ　Ｆａｎ－Ｚｈａｎｇ．Ｄａｔａ　ｄｉｍｅｎｓｉｏｎ　ｒｅｄｕｃｔｉｏｎ　ｂａｓｅｄｏｎ　ｃａｔｅｇｏｒｙ　ｔｈｅｏｒｙ．Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，２０１１，３８（９）：２４２－２４４，２４７（ｉｎ　Ｃｈｉｎｅｓｅ）（周丽丽，李凡长．基于范畴的数据降维方法．计算机科学，２０１１，３８（９）：２４２－２４４，２４７）［９０］ Ｂｅｎｇｉｏ　Ｙ，Ｃｏｕｒｖｉｌｌｅ　Ａ，Ｖｉｎｃｅｎｔ　Ｐ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｌｅａｒｎｉｎｇ：Ａ　ｒｅｖｉｅｗ　ａｎｄ　ｎｅｗ　ｐｅｒｓｐｅｃｔｉｖｅｓ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎＰａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１３，３５（８）：１７９８－１８２８［９１］ Ｒｉｆａｉ　Ｓ，Ｄａｕｐｈｉｎ　Ｙ，Ｖｉｎｃｅｎｔ　Ｐ，ｅｔ　ａｌ．Ｔｈｅ　ｍａｎｉｆｏｌｄ　ｔａｎｇｅｎｔｃｌａｓｓｉｆｉｅｒ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２５ｔｈ　Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎＮｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ．Ｇｒａｎａｄａ，Ｓｐａｉｎ，２０１１：２２９４－２３０２ＹＡＮＧ　Ｍｅｎｇ－Ｄｕｏ，ｂｏｒｎ　ｉｎ　１９８９，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ．ＬＩ　Ｆａｎ－Ｚｈａｎｇ，ｂｏｒｎ　ｉｎ　１９６４，ｐｒｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．ｓｕｐｅｒｖｉｓｏｒ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｄｙｎａｍｉｃ　ｆｕｚｚｙ　ｌｏｇｉｃ．ＺＨＡＮＧ　Ｌｉ，ｂｏｒｎ　ｉｎ　１９７５，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｅｒｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ａｎｄ　ｉｎｔｅｌｌｉｇｅｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ．Ｂａｃｋｇｒｏｕｎｄ　　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ（ＬＭＬ）ｆｏｃｕｓｅｓ　ｏｎ　ａｎｓｗｅｒｉｎｇｈｏｗ　ｔｏ　ｈａｎｄｌｅ　ｄｉｓｃｒｅｔｅ　ｄａｔａ　ｗｉｔｈ　ｃｏｎｔｉｎｕｉｔｙ　ｔｈｅｏｒｉｅｓ，ｈｏｗ　ｔｏｃｏｎｓｔｒｕｃｔ　ｍｏｄｅｌｓ　ｂｙ　ａ　ｓｍａｌｌ　ａｍｏｕｎｔ　ｏｆ　ｉｎｐｕｔ，ｈｏｗ　ｔｏ　ｄｅａｌｗｉｔｈ　ｕｎｓｔｒｕｃｔｕｒｅｄ　ｄａｔａ　ｉｎ　ｓｏｍｅ　ｓｔｒｕｃｔｕｒｅｄ　ｗａｙｓ　ａｎｄ　ｈｏｗ　ｔｏｓｏｌｖｅ　ｔｈｅ　ｎｏｎｌｉｎｅａｒ　ｐｒｏｂｌｅｍｓ　ｗｉｔｈ　ｌｉｎｅａｒ　ｍｅｔｈｏｄｓ．Ｔｈｅ　ｃｏｎｃｅｐｔ　ｏｆ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｗａｓ　ｆｉｒｓｔｐｒｏｐｏｓｅｄ　ｂｙ　ｔｈｅ　ｔｅａｍ　ｌｅｄ　ｂｙ　ｐｒｏｆｅｓｓｏｒ　Ｌｉ　Ｆａｎ－Ｚｈａｎｇ　ｉｎｔｅｒｎａｔｉｏｎａｌｌｙ．Ａｔ　ｐｒｅｓｅｎｔ　ｔｈｅ　ｔｗｏ　ｍａｉｎ　ｒｅｓｅａｒｃｈ　ｇｒｏｕｐｓ　ｗｈｏ　ｓｔｕｄｙｔｈｅ　ＬＭＬ　ａｒｅ　ｔｈｅ　ｔｅａｍ　ｌｅｄ　ｂｙ　Ｒｉｓｉ　Ｋｏｎｄｏｒ　ｏｆ　ＣｏｌｕｍｂｉａＵｎｉｖｅｒｓｉｔｙ　ａｎｄ　ｏｕｒ　ｔｅａｍ　ｌｅｄ　ｂｙ　Ｌｉ．Ｕｐ　ｔｏ　ｎｏｗ，ｗｅ　ｈａｖｅａｌｒｅａｄｙ　ｐｕｂｌｉｓｈｅｄ　ｔｗｏ　ａｃａｄｅｍｉｃ　ｂｏｏｋｓ，ｃｕｌｔｉｖａｔｅｄ　ｍｏｒｅ　ｔｈａｎ　３０ｇｒａｄｕａｔｅ　ｓｔｕｄｅｎｔｓ，ａｎｄ　ｈａｖｅ　ｗｏｎ　２ｐｒｏｖｉｎｃｉａｌ　ａｎｄ　ｍｉｎｉｓｔｅｒｉａｌｌｅｖｅｌ　ｔｅｃｈｎｏｌｏｇｙ　ａｗａｒｄｓ．Ｔｈｉｓ　ｐｒｏｊｅｃｔ　ｉｓ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｎａｔｕｒｅ　ＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ（Ｎｏｓ．６０７７５０４５，６１０３３０１３），Ｄｏｎｇ－ＷｕＳｃｈｏｌａｒ　Ｆｕｎｄｉｎｇ　ｏｆ　Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ（１４３１７３６０），Ｔｅｃｈｎｏｌｏｇｙ　Ｉｎｎｏｖａｔｉｏｎ　Ｔｅａｍ　ｏｆ　Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ（９０１１８００６），ｗｈｉｃｈ　ｒｅｐｒｅｓｅｎｔ　ｒｅｓｐｅｃｔｉｖｅｌｙ，Ｒｅｓｅａｒｃｈ　ｏｆ　Ｍａｃｈｉｎｅ　ＬｅａｒｎｉｎｇＮｅｗ　Ｍｅｔｈｏｄｓ　ｆｏｒ　Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ　Ｒｅｄｕｃｔｉｏｎ，Ｃｏｇｎｉｔｉｖｅ　ＭｏｄｅｌＢａｓｅｄ　Ｉｍａｇｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｈｅｏｒｙ　ａｎｄ　Ｋｅｙ　Ｔｅｃｈｎｏｌｏｇｙ，Ｒｅｓｅａｒｃｈ　ｏｆ　Ｌｉｅ　Ｇｒｏｕｐ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇａｎｄ　Ｃｏｇｎｉｔｉｖｅ　Ｓｏｆｔｗａｒｅ．Ｔｈｉｓ　ｐａｐｅｒ　ｓｕｍｍａｒｉｚｅｓ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｏｕｒ　ｒｅｓｅａｒｃｈｏｎ　ＬＭＬ　ｉｎ　ｒｅｃｅｎｔ　ｔｅｎ　ｙｅａｒｓ，ａｉｍｉｎｇ　ａｔ　ｐｒｏｖｉｄｉｎｇ　ａ　ｂｒｉｅｆｒｅｖｉｅｗ　ｓｏ　ｔｈａｔ　ｏｎｅ　ｃａｎ　ｕｎｄｅｒｓｔａｎｄ　ｔｈｅ　ｄｙｎａｍｉｃｓ　ｏｆ　ＬＭＬ　ｉｎ　ａｒｅｌａｔｉｖｅｌｙ　ｓｈｏｒｔ　ｐｅｒｉｏｄ　ｏｆ　ｔｉｍｅ．Ｔｈｅ　ｅｘｉｓｔｉｎｇ　ｒｅｓｅａｒｃｈ　ｒｅｓｕｌｔｓｉｎｃｌｕｄｅ　Ｌｉｅ　ｇｒｏｕｐ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌｓ，ｏｒｂｉｔｓ　ｇｅｎｅｒａｔｅｄａｌｇｏｒｉｔｈｍ　ｏｆ　ｌｅａｒｎｉｎｇ　ｓｕｂｓｐａｃｅ　ｉｎ　ＬＭＬ，ｃｏｖｅｒｉｎｇ　ａｌｇｏｒｉｔｈｍｉｎ　ＬＭＬ，Ｌｉｅ　ｇｒｏｕｐ　ｋｅｒｎｅｌ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，Ｌｉｅ　ｇｒｏｕｐｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，Ｌｉｅ　ｇｒｏｕｐ　ｄｅｅｐ　ｓｔｒｕｃｔｕｒｅｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，ｓｙｍｐｌｅｃｔｉｃ　ｇｒｏｕｐ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｉｎＬＭＬ，ｑｕａｎｔｕｍ　ｇｒｏｕｐ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｉｎ　ＬＭＬ，ｔｅｎｓｏｒｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，ｆｉｂｅｒ　ｂｕｎｄｌｅ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｉｎ　ＬＭＬ，ｃｏｎｎｅｃｔｉｏｎ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｏｎ　ｆｒａｍｅ　ｂｕｎｄｌｅ，ｓｐｅｃｔｒａｌｅｓｔｉｍａｔｉｏｎ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，Ｆｉｎｓｌｅｒ　ｇｅｏｍｅｔｒｙ　ｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ， ｈｏｍｏｌｏｇｙ　ｂｏｕｎｄａｒｙ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ａｎｄｃａｔｅｇｏｒｙ　ｔｈｅｏｒｙ　ｂａｓｅｄ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，ｅｔｃ．Ｔｈｅ　ｒｅｓｅａｒｃｈ　ｒｅｓｕｌｔｓ　ｓｕｍｍａｒｉｚｅｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｈａｖｅｆｏｒｍｅｄ　ｔｈｅ　ｐｒｅｌｉｍｉｎａｒｙ　ｔｈｅｏｒｅｔｉｃａｌ　ｆｒａｍｅｗｏｒｋ　ｏｆ　ＬＭＬ，ｗｈｉｃｈｎｏｔ　ｏｎｌｙ　ｅｎｒｉｃｈｅｓ　ｔｈｅ　ｎｏｖｅｌ　ｍｅｔｈｏｄｓ　ｏｆ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｂｕｔａｌｓｏ　ｐｒｏｖｉｄｅｓ　ａ　ｎｅｗ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｓｏｌｖｉｎｇ　ｃｏｍｐｌｅｘ，ｈｉｇｈｄｉｍｅｎｓｉｏｎａｌ　ａｎｄ　ｎｏｎｌｉｎｅａｒ　ｐｒａｃｔｉｃａｌ　ｐｒｏｂｌｅｍｓ．１３５６ 计　　算　　机　　学　　报２０１５年