第一章绪论

1.1控制理论发展概述

1.1.1控制理论

发展的三个阶段所谓自动控制,是指在无人参与的情况下,通过控制器使被控对象或过程自动地按照预定的要求运行⑴。自动控制理论和自动控制技术是人们在长期与自然界的斗争中,在科学研究和生产实践活动中产生和发展起来的。二战结束后,西方资本主义国家工业技术的蓬勃发展,以及数学、力学、物理学等基础学科的发展,共同构成了控制理论产生的客观基础。1948年,控制论的创始人、美国数学家维纳发表了划时代的著作:《控制论——关于在动物和机器中控制和通讯的科学》,为控制理论的发展奠定了坚实的基础[2]。

1954年,我国科学家钱学森的著作《工程控制论》所阐述的基本理论和观点,则奠定了工程控制论的基础[3]。控制理论一旦形成,又反过来对控制技术产生了巨大的影响和促进作用。可以毫不夸张地说,几乎所有当代的重大科技革新,如原子能技术、航天技术、电子计算机等都直接与控制理论紧密联系在一起。从控制理论发展的历史看,大致可分为经典控制理论、现代控制理论和先进控制理论三个阶段。

经典控制理论于20世纪初开始形成,并于20世纪50年代趋于成熟。它以传递函数为数学基础,在频域的框架内进行线性定常单输入单输出(SISO)系统的分析和综合。主要米用零极点分析法、Routh和Hurwitz稳定性判据、Nyquist图、Bode图和根轨迹法等。经典控制理论被广泛地用于解决一些实际的控制问题,已在随动控制系统、定值控制系统的分析与设计中取得了较好的效果,理论已趋于成熟,特别是PID控制被大量地应用到工业控制领域。现代控制理论是20世纪50年代末、60年代初开始形成,并伴随着航空航天、武器装备等复杂系统的控制发展而发展起来的。它以线性代数为数学基础,在时域的框架内进行线性多输入多输出(MIMO)系统的分析和综合。主要釆用能控性和能观性判据、Lyapunov稳定性判据、状态反馈和输出反馈、极点配置法、线性二次型最优控制等。现代控制理论能够解决某些多变量系统的控制问题,并可实现最优控制。但随着生产力的不断提高,对复杂非线性和不确定系统实行自动控制的要求不断提高,使得现代控制理论的局限性日益明显。在工业现场,按照现代控制理论设计的控制器的控制效果,有时甚至比PID控制器的控制效果还要差。这主要是因为,现代控制理论根本上是一种依赖于数学的方法,数学模型和控制算法过于理想化,缺乏人类思维的智能性,当遇到难以建立精确数学模型的复杂非线性系统时,往往无能为力。

先进控制理论起源于20世纪60年代中期,是对那些不同于常规单回路控制并具有比常规PID控制更好的控制效果的控制理论的统称,而非专指某种计算机控制理论[4,5]。通常这类控制,都要求有过程的数学模型,或带有人工智能的性质。由于先进控制的内涵丰富,同时带有较强的时代特征,因此,至今对先进控制还没有严格的、统一的定义。尽管如此,先进控制的任务却是明确的,即用来处理那些采用常规PID控制或串级控制不能满足过程要求,甚至无法进行自动控制的复杂工业过程控制的问题。通过实施先进控制,可以改善过程的动态和稳态性能、减少被控变量的波动幅度,使之能更接近于期望值,从而有可能实现卡边条件在线优化控制,最终达到增强系统运行的稳定性和安全性、保证产品质量的均匀性、提高系统的处理能力、降低运行成本和环境污染等目的。先进控制理论的典型代表是智能控制和预测控制。1965年,美籍华人傅京孙从控制论的角度总结了人工智能技术与自适应、自组织、自学习控制的关系,正式提出智能控制是人工智能技术与控制理论的一门交叉学科,标志着智能控制的诞生[6]。

在40多年的时间里,智能控制得到快速的发展,人工智能的大量研究成果与控制理论相结合,形成丰富多彩的智能控制策略,并广泛用于复杂的非线性和时变被控对象,在不同程度上解决了经典控制理论和现代控制理论无法处理的一些复杂非线性系统的控制问题。目前,智能控制己形成多种方法,其中最典型、应用最广泛的当属神经网络、模糊控制和专家系统三种。神经网络为非线性过程的建模提供有效的途径,并可用于过程软测量和建立基于神经网络的非线性对象逆模型,进而实施非线性自适应逆控制。模糊控制是一种基于规则的控制,采用语言型控制规则,基于相关领域的专家知识或现场操作人员的控制经验,且无需建立被控对象的精确数学模型,因而使得控制机理和控制策略易于接受、设计简单、便于应用,对那些精确的数学模型难以获取、内部的反应机理不易掌握或变化非常明显的对象非常适用。专家系统是一种模拟人类专家解决相关领域问题的计算机程序系统,它在生产过程的故障检测和故障诊断,以及控制回路和检测仪表的有效性检验等方面获得了成功应用。

20世纪70年代后期,在美、法等国的工业过程领域内出现了一类新型计算机控制算法,这类算法以对象的阶跃或脉冲响应为模型,采用滚动推移的方式在线地对过程实现优化控制,在复杂的工业过程中显示出良好的控制性能。

1978年,111(土&16〖1,1131111八&丁651113几,61&1在文献[7]中,首次详细阐述了这类算法产生的动因、机理及其在工业过程中的应用效果。从此,预测控制(又叫模型预测控制)作为这类新型控制算法的统一名称,便开始出现在控制领域中。最早的预测控制算法,有Mehra R K,Rouhani R & Rault A[8]提出的建立在脉冲响应基础上的模型算法控制(Model Algorithmic Control,MAC)、以及Cutler CR & Ramaker B L[9]提出的建立在阶跃响应基础上的动态矩阵控制(DynamicMatrix Control, DMC)。Clarke D W, Mohtadi C & Tuffs P 将最小方差控制与MAC、DMC中的多步预测优化策略结合,提出了广义预测控制(GeneralizedPredictive Control, GPC); Garcia CE&Morari M[ii]从结构的角度对预测控制作了更深入的研究,提出内模控制(Internal Model Control, IMC),并指出预测控制算法与这类控制结构有着密切的联系。因为本文主要研究一类基于支持向量机的预测控制,所以在下面对预测控制的基本原理作一简单的介绍。

1.1.2预测控制的基本原理

预测控制发展至今已经出现了上百种预测控制算法,各种预测控制算法尽管在模型、控制策略和性能上存在许多差异,但都是建立在预测模型、滚动优化和反馈校正三个基本原理基础上的预测模型的功能,是根据对象的历史信息和未来输入预测其未来输出。只要对未来输出作出预测,预测模型的结构和形式不受限制,因此,各种非参数模型、状态方程、传递函数,甚至数据集合等非数学模型都可以使用。预测模型是预测控制非常重要的一个特征,尤其是非线性预测控制系统,其控制性能的好坏很大程度上取决于所建立的非线性预测模型的性能。控制器根据系统的期望输出设定某一参考轨迹,通过优化某一性能指标来确定未来时刻的控制作用,使未来的预测输出轨迹最优地跟随参考轨迹。在每一采样时刻,优化性能指标只考虑从该时刻起的未来有限个时刻,而到下一时刻,这一优化时段同时向前推移。由此可见,预测控制的优化不是全局优化,而是在有限时域内的局部优化;优化不是离线进行,而是反复在线进行的,这就是滚动优化的含义,也是预测控制区别于传统最优控制的根本所在。由于实际系统不可避免地含有模型失配、噪声干扰等客观因素,基于不变模型的预测输出必定与实际输出有偏差,因此必须采用反馈校正,即在每一个采样时刻,控制器都要通过传感器测量得到的实际输出对模型的预测输出进行修正,在此基础上再进行新的优化。反馈校正的形式是多样的,可以在保存模型不变的基础上,对未来的误差作出预测并加以补偿;也可以根据在线辨识的原理直接修改模型。不管采用哪种校正形式,预测控制都把优化建立在系统实际的基础上,从而使滚动优化不但基于模型,而且利用了反馈信息,构成闭环优化。图1-1所示为预测控制基本原理图。图1-1中,《,>^,,>^文,5)-分别为:控制量、输出设定值、输出实际值、模型的输出预测值、反馈校正后的输出预测值。图1-1中的预测模型和滚动优化的形式不限,只要能够满足在线预测和实时优化的功能都可以采用。图1-1中的反馈校正采用最常用的一种形式,即将当前釆样时刻的预测误差视为下一时刻的预测误差并加以补偿。以单入单出对象的单步预测控制为例,若》jjc 1^-1)和Ik)分别是上一时刻和当前时刻的模型预测输出,>;(幻是当前时刻传感器检测得到的实际输出。因为工业现场不可避免地含有噪声干扰,以及未建模的高阶部分,这些都会带来建模误差,故上一时刻的建模误差为;&丨A:-i),将它作为当前时刻的建模误差的估计值,补偿到当前时刻的模型输出中作为反馈校正,则反馈校正后的当前时刻预测输出为⑷+X幻-j)? ⑷女-1) (1-1)它考虑了模型上一时刻的预测误差,显然比单纯依靠模型的预测输出+更加令人可信。^滚动优化 > 被控对象 >一 八’ +模型A ^反馈校正I! 1C _图1-1预测控制基本原理图近20年来,国内外对预测控制的理论和应用研究日趋广泛。当前预测控制已成为我国石油、化工、冶金、机械、生物、医药等过程工业中应用最成功的先进控制技术之一。需要指出的是,对于线性系统,预测控制已经取得了很好的控制效果,并已成功地应用于工业控制过程;但对于非线性系统,由于建模以及在线优化方面存在的困难,目前还是一个幵放的课题_。

1.2统计学习理论

1.2.1用于分类的支持向量机机器学习是人工智能的重要研究领域,它主要研究如何从观测数据中寻找规律,并利用这些规律对未来数据或无法观测的数据进行预测。现有机器学习方法的重要理论基础之一是统计学。但传统统计学的诸多结论,是在样本数目足够多的前提下得出的;所提出的各种方法和结论只有在样本数目趋于无穷大时其性能才有理论上的保证。但在实际问题中,样本数目常常有限,导致一些理论上很优秀的学习方法(例如神经网络)在应用中的泛化能力不能达到预期效果。与传统统计学的方法不同,统计学习理论(Statistical Learning Theory, SLT)是专门研究小样本情况下的模式识别方法[15_18]。乂3卩11丨1^和他的AT&T Bell实验室研究小组早在20世纪60年代就开始了统计学习理论的研究,将其作为一种针对有限样本的函数预测问题的纯理论工具,并相继提出VC维(Vapnik-ChervonenkisDimension)理论、结构风险最小化(Structural Risk Minimization, SRM)原则,有效克服了基于传统统计学的经验风险最小化(Empirical Risk Minimization,ERM)原则的缺点。VC维是统计学习理论定义的一个衡量函数集性能的指标,是统计学习理论的核心概念,对学习的一致收敛速度和推广性有重要的意义。其定义是:对于一个指示函数集,如果存在个样本能够被函数集里的函数按照所有可能的2"种形式分幵,则称函数集能够把/2个样本打散,函数集的VC维就是它能打散的最大样本数目/2。

如果对于任意的样本数,总有函数能打散它们,则函数集的VC维就是无穷大。VC维越大,学习机器的学习能力越强,但学习机器也越复杂。有界实值函数的VC维可以通过使用阈值将函数转化成指示函数来定义。目前还没有通用的关于计算任意函数集的VC维的理论,只对一些特殊函数集的VC维有所了解。因此对于给定的学习函数集,如何用理论或实验的方法计算其VC维是当前统计学习理论研究应解决的一个问题。根据统计学习理论中关于函数集推广性界的理论,对于指示函数集中所有的函数,经验风险和实际风险之间至少以概率1-7满足:‘)?⑷刚 (1-2)式中/2是函数集的VC维,《是样本数。从式(1-2)可知,学习机器的实际风险由两部分组成:经验风险和置信区间。后者即式(1-2)右边第二项,它不但与置信水平1-/7有关,而且与学习机器的VC维和训练样本数有关。为使在小样本情况下具有较好的推广能力,必须同时最小化式(1-2)右边的两项。第一项取决于函数集中的一个特定函数,第二项取决于函数集的VC维。VC维越小,置信区间越小,实际风险就越接近经验风险,再用较小的经验风险来保证较小的实际风险。因此,必须使VC维成为一个可控变量。

1974年,Vapnik等人利用一致收敛性的界,提出了 SRM原则。其基本思想是:首先把函数集构造为函数子集的序列,其中各子集按VC维大小排列;然后在每个子集中寻找最小经验风险,在子集间综合考虑经验风险和置信区间的平衡,以使实际风险最小化。遵循SRM原则的学习方法大致分为两个步骤:先在容许的结构中,选取有最佳VC维的函数子集使置信区间最小;再在选定的函数子集中选择使经验风险最小的函数。支持向量机(Support Vector Machine,SVM)是Vapnik等人根据统计学习理论提出的一种新的通用学习方法,它是建立在VC维理论和SRM原则基础上的,能较好地解决小样本、非线性、高维数和局部极小等实际问题,已成为机器学习的研究热点之一,并已成功地应用于分类、函数逼近和时间序列预测等方面。SVM是从线性可分情况下的最优分类面发展而来的。考虑图1-2所示的二维两类线性可分问题,空心点和实心点分别表示两类训练样本;H,为最优分类线;//,和丑3分别为过各类中离最优分类线最近的样本且平行于最优分类线的直线,它们之间的距离成为分类间隔(margin)。0 0H2會 泰 margin? \图1-2线性可分问题的最优分类面所谓最优分类线就是要不但能将两类样本正确分开,而且还要使margin最大。前者保证经验风险最小,后者则使置信区间最小,从而使实际风险最小。推广到高维空间,最优分类线就成为最优分类面。设线性可分样本集e {-1, l},兄是类别标号,分类面方程+ 6 = 0满足[(jv ? X,) + Z)] -1 > 0, / = 1,2,? ? ?,/ (1-3)这样分类间隔margin等于2/||vv||,因此使得margin最大等价于使||?v|最小。满足式(1-3)使|>^最小的分类面就是最优分类面,和//3上的训练样本就是支持向量,因为它们支撑了最优分类面。将上述问题表示为min 去llwfs.t. 20,/ = 1,2,…,/ (1-4)定义拉格朗日函数l{w,a?b) = hwf - Yu A[(…+ (1-5)上 /=1式中,a, d为拉格朗日乘子。可以将上述问题转化为对偶问题max X -去 X 乂少;U .Xj)/=1 」(J=1Is.t. =0,or; 2 0,/ = 1,2,...,/ (1-6)/=1问题(1-6)是一个二次规划问题,存在唯一解,且解中只有少部分a,.不为零,其对应的样本就是支持向量。最终得到的最优分类函数为fix) = sgn((H'? x) + = sgn ^a^y^{x,-x) + b (1-7)V 1=1 /式(1-7)中,《</是支持向量个数;A:,.是支持向量;a,.是对应的Lagrange乘子;b是分类阈值,可用两类中任意一对支持向量取中值求得。对于非线性分类问题,SVM通过非线性变换将其转化为某个高维空间中的线性分类问题,然后在这个高维空间寻求最优分类面。从式(1-6)和(1-7)可知,只有样本间的内积运算(X, 被涉及,因此在高维空间只需进行内积运算,而内积运算可通过原空间中的函数实现。只要核函数i:Oc, ?;C)满足Mercer条件,它就对应高维空间中的内积。因此,用满足Mercer条件的核函数代替式(1-7)中的内积,就可以实现非线性最优分类,其分类函数变为(n 、/(AC) = sgn Y,(^^y,K{x,-x) + b (1-8)V /=1 /总之,SVM就是通过某种事先选择的非线性映射,将输入向量映射到一个高维特征空间,在这个特征空间中构造最优分类超平面。式(1-8)所表示的SVM结构如图1-3所示。图1-3中,输入向量;c = (y,x2,…,x"),m是输入向量的维数;中间层有n个节点,《是支持向量的个数,且由图1-3可知,SVM分类函数与神经网络很相似,其输出是中间节点的线性组合,每个中间节点对应一个支持向量。不同之处是,神经网络的中间节点数要靠经验确定或实验试凑得到,如果选择不当会对网络性能产生很大影响;而SVM的中间节点数通过求解一个凸优化问题得到,理论上是最优的。