摘要：多元时序驱动建模方法是复杂系统故障预测和系统状态评估的一种有效途径，其中人工神经网络作为一种数据驱动的处理非线性问题的有效建模工具，近年来在处理多元时序建模这个问题上得到了较广泛的关注。从全流程的角度出发，首先，运用 k-近邻互信息方法对多元时序变量进行降维与相关性计算，从而选择特征变量；其次，提出了一种改进的趋势分析方法对系统的状态进行实时监测，并对系统运行状态进行有效细分；最后，针对系统潜在故障阶段，应用极限学习机(extreme learning machine, ELM)神经网络方法对其进行故障预测。通过对青霉素发酵过程(penicillin fermentation process)进行仿真实验，结果验证了所提方法的有效性。

关键词：极限学习机；互信息；故障预测；多元时序；趋势分析

引 言

随着过程工业生产规模不断扩大和生产要求不断提高，生产系统日益呈现出高度复杂化、大规模化和非线性化的特点，为了保证工业生产过程能安全可靠的运行，避免生产系统发生故障造成不必要的财产损失和人员伤亡情况，故要求系统在出现故障之前就能提供故障的检测和隔离。近年来，过程工业故障预测 [1-3] 已成为当前研究热点问题， 基于数据驱动的故障预测方法更是受到了国内广大学者的关注。 张正道等 [4-5] 提出了基于未知输入观测器和神经网络的非线性时间序列故障预报模型，通过对系统变量状态线性拟合达到故障预测的目的，但此方法只针对了单变量时序进行预测，忽略了多元变量时序的相关性问题。而系统的运行状态通常由多元相关时序共同决定，该多元时间序列随着时间推移可由系统运行累积得到。多元相关时序相比单变量时序包含了系统更多的动态信息，具有一定的信息确定性和完备性， 能更好地表征系统的运行状态。文献[6-7]从多元相关变量的角度出发对系统进行了故障预测，通过优化和改进预测模型提高了预测的准确度。同时一些学者针对系统的退化阶段进行了建模预测， Si 等 [8] 通过在时变系统中引入衰变因子，提出了一种基于动态证据推（dynamic evidentialreasoning，DER）算法，有效地解决了时变系统的动态融合问题。文献[9]提出了一种基于健康概率评估（health state probability estimation）故障预测方法，通过利用 SVM 分类器评价轴承退化阶段的健康状态概率，从而为系统提供一个长期的预测。

对于一些复杂的非线性系统而言，系统的整个运行周期可以划分为正常工作阶段、潜在故障阶段和故障阶段。有效地对系统运行状态进行分段，能更好地利用系统的动态机理信息对系统进行故障预测，有利于提高系统故障预测的准确度。一般情况下，系统主要处于正常运行状态，运行期间产生大量的正常数据，这类数据包含较少的故障信息，增加了实时在线监测的工作量；同时，数据量过多可能导致信息冗余，由此加大了系统建模的难度和预测模型的计算复杂度，使得模型预测精度和可靠度大幅度降低。

本文提出了一种基于多元时序驱动的全流程故障预测方法。首先，为了降低系统变量的维数，提高系统故障预测的精度，利用 k-近邻互信息方法对多元时序变量进行相关性选择，得到一组相关变量集；其次利用改进的趋势分析方法对相关变量集中的目标变量运行状态趋势进行监测，通过与正常情况下变量的运行趋势比较、分析确定目标变量发生突变的时刻并记录，定义此时刻对应的样本点为系统进入潜在故障阶段的突变点，将系统的正常运行阶段和潜在故障阶段进行区分；最后，提取系统在潜在故障阶段产生的数据并通过 ELM 神经网络进行故障预测。本研究以青霉素发酵过程为仿真对象，实验验证提出方法的有效性。

1 基于多元时序的全流程故障预测方法

1.1 基于 k-近邻互信息的相关变量

选择互信息 [10-11] 作为一种描述变量相关性的常用的方法， 能准确地表述出变量间线性、 非线性相关性。本文引用文献[12]中多提到的 k-近邻互信息方法对变量进行相关性提取。设 X={X 1 ,X 2 ,…,X M }为输入变量，Y 为输出变量(目标变量)，输入变量的维数用 M 表示。计算各输入变量与输出变量间的互信息 I(X i ,Y)，i=1,2,…,M。I(X i ,Y)= ϕ (k)−〈 ϕ (n x +1)+ ϕ (n y +1)〉+ ϕ (N) (1)式中，N、k 分别为样本数和近邻点数，设点X i 与第 k 个近邻点数的距离为 ε i ，则 n x 和 n y 表示点X i 距离 X 轴、Y 轴严格小于 ε i 的个数总和。 〈…〉表示对所有的变量取均值，即 ( )11NiE iN =∑ = ⎡ ⎤⎣ ⎦? ? 。ϕ (x) 为 Digamma 函数，可由式（ 2 ）迭代求出( )( ) ( )1 0.57725161 +1 x x xϕϕ ϕ⎧ = −⎪⎨+ =⎪ ⎩(2)考虑到输入变量 X i 和目标变量 Y 的相关性， 如果输入变量 X i 满足( ) ( ) , ,iI X Y I Y Y δ > (3)则可认为输入变量 X i 是目标变量 Y 的相关变量； 如果不满足式 (3) ， 则说明输入变量 X i 中包含了较少或者不包含关于目标变量 Y 的信息，可认为输入变量X i 与目标变量 Y 不相关，其中 δ ( δ ∈ [0,1]) 为相关性阈值， I(Y,Y) 表示目标变量 Y 的自信息量。 根据式(3)  可确定与目标变量 Y 相关变量 X i ，与目标变量 Y 一起可组成相关变量集合 F ， F={X i ,Y ∣I(X i ,Y)> δ I(Y,Y)} 。

1.2 改进的趋势

提取与分析方法为了快速判定系统是否进入到潜在故障阶段，采用趋势提取的方法对特征变量在线实时监测，通过分析变量趋势的斜率变化，确定系统是否进入潜在故障阶段。传统的趋势提取方法 [13-14] 主要分为 4个步骤：①在线数据的线性分段；②片段的分类，把片段分成 7 个有时间相关的趋势； ③ 分类片段的半定性转换； ④ 相邻片段的整合。 考虑到本次研究对象数据波动小的特点， 也为了减少算法的复杂度，对算法做以下简化和修改。假定某段数据经最小二乘法拟合得到的数学模型如下所示y(t)=p 0 (t−t 0 )+y 0 (4)式中， t 0 、 y 0 分别是起始时间和所对应的纵坐标值， p 0 为直线斜率。 由此可求得未来某时刻 (t 1 +k Δ t)曲线的外推值 ( )1ˆ y tk t + Δ( ) ( )1 0 1 0 0ˆ y tk t p t k t t y + Δ = + Δ − + (5)式中，Δ t 为采样时间， t 1 为未来某个时刻，k=1,2,3, …，外推值与真实值的误差为( ) ( ) ( )1 1 1ˆ e t k t y t k t y t k t + Δ = + Δ − + Δ (6)记 cusum(t 1 +k Δ t) 为 (t 1 +k Δ t) 时刻误差的累积和，则有( ) ( ) ( ) ( )( )1 1 110cusum cusum 1kjt k t t k t e t k te t j t=+ Δ = + − Δ + + Δ =+ Δ ∑(7)预 设 定 一 个 阈 值 参 数 th 1 ， 如 满 足| cusum ( t 1 +k Δ t )|< th 1 ，则认为 (t 1 +k Δ t) 时刻的数据能被此曲线模型所接受；如满足| cusum ( t 1 +k Δ t )|≥th 1 ，则从 t 1 +k Δ t 时刻开始，提取未来 10 个时刻的数据进行下一次曲线的拟合， 得到下一个线性片段，cusum 被重置为 0 ，进行下次判断。分段完成后，设相邻的两片段斜率分别为 p 1 、 p 2 ( 假设 p 1 >p 2 ) ，若满足1 2 1p p p α − > (8)则把相邻的两片段进行整合，得到整个信号的运行趋势，最后通过对趋势片段斜率的分析比较确定出系统的突变点，式 (8) 中 α ∈( 0 ～ 1 )。

1.3 ELM 神经网络故障预测

ELM 神经网络具有训练速度快、精度高，泛化能力强等特点，选用 ELM 构建故障预测模型，能有效地提高预测精度 [15-17] 。本文将 ELM 分别用于多元时间序列预测和故障识别两个部分，并通过子网 1 和子网 2 实现其功能。在进行多元时间序列预测时，子网 1 的输入输出层节点数可根据第 1.2 节得到的相关变量集 F 的维数确定，输入样本为集合 X( ) ( )( ) ( ) ( ) ( )111 1i isi ist tX Xn t n tX X⎡ ⎤⎢ ⎥= ⎢⎥⎢ ⎥+ +⎣ ⎦?? ? ??X (9)子网 1 实际输出为 O ={O 1 ,O 2 , … ,O s }, 训练时期望输出设为 O e 。( ) ( )( ) ( ) ( ) ( )11i isei ist p t pX Xn p t n p tX X⎡ ⎤ + +⎢ ⎥= ⎢⎥⎢ ⎥+ +⎣ ⎦?? ? ??O(10)式中， t 表示输入样本的起始时刻， n 为输入样本数， P 为预测步长， s 为子网 1 的输入层和输出层的节点数。故 障 识 别 部 分 ， 子 网 1  的 实 际 输 出O ={O 1 ,O 2 , … ,O s } 作为子网 2 的输入，子网 2 的隐含层节点数为 b ， 子网 2  的输出 y 1 ,y 2 , … ,y m 分别代表 m种故障类型。图 1 为将 ELM 同时用于多元时间序列预测和故障识别的模型结构。图 1 ELM 神经网络故障预测模型结构Fig.1 ELM neural network fault prediction model

2 实验仿真与结果分析

2.1 青霉素发酵过程

青霉素发酵过程由 Pensim 仿真平台模拟实现，其模型结构主要是由 Birol 等 [18-20] 根据前人的实验数据对 Bajpai  模型进行改进而来。 该模型可以模拟各种操作条件下生物量， CO 2 、青霉素、碳源、氧气和热量产生的浓度，其中生物量浓度作为青霉素生产过程中的一个关键变量，过程中所产生的数据已被广泛应用于过程的故障监控和预测。图 2 所示为青霉素发酵过程的流程图。青霉素发酵过程一共包括 15 个变量，如表 1所示。本研究中，取关键变量生物量浓度 (XV 7 ) 用于青霉素发酵过程的状态监测。图 2 青霉素发酵过程流程Fig.2 Flow diagram of penicillin fermentation process基于 Pensim 仿真平台的青霉素发酵仿真过程，实验仿真时间设定为 200 h ， 采样时间间隔为 0.04 h ，定义的故障类型如表 2 所示。

2.2 提取关键变量

正常操作情况，取 1000 组数据对相关变量进行选择。变量 7( 生物量浓度 ) 作为目标变量，其余14 个变量作为输入变量。在本实验中，设定 k- 近邻距离为 50 ，相关性阈值 δ =0.4366 ，互信息相关性分析结果如图 3 所示。从图 3 可以看出， 变量 5( 物料浓度 ) 、 变量 6( 溶氧浓度 ) 、变量 13( 产热 ) 、变量 14( 冷却水流量率 ) 与图 3 目标变量与各变量之间的互信息量Fig.3 Mutual information between target variable and othervariables表 3 各变量与目标变量的互信息Table 3 MI between target variable and other variables变量  互信息 I1  0.02012  0.02103  0.01024  0.01975  1.45356  1.04888  0.49979  0.850310  0.793111  0.021012  0.017613  1.167814  1.669315  0.0075目标变量 7( 生物量浓度 ) 的相关性比较强， 和目标变量一起组成相关变量集 F={XV 5 ， XV 6 ， XV 7 ， XV 13 ，XV 14 } 。各变量与目标变量的互信息如表 3 所示。2.3 趋势分析在线监测目标变量的变化趋势确定系统的运行状态，分别针对故障类型 1 ～ 3 分别做了仿真分析。设定阈值参数 th 1 =0.01 ，式 (8) 中参数 α=0.5 。图4 为系统正常目标变量趋势分析结果以及系统处于故障 1 、 2 、 3 时的目标变量趋势分析结果。针对故障类型 1 的目标变量趋势进行分析，由实验数据可得， 目标变量在第 2504 样本处， 也就是在时刻 t c1 =100.16 h 时发生了突变， 因此可认为系统在此时刻进入了潜在故障阶段，实验数据还得出了故障类型 2 和故障类型 3 的目标变量的突变时刻分别为 t c2 =100.24 h ， t c3 =100.12h 。为了更好地评价趋势分析的有效性以及对系统潜在故障阶段和故障阶段进行区分，在本研究中，取 TH= μ ± 3 σ 作为青霉素发酵仿真过程中的故障阈值，忽略系统对集合 F外其他变量和运行在滞后期的影响， 故障类型 1 ～ 3最先超过阈值控制线的变量分别为变量 5 ，变量 6和变量 13 ，发生故障时刻分别为 t f1 =104.32h 、t f2 =105.72h 、 t f3 =107.04h ，也就是说系统在发生故障1 ～ 3 时， 分别在时刻 t f1 ～ t f3 进入到了故障工作阶段。趋势分析方法带来的误差 e i (i=1,2,3) 可由式 (11) 求得cf100=100iiitet--(11)式中，数字 100 表示在仿真研究过程中加入干扰的时刻，由式 (11) 可计算得到 3 种故障类型的误差分别为 e 1 =0.0370 、 e 2 =0.0420 、 e 3 =0.0170 ， 3 种故障类型误差都在允许的误差范围内，由此验证了方法的有效性。2.4 ELM 预测和识别构建 ELM 神经网络预测模型， 从时刻 100 h 开始， 分别从故障类型 1 ～ 3 各取 500 组数据作为输入训练样本，取 44 组数据进行泛化，预测步长 P=6 ，预测模型神经网络结构为 5-100-5 。 本文分别以故障类型 1 和故障类型 2 的变量 6 为例做数据预测，预测如图 5 、图 6 所示。各故障的变量的预测均方根误差如表 4 所示。故障识别阶段，取突变点之后的 1500 组数据作为训练样本进行网络训练，网络输出节点数设定为 3 ， 分别对应 3 种故障类型， 隐含层节点数为 20 。图 5 故障 1 的变量 6 数据预测Fig.5 Data prediction of variable 6th of fault 1图 6 故障 2 的变量 6 数据预测Fig.6 Data prediction of variable 6th of fault 2表 4 各变量的均方根误差Table 4 RMSE of variables类型  变量 5  变量 6  变量 7  变量 13 变量 14故障 1  0.0413  0.0114  0.0404  0.0392  0.0369故障 2  0.0417  0.0036  0.0412  0.0328  0.0361故障 3  0.0021  0.0027  0.0017  0.0017  0.0016表 5 故障识别结果Table 5 Results of fault identification序号  Y 1  Y 2  Y 3  实验结果  实际情况1  1  0  0  故障 1  故障 12  0  0  0  正常  正常3  0  0  1  故障 3  故障 34  0  1  0  故障 2  故障 25  0  0  0  正常  正常6  0  1  0  故障 2  正常7  0  1  0  故障 2  故障 28  1  0  0  故障 1  故障 19  0  0  0  正常  正常10  0  1  0  故障 2  故障 211  0  0  0  正常  故障 312  1  0  0  故障 1  故障 1泛化样本由预测模型提供，本文随机取十二组预测数据进行泛化，泛化结果如表 5 所示。当网络输出0.8iY ≥ 时 (i=1,2,3) ，令 Y i =1 ，否则， Y i =0 。 1 表示系统出现故障， 0 表示无故障。从表 5 可以看出， 序号 6 和 11 识别结果出现了错误，分析其原因，可能是因为训练权值随机性和故障类型 3 数据变化不明显所致，但如果网络输出的判断条件改为 0.6iY ≥ ， 则序号 11 实验结果状态由正常→故障 3 。

3 结 论

本文从全流程的角度出发，提出了一种基于多元时序驱动的复杂过程故障预测方法。通过提取过程特征变量，提出改进趋势分析方法在线监测系统的运行状态，并提取系统潜在故障阶段的数据进行建模实现对系统进行故障预测。通过青霉素发酵过程的仿真结果表明， 所提方法满足在线预测的要求，能够至少提前 12 min 对系统故障做出预报， 给操作员提供了足够的反应时间，方便其及时检测到并排除故障，保证了复杂过程工业安全可靠的生产，具有重要的现实意义。

References[1]  Ai Hong(艾红), Zhou Donghua(周东华). Fault prediction approachfor dynamic system [J]. Journal of Huazhong University of Scienceand Technology: Natural Science Edition (华中科技大学学报：自然科学版), 2009, 37(1): 222-225[2]  Sun Qiang(孙强), Yue Jiguang(岳继光). Review on fault prognosticmethods based on uncertainty [J]. Control and Decision(控制与决策),2014, 29(5): 1-10[3]  Xu Yuan(徐圆), Liu Ying(刘莹), Zhu Qunxiong(朱群雄). A complexprocess fault prognosis approach based on multivariate delayedsequences [J]. CIESC Journal(化工学报), 2013, 64(12): 4290-4295[4]  Zhang Zhengdao(张正道), Hu Shousong(胡寿松). Fault predictionfor nonlinear time series based on unknown input observer [J].Control and Decision(控制与决策), 2005, 20(7): 769-772[5]  Hu Shousong(胡寿松), Zhang Zhengdao(张正道). Fault predictionfor nonlinear time series based on neural network [J]. ActaAutomatica Sinica (自动化学报), 2007, 33(7): 744-748[6]  Zhang Zhengdao(张正道), Cui Baotong (崔宝同). On-line faultprediction of system based on hiding semi Markov model [J]. Controland Decision(控制与决策), 2010, 25(12): 1853-1856[7]  De Carvalho A B, Pozo A, Vergilio S R. A symbolic fault-predictionmodel based on multiobjective particle swarm optimization [J].Journal of Systems and Software, 2010, 83(5): 868-882[8]  Si X S, Hu C H, Yang J B, et al. On the dynamic evidential reasoningalgorithm for fault prediction [J]. Expert Systems with Applications,2011, 38(5): 5061-5080[9]  Kim H E, Tan A C C, Mathew J, et al. Bearing fault prognosis basedon health state probability estimation [J]. Expert Systems withApplications, 2012, 39(5): 5200-5213[10] Herman G, Zhang B, Wang Y, et al. Mutual information-based methodfor selecting informative feature sets [J]. Pattern Recognition, 2013,46(12): 3315-3327[11]  Lü Ning(吕宁), Yu Xiaoyang(于晓洋). Fault diagnosis in TE processbased on feature selection via second order mutual information [J].CIESC Journal(化工学报), 2009, 60(9): 2252-2258[12] Liu Xiaoxin(刘晓欣). Correlation analysis and variable selection formultivariate time series based on mutual information [D]. Dalian ：Dalian University of Technology, 2013[13] Charbonnier S, Garcia-Beltan C, Cadet C, et al. Trends extraction andanalysis for complex system monitoring and decision support [J].Engineering Applications of Artificial Intelligence, 2005, 18(1): 21-36[14] Charbonnier S, Portet F. A self-tuning adaptive trend extractionmethod for process monitoring and diagnosis[J]. Journal of ProcessControl, 2012, 22(6): 1127-1138[15] Gao Guangyong(高光勇), Jiang Guoping(蒋国平). Prediction ofmultivariable chaotic time series using optimized extreme learningmachine [J]. Acta Physica Sinica(物理学报), 2012, 61(4): 1-9[16] Wong P K, Yang Z, Vong C M, et al. Real-time fault diagnosis for gasturbine generator systems using extreme learning machine [J].Neurocomputing, 2013, 128(3): 249-257[17] Peng Di( 彭 荻 ), He Yanlin( 贺 彦 林 ), Xu Yuan( 徐 圆 ), ZhuQunxiong(朱群雄). Research and chemical application of featureextraction based AANN-ELM neural network [J]. CIESC Journal(化工学报), 2012,63(9): 2920-2925[18] Liu Yi(刘毅), Wang Haiqing(王海清). Pensim simulator and itsapplication in penicillin fermentation process [J]. Journal of SystemSimulation(系统仿真学报), 2007, 18(12): 3524-3527[19] Birol G, Ündey C, Cinar A. A modular simulation package forfed-batch fermentation: penicillin production [J]. Computers &Chemical Engineering, 2002, 26(11): 1553-1565[20] Xiong Weili(熊伟丽), Wang Xiao(王肖), Chen Minfang(陈敏芳), XuBaoguo(徐保国). Modeling for penicillin fermentation process basedon weighted LS-SVM [J]. CIESC Journal(化工学报), 2012, 63(9):2913-2919