第40卷 计算机学报 Vol.402017论文在线出版号No.57 CHINESEJOURNALOFCOMPUTERS OnlinePublishingNo.57———————————————本课题得到国家自然科学基金(No.61440059)、国家自然科学基金重点项目(No.61533003)、国家杰出青年科学基金(No.61225016)、辽宁省自然科学基金(No.201602363)、国家留学基金委资助.张昭昭，男，1973年生，博士，副教授，主要研究领域为智能信息处理、神经网络结构优化设计.E-mail:zzzhao123@126.com. 乔俊飞，男，1968年生，博士，教授，博士生导师，主要研究领域为计算智能、智能特征建模和智能优化控制.E-mail:junfeiq@bjut.edu.cn.余文，男，1965年生，博士，教授，博士生导师，主要研究领域为神经网络、大数据、智能优化控制.E-mail:yuw@ctrl.cinvestav.mx.多层自适应模块化神经网络结构设计张昭昭1)乔俊飞2)余文3)1)(辽宁工程技术大学大学电子与信息工程学院学院，葫芦岛辽宁125105)2)(北京工业大学信息学部，北京100124)3)(墨西哥国立理工高级研究中心自动控制中心，墨西哥城，墨西哥07360)摘要 针对单一全互连前馈神经网络难以应对复杂问题及模块化神经网络应用时其结构难以确定的问题，本文基于脑式信息处理是采用无监督学习-半监督学习-监督学习的学习机制，以及大脑是由多个功能模块组成，每个功能模块中又包含多个子模块，大脑对信息的学习是有目的的选择不同功能模块中多个子模块协同学习的事实，提出一种多层自适应模块化神经网络结构设计方法。其实质是首先基于所有的训练数据采用概率密度峰值快速聚类算法确定训练数据的聚类中心，以此确定模块化神经网络中功能模块的个数，其次采用条件模糊聚类实现对每个功能模块中子模块的划分并确定每个子模块的训练样本集；功能模块中的每一个子模块采用训练误差峰值构造RBF网络的增长算法，该算法能根据分配来的训练样本自适应构建子模块结构；在子模块集成方面，采用基于距离测度的子模块集成方法，该方法能从不同的功能模块中选择不同的子模块对训练样本协同处理。本文提出的模块化神经网络结构设计方法只需要2个人工参数且学习速度提高了近10倍，在一定程度上实现了神经网络的黑箱效应。最后，文中基于人工数据集的复杂函数拟合问题、双螺旋分类问题以及真实数据集的回归问题进行了实验，并与当前国际流行的网络结构进行了对比，结果显示文中提出的模块化神经网络网络结构解决了全互连RBF网络难以应对的复杂问题，而且学习精度高，学习速度快，最终网络的泛化性能强。关键词 模块化神经网络；自适应；径向基函数；脑式信息处理；协同学习中图法分类号TP18论文引用格式：张昭昭,乔俊飞,余文,多层自适应模块化神经网络结构设计,2017,Vol.40,在线出版号No.57ZhangZhao-Zhao,QiaoJun-Fei,YuWen,StructureDesignofHierarchicalAdaptiveModularNeuralNetwork,2017, Vol.40,OnlinePublishingNo.57StructureDesignofHierarchicalAdaptiveModularNeuralNetworkZHANGZhao-Zhao1)QIAOJun-Fei2)YUWen3)1)(InstituteofElectronicandInformationEngineering,LiaoningTechnicalUniversity,Huludao125105)2)(FacultyofInformationTechnology,BeijingUniversityofTechnology,Beijing100124)3)(DepartmentofdeControlAutomatic,CINVESTAV-IPN,MexicoCityD.F.07360,Mexico)Abstract Modularneural networkisaneffectivemethodtosolvethecomplexproblemsthat themonolithicfullycoupledfeedforwardneural networks aredifficult tolearn. Themost difficult problemof themodularneuralnetworkdesignmethodnowfacingishowtodeterminethenumberoffunctionmodulesandthestructureof thesub-modules ineachfunctionmoduleunder theconditionof lackof thelearnedobjectsbackground网络出版时间：2017-05-06 12:15:20网络出版地址：http://kns.cnki.net/kcms/detail/11.1826.TP.20170506.1215.012.html2 计算机学报 2017年knowledge. Inthispaper, wepresentsahierarchical adaptivemodularneural networkstructuredesignmethodbased on the facts that the brain-like information process uses the mechanismof unsupervised learning,semi-supervised learning and supervised learning, and the brain networks demonstrate the property ofhierarchical modularity, withineachmoduletherewill beaset of functionmodules, andwithineachfunctiontherewill beaset of sub-modules, andthebrain-likeinformationlearningprocessingispurposeful toselectseveral sub-modules fromdifferent function module to collaboratively learning. In essence, firstly, aunsupervisedclusteringalgorithmnamedfastfindingofdensitypeaksclusteralgorithmisadoptedtoidentifytheclustercentersbasedonalltrainingsamples, thenthenumberofthefunctionmoduleandthetrainingsetofeachfunctionmodulecanbedetermined. Secondly, asemi-supervisedclusteringalgorithmnamedconditional fuzzyclusteringalgorithmisusedtodividethetrainingset ofeachfunctionmoduleintoseveral groupstodeterminethenumber of sub-modules ineachfunctionmodule. For eachsub-module, anincremental designof RBFnetworkalgorithmbasedontrainingerrorpeakisappliedtoconstructthestructureofsub-module, thisalgorithmcanadaptivelybuildthe structure of the sub-modules basedonthe trainingsamples that allocatedtothesub-modules. Insub-modulesintegration, asub-moduleintegrativeapproachbasedonrelativedistancemeasureisappliedwhichcanselectdifferentsub-modulesfromdifferentfunctionmodulestocollaborativelylearningthetrainingsamples. Themodular neural networkstructuredesignmethodwepresentedinthispaper solvestheproblemofhowtodeterminethenumberofsub-modulesandthestructureofthesub-modulesonthesituationoflackof thebackgroundknowledgeof thelearningobjects, moreover, thepresentedmodular neural networkdesignmethodrequiresonly2artificial parameters(Hithenumberofsub-modulesineachfunctionmodule, Kthemembershipdegreeoftrainingsamplestofunctionmoduletrainingsets)comparedwithothermodularneuralnetworkdesignmethods, andthelearningspeedincreasednearlyby10timescomparedwithmonolithicfullycoupledRBFneural network, therefore, theproposedmodularneural designmethodreallyachievestheblackboxeffectonneuralnetworkapplication.Attheendofthispaper,weevaluatetheproposedhierarchicalmodularneural networkonseveral benchmarkproblems, includecomplexfunctionfittingproblemanddoublehelixclassificationproblembasedonartificialdataset, andcomplexdataregressionproblemsbasedonrealdatasets.Theextensiveresultsshowthat themodular neural networkarchitectureproposedinthispaper cannot onlysolve the complexproblems that the fullycoupledRBFdifficult todeal with, but alsohas highlearningprecision,fastlearningspeedandhighgeneralizationability.Keywords hierarchicalmodularneuralnetwork;adaptive;RBFneuralnetwork;brain-likeinformationprocess;collaborativelearning1 引言全互连前馈神经网络的RBF网络以其结构简单、强大的非线性拟合能力，收敛速度快、不易陷于局部极小点、鲁棒性强等优点，已经广泛应用于信号处理、模式分类、工业控制、和非线性系统建模领域[1~4]。RBF神经网络应用的前提是网络的参数学习和结构设计算法[5]。目前为止，虽然国内外学者提出了许多RBF网络结构设计算法和网络学习算法[6]，然而，作为全互连前馈神经网络的RBF网络，依然很难摆脱有效应对高纬输入数据问题和大数据量复杂问题的窘境，即当RBF网络面对上述问题时不是学习效果不理想就是学习时间过长[7]。为克服全互连前馈神经网络的局限，许多学者根据人脑“功能分区”的事实，把模块化的概念引入到神经网络结构设计中来[8]。典型的模块化神经网络（ModularNeuralNetwork,MNN）有两种学习方式，一种是采用“分而治之”的策略，将一个复杂问题分解成多个相对简单的子问题，每个子模块都独立处理分配给自己的子问题，最后通过对各个子模块学习结果的集成而实现对整个复杂问题的求解[9]。这种学习方式的优点是能够学习复杂问题，缺点是对于分类边界数据的学习效果不理想；另一种模块化神经网络的学习方式不对任务进行分解，而是用多个不同结构的网络学习同一任务，最后将论文在线出版号No.57 张昭昭等：多层自适应模块化神经网络结构设计 3多个网络的学习结果进行集成。这种学习方式的优点是能够提高网络的学习精度和泛化性能，缺点是不能有效学习复杂问题。相对于单一全互连神经网络而言，模块化神经网络有很多优点：模型的复杂性低、鲁棒性和容错能力强、可扩展性强、计算效率高、学习能力和泛化能力强等[10]。正是由于模块化神经网络有如此多的优点，因此很快在各个领域得到了广泛的应用。Lu[11]提出了高斯零交叉最小最大模块化神经网络，该网络把训练样本空间分解为多个子模块，每个子模块处理的是一个仅包含两类训练样本的二分类问题。然而，该模块化神经网络会导致网络中产生大量的冗余模块，其学习的空间复杂度和时间复杂度是训练样本的平方[12]，这必然会浪费大量的存储空间和学习时间。Molina[13]提出一种辨识机器人手抓物体形状的模块化神经网络，Gradojevic[14]将模块化神经网络成功应用于期权定价问题。然而上述模块化神经网络的结构设计需要极强的专业领域知识。Tseng[15]采用遗传算法对模块化神经网络的子模块进行集成，该模块化神经网络中子模块的划分是对训练样本空间随机分类，然而，对于许多实际问题，尤其是分类问题，采用对训练样本随机划分的方法确定模块化神经网络中子模块的数量并不一定能有效提高模块化神经网络的学习性能[16]。薄迎春等[17]根据视觉系统工作原理提出了一种多模块协同参与的神经网络，该网络对于复杂问题具有极强的学习能力。然而，该网络子模块的确定采用K-means聚类算法，该聚类算法聚类结果对初始聚类中心的选择非常敏感，而且聚类的个数需事先人为确定[18]。最为重要的是，上述所有模块化神经网络中的子模块的结构在实际应用时必须事先人为确定，因此这些模块化神经网络在实际应用时不得不耗费大量的时间反复实验以确定合适的子模块结构。综上述，模块化神经网络结构设计存在以下几个问题：一是采用“分而治之”策略学习的模块化神经网络对分类边界信息学习效果不佳；二是在缺少学习对象专业领域知识的前提下，很难确定整个网络中的子模块数；三是子模块的网络结构也需要人为确定。近年来，神经网络结构设计逐渐向脑科学靠拢[19]，David和Clauset[20,21]指出人的大脑是由空间分布不同的多个功能模块组成，每个功能模块中又包含多个子模块，大脑对信息的处理是有目的的选择不同功能模块中的多个子模块协同完成。针对上述模块化神经网络结构设计中存在的问题，本文提出一种多层自适应模块化神经网络结构（HierarchicalAdaptiveModularNeuralNetwork,HAMNN），与传统模块化神经网络不同，HAMNN中包含多个功能模块，每个功能模块中又包含若干个子模块，每个子模块的网络结构由本身的学习任务自适应确定。需要指出的是，HAMNN具有两种学习策略，对于分类属性明确的训练样本将会在某个功能模块中选择一个子模块进行学习，而对处于分类边界的训练样本，则会由多个不同功能模块中的多个子模块协同完成学习任务。最后，本文通过基于人工数据集和真实数据集的回归问题和分类问题验证了HAMNN的性能。2 HAMNN结构本文所提HAMNN结构如图1所示。图1HAMNN结构框图如图1所示，HAMNN结构和学习方式明显区别于传统的模块化神经网络结构，其对信息的处理采取的是多级分层处理的方式。HAMNN由多个功能模块组成，每个功能模块中又有多个子模块。HAMNN的学习方式是：首先通过任务分配层对不同的训练样本选择HAMNN中不同功能模块中的一个子模块进行学习，然后对不同功能模块中子模块的输出进行优化选择和集成而得到最终的学习结果。需要指出的是，HAMNN中功能模块数和子模块的结构由训练样本本身自适应确定，不需要人为参与；其学习方式也不同于传统模块化神经网络，在HAMNN的学习过程中，就一个具体的训练样本而言，尤其是处于分类边界的数据，会由多个4 计算机学报 2017年不同功能模块中的子模块协同完成学习任务。在HAMNN中，每个具体的子模块为结构相对简单的RBF网络，其结构由任务分配层分配来的训练样本自适应构建，其任务是学习任务层分配来的训练样本。不失一般性，设HAMNN中第F个功能模块中第Hi个子模块的RBF网络结构为I-M-1（I个输入节点，M个隐节点，1个输出节点），分配给子模块Hi的第k个I维样本为xk=(xk,1,xk,2,...,xk,I)，则第Hi个子模块的输出为：, 01( )iMHk h h khO w w f== + å x （1）2( ) exp( )k hh khfs-= -c xx （2）其中，wh为第h个隐节点与输出节点的连接权值，w0为输出节点的偏置连接权值，ch和σh分别表示第h个隐节点的核函数中心和宽度。HAMNN结构设计过程包括：功能模块的划分、子模块的划分、学习过程中针对不同的训练样本如何选择不同功能模块中的子模块学习、子模块如何根据分配来的训练样本自适应构建自身的网络结构和子模块学习结果的集成。3 HAMNN结构设计3.1 功能模块的划分在缺乏学习对象背景知识的情况下，聚类算法常被用来确定模块化神经网络中的子模块的数量[22]。文[18]提出了一种根据数据点概率密度峰值的快速聚类算法，该算法的核心思想在于对聚类中心的刻画，认为聚类中心应该同时具备两个条件：一是本身的局部密度必须大，即它被局部密度均不超过它的邻居所包围；二是与其他局部密度更大的数据点之间的距离相对更远。该算法用两个参数ρi和δi描述聚类中心，其中ρi表示数据点i的局部概率密度，δi表示数据点i与其他具有更高局部密度数据点之间的最小距离。根据以上描述，设神经网络的训练样本集为S={(xk,yk),xk∈RI,yk∈R1,k=1, ,...,N}，对于S中的任意一个训练样本xi，ρi和δi的定义为：21exp ( )ij Ni jj icddr=¹= - å （3）:minj ii ijjdr rd>= （4）其中，dij=dist(xi,xj)表示样本xi和xj之间的欧式距离，dc>0表示截断距离。本文采用文[18]所提算法思想来确定训练样本的聚类中心，以实现根据训练样本空间分布划分HAMNN中功能模块的作用，具体算法描述如下。算法1.辨识训练样本的聚类中心1. 初始化及预处理给定训练样本集S={(xk,yk),xk∈RI,yk∈R1,k=1,...,N}；计算距离dij，并令dij=dji，i<j，i,j=1,...,N；将dij（共M=N(N-1)/2个）进行升序排列，得到序列d1≤d2≤…≤dM，令dc=df(Mt)，其中f(Mt)表示对Mt进行四舍五入后得到的整数；2. 根据式（3）计算ρi,(i=1,..,N)，并对ρi按照降序排列；3. 根据式（4）计算δi,(i=1,..,N)，并对δi按照降序排列；4. 令γi=ρiδi，并生成决策图以确定聚类中心。设上述聚类算法辨识出的训练样本集的聚类中心为{c1,c2,..,cF}，共F个聚类中心。基于上述聚类算法辨识出的聚类中心，每个聚类中心针对所有训练样本依据下式建立模糊集，则共有F个模糊集：2exp0.02k iikfæ ö- -= ç ÷ç ÷è øx c（5）其中，fik表示训练样本xk隶属于第i个模糊集的模糊隶属度。显然，在所有的训练样本中，若xk距离ci越近，则xk隶属于ci的隶属度就越大。由式（5）知，由于每个聚类中心都是针对所有的训练样本建立其模糊集，所以在HAMNN中就可根据训练样本的空间分布，划分出F个功能模块，且每个功能模块都有与其对应的训练样本集。如果设定一个模糊隶属度阈值，即该功能模块中的子模块只学习隶属度大于该阈值的训练样本，则每个功能模块中就有数量不等的训练样本，且每个训练样本也有可能隶属于多个不同的功能模块，尤其是处于分类边界的训练样本。3.2 功能模块中子模块的划分功能模块的划分初步实现了对训练样本的分割，但对于训练样本数量很多的复杂问题来说，分配给每个功能模块的训练样本绝对数量有可能还是很大。为进一步提高HAMNN的学习性能，对基于式（5）建立的F个功能模块所对应的F个训练样本模糊集进一步进行分割。对F个模糊集中的每一个模糊集，将该模糊集论文在线出版号No.57 张昭昭等：多层自适应模块化神经网络结构设计 5中的训练样本xk按照式（6）和式（7）进行条件模糊聚类[23]：21iikijkHk ijm k imfu==æ ö -ç ÷ç ÷ -è øåx vx v（6）( )( )2121Nijk kkij Nijkkuu===ååxv （7）其中，vij表示第i（i=1,..,F）个模糊集对应的第j（j=1,..,Hi）个训练样本模糊集的聚类中心，Hi表示第i个模糊集所对应的训练样本条件模糊聚类个数。U=[uijk]∈RF×Hi×N为第i个模糊集对应的训练样本条件模糊聚类的隶属度矩阵，其中uijk表示训练样本xk隶属于第i个功能模块中第j个子模块的隶属度，满足条件如下：1iHijk ikju f== å ,] 1 , 0 [ Îijku （8）采用上述对每个功能模块中训练样本的划分方法，就可将F个功能模块中的训练样本集划分为HT个样本子集，满足条件如下：1FT iiH H==å（9）对训练样本的两次划分方法如算法2描述。算法2.功能模块和子模块训练样本的划分1. 给定训练样本集S={(xk,yk), xk∈RI, yk∈R1,k=1,..,N}及算法1辨识出的训练样本集聚类中心{c1,c2,..,cF}，设每个功能模块训练样本集条件模糊聚类的个数为Hi，i=1,..,F，即每个功能模块中有Hi个子模块；2. 根据式（5）计算fik，k=1,..,N；3. 根据式（6）计算uijk，j=1,..,Hi；4. 根据式（7）修正第i个功能模块中第j个子模块训练样本聚类中心；5. 计算新聚类中心与旧聚类中心的距离，若满足条件则条件模糊聚类结束，否则转步骤3。经上述算法对训练样本集的两次划分，则可以在HAMNN中划分出F个功能模块（用FMi表示第i个功能模块，i=1,..,F），每个功能模块中又划分出数量不等的Hi个子模块（用SMij表示第i个功能模块中的第j个子模块，j=1,..,Hi），且每个子模块都有其对应的训练样本集。3.3 功能模块中子模块的选择依照上述对神经网络训练样本集的划分方法，则每个训练样本与功能模块中每个子模块之间都存在一定的隶属关系。如果训练样本xk与第i个功能模块中的第j个子模块SMij距离比较近，则xk隶属于SMij的可能性就大。我们采用相对距离测度的方法来度量xk隶属于SMij的程度。构建性能指标函数如下；iHi ij ijjJ wd =å ；11iHijjw== å ， ] 1 , 0 [ Îijw （10）k ijijijdda-=x v，11ijNij m ijm ijdaN== - åx v （11）其中，daij为子模块SMij中所有训练样本与该子模块聚类中心间的平均距离，dij为训练样本xk与子模块SMij的相对距离测度，Nij为子模块SMij训练样本总数，wij为训练样本xk隶属于子模块SMij的隶属度。依据式（10）和（11），则每个功能模块中的每个子模块对训练样本xk的隶属度wij可通过下式计算得到：1ij1 , 0.1, 0.1iijij ijijHjdd wdd== ìïæ öïç ÷ ïç ÷=íè ø¹ïæ öïç ÷ç ÷ ïè ø îå（12）由式（12）知，相对距离测度dij越大，则子模块SMij的wij越小，即训练样本xk隶属于子模块SMij的隶属度就越小；反之则训练样本xk隶属于子模块SMij的隶属度就越大。采用最大隶属度法，就可以在每个功能模块中选择出一个最适合学习该训练样本的子模块，此时每个功能模块的输出实际上就是该功能模块中被选中的子模块的输出。由功能模块的划分过程可知，xk有可能距离某个或某几个功能模块的聚类中心很远，采用上述方法仍然会在该功能模块中选择出一个子模块来学习该训练样本。为提高HAMNN的学习速度和精度，需要对所有选中的子模块再进行一次选择。对于第一次选中的子模块构建性能指标函数：Fi iiJ wd =å ，11Fiiw== å ， ] 1 , 0 [ Îiw （13）6 计算机学报 2017年k iiidda-=x c，11iNi k ijidaN == - åx c （14）其中，di为训练样本xk对功能模块FMi的相对距离测度，dai为隶属于功能模块FMi的所有训练样本与该功能模块聚类中心间的平均距离，Ni为功能模块FMi中训练样本的总数，ci表示功能模块FMi所对应的聚类中心。依据式（13）和（14），则功能模块中被选中可以学习训练样本xk的子模块的集成权值wi就可通过下式计算得到：11, 0.1, 0.1iiiiFdw ddd== ìïæ öïç ÷=íè ø¹ïæ öïç ÷ïè ø îåii（15）由式（15）知，若训练样本xk距离某个功能模块FMi的聚类中心ci越远，则该功能模块中被选中的子模块的集成权值wi就越小，即表明该功能模块中的子模块不适合对训练样本xk进行学习，反之则适合。为此，我们可以设置一阈值K，当wi>K时，每个功能模块中被选中的子模块才参与对训练样本xk的学习。每个功能模块中子模块的选择算法为：算法3.功能模块中子模块的选择1.依据算法2划分的每个子模块的训练样本集及聚类中心。根据式（10）、（11）和（12）计算每个功能模块中不同子模块对训练样本xk的进行学习的隶属度值wij；2. 采用最大隶属度法从每个功能模块中选择一个最适合学习训练样本xk的子模块；3. 根据式（13）、（14）和（15）计算被选中的子模块学习训练样本xk的集成权值wi；4. 对选择的子模块进行筛选，设置阈值K，选择wi>K的子模块学习训练样本xk。采用上述功能模块中子模块的选择算法，设置合适的阈值K，则对于给定的训练样本xk，该算法就会根据xk在训练样本空间中的分布而从不同的功能模块中选择数量不等的子模块协同学习。3.4 功能模块中子模块结构的自适应设计HAMNN中不同功能模块中的子模块为RBF网络，根据训练样本设计RBF网络结构一直是RBF网络应用的难题。文[24]对Levenberg-Marquardt算法进行了改进，在此基础上，文[6]提出一种根据训练误差峰值构建RBF网络结构的ErrCor算法，该算法能够根据训练样本本身设计出结构最为紧凑的RBF网络。Levenberg-Marquardt算法参数更新规则为：11( )k k k k km-+= - + Δ Δ Q I g （16）其中，Δ表示RBF网络中的可调参数（RBF隐节点核函数的中心c、宽度σ及RBF网络隐节点与输出节点的连接权值w）；Q为Quasi-Hessian矩阵；I为单位矩阵；μ为组合系数；g为梯度向量。通过对Subquasi-Hessian矩阵求和就可计算出Quasi-Hessian矩阵Q：1;PTp p p pp== = å Q q q j j （17）对子梯度向量ηp求和则可计算出梯度向量g：1;PTp p p ppe== = å g η η j （18）设RBF网络训练误差ep为：p p pe y o = - （19）其中，yp为RBF网络期望输出，op为RBF网络实际输出。Jacobian矩阵行元素jp可根据下式计算：,ppnne ¶=¶Dj （20）依据式（19）和（20），则Jacobian矩阵中行元素值为：0 1 1,1 1,[ , ,p p p p p pph H ie e e e e ew w w w c c¶ ¶ ¶ ¶ ¶ ¶=¶ ¶ ¶ ¶ ¶ ¶j L L L L1, ,1 , , ,1p p p p pI h hi hI He e e e ec c c c c¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶L L L L L, , 1, ]p p p p pHi HI h He e e e ec c s s s¶ ¶ ¶ ¶ ¶¶ ¶ ¶ ¶ ¶L L L （21）依据式（1），（2）和（19），设参与训练的p个训练样本为Xp，根据微分链式法则，则式（21）Jacobian矩阵中行元素的值为：论文在线出版号No.57 张昭昭等：多层自适应模块化神经网络结构设计 7( )ph phewj¶=-¶X ，01pew¶=-¶（22）, ,,2 ( )( )p h h p pi hihi he w x ccjs¶ -=-¶X（23）22( )h h p p hph hw e js s- ¶=-¶X X c（24）对参与训练的所有训练样本，依据式（22）~（24），可计算出Jacobian矩阵jp的所有行元素，进而依据式（17）和（18）分别求得Quasi-Hiessian矩阵Q和梯度向量g，最后根据式（16）对RBF网络中三个可调参数进行调整。RBF网络结构设计的思想是在每次迭代计算后，根据（19）计算出迭代运算后的最大误差，在误差曲面的最大误差处增加一个隐节点，以补偿当前RBF网络学习误差曲面最大误差。该算法详细请参考文献[6]。依照上述学习算法和RBF网络结构增长算法，在HAMNN中，每个功能模块中的子模块都能根据任务分配层分配来的训练样本自适应构建自身的网络结构，不需要人工参与。3.5 子模块学习结果的集成设训练样本为xk，每个功能模块中被选中学习该训练样本的子模块的集成权值为w=(w1,..,wF)，若wi小于设定的阈值K，则令wi=0，并对w进行归一化处理，则HAMNN的集成输出为：1Ci iiY wO==å （26）其中，C表示经过二次选择，最终参与样本xk学习的子模块的个数；Oi表示被选中的第i个子模块的输出，如式（1）所示。4 性能评估为了验证HAMNN的性能，选取典型回归问题、双螺旋分类问题和基于实际数据集的回归问题进行实验。为便于性能比较，选择RMSE（RootMeanSquareError，RMSE）为性能比较参数：211PppRMSE eP== å （26）其中，p为样本个数，ep为学习误差或测试误差。实验中的ErrCor算法和HAMNN算法的代码均由我们自己实现，基于真实数据集的仿真实验是每种算法各独立运行30次并将最佳平均结果进行的汇总。实验的环境是：Window1064-bit，IntelCorei7-2600CPU@3.4-GHz, 8-GBRAM。仿真软件为Matlab2012。4.1 人工数据回归问题本实验的目的在于检验HAMNN功能模块划分的准确性及对复杂非线性函数的建模性能。选取典型非线性函数如下：21( , ) exp( 1 6 9 )30zxy x x = -- -3 5 2 2(0.6 27 243 )exp( 9 9 ) x x y x y - - - - -2 2 2(0.3 1.8 2.7 )exp( 1 6 9 9 ) x x y x y + - + -- - -（27）与其他实验方法不同，该实验的训练样本不是在x,y∈(-1,1)内随机产生均匀分布的训练样本，而是以高斯分布在其定义域内分别产生5个不同区域的训练样本((x,y),z(x,y))共2000个。仿真时设置K=0.1，每个功能模块中子模块的个数均为3。图2所示为本实验训练样本分布图；图3所示为任务分配层的聚类算法在训练样本空间内根据其空间分布所确定的聚类中心，从图3可以看出，有5个训练样本的局部概率密度与最小距离乘积之值最为突出，表明该聚类算法确实能够根据训练样本的空间分布准确识别聚类中心；图4所示为1000个测试样本的测试效果，该测试曲面非常平滑，验证了本文所提子模块选择和子模块集成算法的有效性，最终测试RMSE为0.0052。为了验证本文所提HAMNN同传统MNN的区别，采用同样的训练样本集和测试样本集，我们构造了一个传统MNN，其方法是采用K-means聚类算法对训练样本进行“硬分类”，分类类别数同HAMNN子模块数量相等，共15个分类。对每个分类采用ErrCor算法分别构建相应的子模块。测试时，距离测试样本最近的聚类中心所在的子模块的输出为传统模块化神经网络对该测试样本的输出，最终测试RMSE为0.0097。图5所示为传统MNN的测试输出曲面，从该图可以看出，传统MNN学习时很难避免分类边界出现“突变”现象，这也进一步表明，本文所提HAMNN对分类边界数据采取模糊处理、协同学8 计算机学报 2017年习的策略确实能够提高对分类边界数据的处理能力。针对同样的问题，文[6]用有20个隐节点的全互连RBF网络，最终测试样本的测试RMSE为0.0141，因此本文所提HAMNN不仅具有很强的拟合能力，而且最终网络具有更强的泛化性能。图2训练样本分布图 图3HAMNN任务分配层确定的聚类中心-1-0.500.51-1-0.500.51-1-0.500.51xyHAMN经网络输出图4HAMNN测试样本输出曲面图 图5传统模块化神经网络测试样本输出曲面图表1给出了本次试验HAMNN最终结构以及每个子模块的训练样本数，从表1可看出，每个功能模块中的子模块只学习分配到该功能模块的部分训练样本，且每个子模块都能根据所分配来的训练样本自适应构建自身的网络结构。表2所示为HAMNN同其他典型神经网络结构设计算法GAP[25]、MRAN[26]、RAN[27]、SVR[28]、I-ELM[29]、CI-ELM[30]、EI-ELM[31]、ErrCor[6]针对同一回归问题的性能比较。从该表可以看出，尤其同文[6]所提ErrCor算法相比较，虽然测试时间比ErrCor长，但无论是网络的训练时间、学习精度，还是最终网络的泛化性能，HAMNN均优于ErrCor算法。究其原因，是由于HAMNN对训练样本进行了两次划分，使得每个训练样本空间聚集区域都有对应的不同功能模块中的多个子模块协同处理，因此每个子模块处理的训练样本相对较少，进而使得HAMNN学习和网络结构构建的时间就短很多，这不仅能够提高HAMNN的学习速度，也有助于提高HAMNN的学习精度和泛化性能。表1 HAMNN结构及训练样本分布子模块1隐节点数子模块2隐节点数子模块3隐节点数子模块1训练样本数子模块2训练样本数子模块3训练样本数功能模块1 7 11 7 324 408 289功能模块2 6 11 13 278 316 415功能模块3 8 6 7 333 339 246功能模块4 7 9 13 266 311 369论文在线出版号No.57 张昭昭等：多层自适应模块化神经网络结构设计 9功能模块5 6 12 7 302 373 304表2 HAMNN同其他典型神经网络学习算法性能比较算法 训练时间（s） 训练RMSE 测试时间（μs） 测试RMSEGGAP 24.808 0.0265 54.16 0.0265MRAN 78.572 0.0458 52.5 0.0490RAN 45.514 0.0671 112.2 0.0686SVR 0.2552 0.0346 2496 0.0361I-ELM 0.5509 0.0831 239.0 0.0361CI-ELM 0.5597 0.1356 239.0 0.1378EI-ELM 5.3991 0.0728 239.0 0.0755ErrCor 48.530 0.0141 23.90 0.0141HAMNN 28.216 0.0122 31.12 0.00524.2 双螺旋分类问题双螺旋分类问题由两条相互缠绕的螺旋线构成，每条螺旋线对应一个分类。由于两条螺旋线相互缠绕，即分类之间重叠，因此该问题是最困难的模式分类问题之一，也是评估神经网络结构或学习算法性能的基准问题，训练样本产生方式如下：/16 i q p =´6.5 (104 )/104 r i = ´ -sin( ) x r q = ´ （28）cos( ) y r q = ´实验时，产生388个训练样本点分属于两个点集。测试样本对为17161个。本文所提HAMNN任务分配层将训练样本集划分为3个功能模块，仿真时设置K=0.1，每个功能模块中子模块个数均为2。图6~图11所示为本次实验中HAMNN中6个子模块针对各自分配的训练样本的学习情况（图中○和●分别表示双螺旋分类中的两种不同类别，☆表示子模块学习结束后RBF隐层神经元的中心，虚线包围区域表示子模块对这部分训练样本的学习效果）。从这6个图中可以看出这几个事实，一是每个子模块都能够准确的实现对所分配来的训练样本的分类识别；二是本文所提训练样本分割方法能够根据训练样本的空间分布将训练样本分配到不同的功能模块和子模块。仔细观察6个子模块的训练样本分布，每个子模块学习的训练样本都没有相互缠绕现象，即每个子模块的学习任务相对比较简单，这表明本文所采用的对训练样本的划分方法确实能够准确的将复杂的任务分解为多个简单的子任务；三是每个子模块都能够根据分配来的训练样本自适应构建自身的网络结构，不需要人为确定子模块的网络结构。从这6个子模块的学习结果图还可以看出，不同子模块的训练样本之间有部分重叠的现象，这是由于本文所提训练样本分割方法采用模糊决策的方法，该方法能够使得训练样本分类边界的数据能够由不同功能模块中的多个子模块协同处理，这不仅有助于提高网络对分类边界数据的学习精度，也有助于提高网络的泛化性能。学习结束后，6个子模块RBF网络隐节点数分别为14、14、17、12、16、13。而针对同样的问题，文[6]RBF网络中隐节点数为20，文[32]RBF网络中隐节点数为74，文[33]RBF网络隐节点数为70，文[34]RBF网络隐节点数为64。由前述知，由于HAMNN对大多数类别属性明确的训练样本只选择一个功能模块中的子模块进行学习，只有处于分类边界的训练样本才会从选择多个不同功能模块中的子模块协同学习，因此，本文所提HAMNN网络具有更强的学习能力。图12所示为HAMNN对17161个测试样本的测试效果图，HAMNN对这些测试样本的分类正确率达到99.27%，表明本文所提方法设计的HAMNN网络具有很强的泛化性能。10 计算机学报 2017年图6HAMNN中子模块1学习结果图7HAMNN中子模块2学习结果 图8HAMNN中子模块3学习结果图9HAMNN中子模块4学习结果 图10HAMNN中子模块5学习结果论文在线出版号No.57 张昭昭等：多层自适应模块化神经网络结构设计 11图11HAMNN中子模块6学习结果 图12HAMNN测试样本输出4.2 实际数据回归问题为验证HAMNN对实际数据回归问题的处理能力，我们在UCI实际数据集上选择具有训练样本数量大、输入维数高的7种数据集，并在7种真实数据集上将HAMNN与典型RBF网络算法RAN、MRAN和ErrCor算法进行了比较，实际数据集详细情况见表3。在本实验中，所有数据集的输入都归一化到[-1,1]区间，所有数据集的输出都归一化到[0,1]区间。几种算法的训练/测试RMSE见表4。从表4可以看出，HAMNN在所有数据集上的测试RMSE都比其他几种算法小，表明HAMNN具有更好的泛化性能。表5汇总了几种算法的时间消耗，从表5可以看出，HAMNN算法的训练速度明显快于ErrCor和其他算法，考虑到HAMNN是模块化设计，每个模块其实都可以独立训练，因此，虽然HAMNN子模块结构设计算法也采用的是ErrCor算法，但针对同样的问题，HAMNN至少比ErrCor算法快近10倍。从表4还可以看出，HAMNN算法的测试时间稍长于ErrCor算法，这是由于在测试样本测试时，HAMNN算法需要采用模糊策略从不同的功能模块中选择子模块的缘故。表3实际数据回归数据集信息数据集 训练样本 测试样本 输入维数Abalone 2000 2177 8Deltaailerons 3000 4129 5Deltaelevators 4000 5517 6Computeractivity 4000 4192 8Census 10000 12784 8Bankdomains 4500 3692 8Californiahousing 8000 1246 8表4几种算法的RMSE比较数据集RAN的RMSE MRAN的RMSE ErrCor(RBF)的RMSE HAMNN的RMSE训练样本 测试样本 训练样本 测试样本 训练样本 测试样本 训练样本 测试样本Abalone 0.0931 0.0978 0.0836 0.0837 0.0758 0.0765 0.0492 0.0501Deltaailerons 0.0514 0.0552 0.0461 0.0495 0.0418 0.0431 0.0272 0.0280Deltaelevators 0.0678 0.0733 0.0617 0.0630 0.0551 0.0573 0.0359 0.0375Computeractivity 0.0610 0.0649 0.0552 0.0571 0.0493 0.0507 0.0306 0.0328Census 0.0851 0.0905 0.0830 0.0857 0.0692 0.0707 0.0444 0.0461Bankdomains 0.0545 0.0579 0.0531 0.0623 0.0443 0.0452 0.0289 0.0294Californiahousing 0.1154 0.1434 0.1126 0.1407 0.0938 0.1012 0.0600 0.0655表5几种算法的时间比较数据集RAN时间(秒) MRAN时间(秒) ErrCor(RBF)时间(秒) HAMNN时间(秒)训练样本 测试样本 训练样本 测试样本 训练样本 测试样本 训练样本 测试样本12 计算机学报 2017年Abalone 105.17 4.13e-4 255.80 1.05e-4 4.808 3.59e-6 2.070 4.88e-6Deltaailerons 114.12 4.50e-4 278.57 1.14e-4 5.219 3.91e-6 3.760 5.92e-6Deltaelevators 131.46 5.41e-4 319.75 1.37e-4 5.997 4.70e-6 3.902 5.81e-6Computeractivity 120.94 4.96e-4 284.17 1.26e-4 5.519 4.31e-6 3.153 5.65e-6Census 241.89 1.02e-3 568.34 2.58e-4 11.06 8.82e-6 7.480 7.11e-5Bankdomains 147.55 5.62e-3 358.12 1.43e-3 6.750 4.87e-5 4.330 5.17e-5Californiahousing 212.44 8.97e-3 516.72 2.03e-3 9.710 6.92e-5 7.422 9.19e-55 结束语针对全互连RBF网络难以应对大数据量的复杂问题，以及模块化神经网络应用时结构难以确定的问题，本文从脑式信息处理的角度出发，提出一种多层自适应模块化神经网络结构，该网络首先采用根据训练样本空间分布的概率密度峰值快速聚类算法确定HAMNN中的功能模块数，在此基础上，用条件模糊聚类将分配到各功能模块中的训练样本进一步分割以确定每个功能模块中的子模块数；对于每一个子模块，采用根据训练误差峰值构造RBF网络的增长算法，该算法能够根据分配来的训练样本自适应构造自身的网络结构，不需要人工参与；在HAMNN的学习过程中，对于每一个训练样本，通过基于距离测度的子模块集成方法，选择不同功能模块中的子模块协同学习，以提高HAMNN的学习速度和泛化性能。通过人工数据集和实际数据集的回归问题和分类问题的仿真实验可以看出，本文所提数据分割方法能够准确有效的将神经网络的训练样本根据训练样本的空间分布进行分割；HAMNN的学习精度以及最终网络的泛化性能均优于其他经典的学习模型，尤其是其学习速度比ErrCor算法提高近10倍；相对于其他模块化神经网络结构设计方法，HAMNN网络结构要求人为设置的参数仅有2个，在一定程度上实现了神经网络的黑箱效应，这无疑为HAMNN网络的实际应用提供了有效的途径。参考文献[1] Lei Xu, FangQian, YapingLi, QianmuLi, YuwangYang, JianXu.ResourceallocationbasedonquantumparticleswarmoptimizationandRBFneural network for overlay cognitive. Neurocomputing, 2016,173(3):1250-1256[2] TaoXiong, YukunBao, Zhongyi Hu, RaymondChiong. Forecastinginterval timeseries usingfullycomplex-valuedRBFneural networkwithDPSOandPSOalgorithms. InformationSciences, 2015, 305(1):77-92[3]LiuQuan, XiaoFei, FuQi-Ming, FuYu-Chen, ZhouXiao-Ke, ZhuFei.Collaborative Q-Vvalue function approximation model based onadaptivenormalizedradial basisfunctionnetwork. ChineseJournal ofComputers,2015,38(7):1386-1396(inChinese)(刘全,肖飞,付启明,伏玉琛,周小科,朱斐.基于自适应归一化RBF网络的Q-V值函数协同逼近模. 计算机学报,2015,38(7):1386-1396)[4] JIAOLi-Cheng, YANGShu-Yun, LiUFang, WAnGShi-Gang, FENGZhi-Xi. Seventy Years Beyond Neural Networks: Retrospect andProspect. Chinese Journal of Computers, 2016, 39(8): 1697-1716(inChinese)(焦李成,杨淑媛,刘芳,王士刚,冯志玺. 神经网络七十年：回顾与展望. 计算机学报,2016,39(8):1697-1716)[5]DávilaPatríciaFerreiraCruz, RenatoDouradoMiaia, LeandroAugustoda Silva, Leandro Nunes de Castro. BeeRBF: Abee-inspired dataclustering approach to design RBF neural network classifiers.Neurocomputing,2016,172(8):427-437[6] HaoYu, PhilipD. Reiner, TiantianXie, TomaszBartczak, andBogdanM. Wilamowski. An incremental design of radial basis functionnetworks. IEEE Transactions on Neural Networks and LearningSystems,2014,25(10):1793-1803[7]ZhangZhao-Zhao, QiaoJun-Fei.Analysisanddesignofmodularneuralnetwork. Liaoning: Liaoning Science and Technology PublishingHouse,2014(张昭昭,乔俊飞. 模块化神经网络结构分析与设计. 辽宁：辽宁科学技术出版社,2014)[8]JacobsR.A,Michael I, JordanA.Modularconnectionist architectureforlearning piecewise control strategies. Proceedings of the AmericanControlConference,Boston,USA,1991:343-224[9]QiaoJun-Fei, ZhangZhao-Zhao, BoYing-Chun.Anonlineself-adaptivemodular neural networkfor time-varyingsystems. Neurocomputing,2014,125(1):7-16[10] B. Hapel, J. Murre. Designandevolutionof modular neural networkarchitectures.NeuralNetworks,1994,7(6):9985-1004[11]B.L. Lu,M. Ito.Taskdecompositionandmodulecombinationbasedonclass relations: a modular neural network for patternclassification.IEEETransactionsonNeuralNetworks,1999,10(5):1244-1256[12] ZhaoZhong-Qiu, GaoJun, Herve Glotin, WuXin-Dong. Amatrixmodular neural networkbasedontaskdecompositionwithsubspacedivision by adaptive affinity propagation clustering. AppliedMathematicalModelling,2010,34(12):3884-3895论文在线出版号No.57 张昭昭等：多层自适应模块化神经网络结构设计 13[13] J. Molina-Vilaplana, J. Feliu-Batlle, J. Lopez-Coronado. Amodularneural networkarchitecturefor step-wiselearningof graspingtasks.NeuralNetworks,2007,20:631-645[14] Nikola Gradojevic, Ramazan Gencay, and Dragan Kukolj. Optionpricingwithmodular neural networks. IEEETransactions onneuralNetworks,2009,20(4):626-637[15] H. Chris Tseng, BassamAlmogahed. Modular neural networks withapplications to pattern profiling problems. Neurocomputing, 2009,72:2093-2100[16] Beatriz González, Fevrier Valdez, Patricia Melin, GermanPrado-Arechiga. Fuzzylogicinthegravitational searchalgorithmforthe optimizationof modular neural networks inpatternrecognition.ExpertSystemswithApplications,2015,42:5839-5847[17]BoYing-chun, QiaoJun-Fei,YangGang.Amulti-modulescooperativeneural networks. CAAI Transaction on Intelligent Systems, 2011,3:225-230(inChinese)(薄迎春,乔俊飞,杨刚. 一种多模块协同参与的神经网络. 智能系统学报,2011,3:225-230)[18]AlexRodriguezandAlessandroLaio.Clusteringbyfastsearchandfindofdensitypeaks.Science,2014,344:1492-1496[19]Q. Yu, H. Tang, K. C. Tan, andH. Yu.Abrain-inspiredspikingneuralnetworkmodelwithtemporalencodingandlearning. Neurocomputing,2014,138(22):3-13[20] Davidmeunier, RenaudLambiotteandEdwardT. Bullmore. Modularandhierarchicallymodularorganizationofbrainnetworks. FrontiersinNeuroscience,2010,4:1-11[21]Clarset,A.,MooreC., andNewman,M. E. J.Hierarchicalstructureandthepredictionofmissinglinksinnetworks.Nature,2008,453:98-101[22] Park H.S, Pedrycz W. Grannular Neural Netowrks and TheirDevelopment Through Context-Based Clustering and AdjustableDimensionality of Receptive Fields. IEEETransactions on NeuralNetworks,2009,20(10):1604-1616[23]WitoldPedrycz. Conditional FuzzyClusteringintheDesignofRadialBasis Function Neural Networks. IEEE Transactions on NeuralNetworks,1998,9(4):601-612[24] B. M. Wilamowski and H. Yu. Improved computation forLevenberg-Marquardt training.IEEETransactionsonNeural Networks,2010,21(6):930-937[25] G. B. Huang, P. Saratchandran, andN. Sundararajan. An efficientsequential learning algorithm for growing and pruning RBF(GAP-RBF) networks. IEEETransactionsonNeural Networks, 2005,16(1):57-67[26]GiduthuriSateeshBabu, SundaramSuresh. Sequentialprojection-basedmetacognitive learning in a radial basis function network forclassificationproblems. IEEETransactions onNeural Networks andLearningSystems,2013,24(2):194-206.[27] J. Plant. Aresource-allocating network for function interpolation.NeuralComput.,1991,3(2):213-225.[28] QiaoJun-Fei andHanHong-Gui. Arepair algorithmfor radial basisfunctionneuralnetworkanditsapplicationtochemicaloxygendemandmodeling.InternationalJournalofNeuralSystems,2010,20(1):63-74[29] Philip Reniner, Bogdan M. Wilamowski. Efficient incrementalconstruction of RBF networks using quasi-gradient method.Neurocomputing,2015,150(PartB):349-356[30] G-B, Huang, LChen. Convexincremental extremelearningmachine.Neurocomputing,2007,70(16-18):3056-3062[31]G.-B. HuangandL. Chen. Enhancedrandomsearchbasedincrementalextreme learning machine. Neurocomputing, 2008, 71(16-18):3460-3468[32] N. Chaiyaratana andA. M. S. Zalzala. EvolvinghybridRBF-MLPnetworks usingcombinedgenetic/unsupervised/supervisedlearning.ProceedingsoftheUKACC,Swansea,Britain,1998:330-335[33]R. NerudaandP. Kudova. Learningmethodsfor radial basisfunctionnetworks. FutureGenerationComputer Systems, 2005, 21(7): 1131-1142[34] W. Kaminski andP. Strumillo. Kernel orthonormalizationinradialbasisfunctionneural networks. IEEETransactiononNeuralNetworks,1997,8(5):1177-1183ZHANG Zhao-Zhao, born in1973, Ph.D., associate professor. Hisresearch interests include intelligentinformation processing, machinelearning and neural network structureoptimizationdesign.QIAOJun-Fei, born in 1968, Ph.D., professor, Ph.D.supervisor. His research interests include computationalintelligence,smartfeaturemodeling,intelligentoptimization.YuWen, bornin1965, Ph.D., professor, Ph.D. supervisor.Hisresearchinterestsincludeneural network, bigdata, intelligentoptimizationcontrol.BackgroundModular neural networkisaneffectivemethodtosolvethecomplexproblemsthat fullycoupledneuralnetworks, suchasBPandRBF,aredifficulttolearn.ThemostseriousproblemoftheMNNdesignmethodsnowfacingisthat it isdifficult to14 计算机学报 2017年determinethenumberofsub-modulesandthestructureof thesub-modulesundertheconditionoflackofthelearnedobjectsbackgroundknowledge. Inrecent years, theMNNarchitecturedesignmethodsgraduallymovetobrainscience. Basedonthefact of brain information process, the authors present anadaptivehierarchical modular neural networkdesignmethod.TheproposedHAMNNdesignmethodsolvestheproblemofhowtodeterminethenumberofsub-modulesandthestructureof thesub-modules, moreover, theproposedmethodrequiresfew artificial parameters compared with other MNNarchitecture designmethods, therefore, the proposedmethodreallyachievestheblackboxeffect onneuralnetworkinsomedegree. Compared with some classic fully coupled RBFnetworkandother learningmachines, HAMNNimprovesthelearningaccuracyandthegeneralizationperformance.This research is sponsored by the National NaturalScience Foundation of China under Grant Nos.61440059,61533002, National Science Fund for DistinguishedYoungScholars No.61225016, Natural Science Foundation ofLiaoning Province No.201602363, and China ScholarshipCouncil. Themainpurpose of this researchis toprovide apredictivemodeltothecomplexindustrialsystems.