摘　 要: 　 针对构造型形态神经网络( CMNN) 决策函数的局限性, 提出了一种模糊格构造型形态神经网络( FL -CMNN); 该模型在利用训练好的 CMNN 进行分类时, 引入模糊格包容性测度计算测试样本属于各超盒的隶属度值. 采用仿真数据集对提出的 FL -CMNN 模型进行了评价, 并与原始的 CMNN 和传统的人工神经网络、支持向量机 、最近邻分类器进行了对比; 试验结果表明, FL -CMNN 在测试精度上明显优于原始的 CMNN, 训练时间远远低于传统的神经网络和支持向量机, 而分类精度丝毫不亚于传统的神经网络和支持向量机.

关键词:　 数学形态学;形态神经网络;模糊格;模式识别

    1　 引言

形态神经网络( MNN) 是数学形态学与传统的神经网络模型相结合的一种全新的非线性神经网络 ,其主要思想是采用形态学算子取代传统神经网络模型所采用的乘法 、加法算子 . 与传统的神经网络模型相比 ,形态神经网络不仅计算简单 ,易于硬件实现 ,而且能在数步内达到稳定 ,不存在收敛问题 [ 1～ 10] . 随着近年来形态神经网络的发展 ,有学者提出了基于构造型的形态神经网络模型( CMNN) ,该模型能够自动生成中间层隐层节点 ,而且训练效率极高 [ 11～ 13] .然而,本文研究发现,CMNN 在对落在超盒之外的测试样本进行分类时 ,计算网络最终输出所采用的形态学算子不能正确地反映测试样本隶属于各超盒的程度,因此造成了分类精度的下降 .

针对此问题 ,本文提出了模糊格构造型形态神经网络模型( FL-CMNN) ,引入了模糊格包容性测度的概念 [ 14～ 17] ,在利用训练好的形态神经网络进行分类时 ,采用模糊格包容性测度计算测试样本属于各超盒的隶属度值,从而避免了 CMNN 采用形态学算子而带来的错分问题,有效提高了形态神经网络的分类精度 .

2　 形态神经网络的理论基础

形态神经网络是建立在格计算和数学形态学理论基础之上的一种新型的神经网络模型 . 本节将简要介绍完备格理论基础上的数学形态学理论和形态神经网络格代数系统 [4,12,13,18～ 20] .

2. 1　 完备格框架下的数学形态学

理论假设 L 是一个非空集合 ,如果对于任何元素 x , y ,z ∈L ,满足以下三个条件 :( 1) 自反性 , x ≤x ;( 2) 反对称性 , x ≤y , y ≤x x =y ;( 3) 传递性 , x ≤y , y ≤z x ≤z ,则称 L 为一个偏序集 . 如果 L 中的任意两个元素x ,y 都存在最小上界 x ∨ y 和最大下界 x ∧ y ,则 L 是一个格 ; 如果 L 的任意一个子集都存在最小上界和最大下界 ,则称 L 是一个完备格 . 通常 ,用 O 和 I 来表示一个完备格的最小和最大元素 . 如果 L 中的任意两个元素都是可比的 ,则称 L 是一个全序格 ,比如实数集 R 就是一个全序格 .假设 L 1 ,L 2 , …, L N 为 N 个完备格 , 定义 L 为N 个格的笛卡儿积 : L N =L 1 ×L 2 ×…×L N ,则 L N 也是一个完备格 ,L N 上的偏序关系定义为 :　( x 1 , …, x N )≤ ( y 1 , …, y N ) x 1 ≤y 1 , …, x N ≤y N ( 1)假设 L 和M 为两个完备格 , 称映射 φ : L ※M 为格映射 ,如果 φ 满足 :φ ( x ∧ y) =φ ( x) ∧ φ ( y), φ ( x ∨ y)=φ ( x)∨ φ ( y)( 2)则称 φ 为格同构映射 .基于完备格理论 , 可定义如下形态学算子 . 设假设L 和 M 为两个完备格 ,如果对于任何指标集 J ,{ x j } j∈J∈L ,定义映射 ε , δ ,  ε ,  δ : L ※M ,则定义 :①ε 为腐蚀算子 ε (∧Jj= 1x j ) =∧Jj = 1 ε ( x j ) , x j ∈L②δ 为膨胀算子 δ ( ∨Jj = 1 x j )=∨Jj= 1δ ( x j ) , 　 x j ∈ L③  ε 为反腐蚀算子 ε (∧Jj= 1x j ) =∨Jj = 1ε ( x j ) , 　 x j ∈L④  δ为反膨胀算子 δ ( ∨Jj = 1 x j )=∧Jj= 1δ ( x j ) , 　 x j ∈ L显然膨胀和腐蚀都是同构映射 , 如果同时反转 L和M 上的序关系 , 那么膨胀就成为腐蚀 , 腐蚀成为膨胀 .

2. 2　 形态神经网络的格代数系统

传统的人工神经网络( ANN) 可以通过其网络拓扑结构节点特性和训练或学习规则来描述 , 传统神经网络的代数系统是实数集 R上的加法 、乘法及相关运算规则 ,可记之为( R, ×, + ),其单个神经元的计算公式为 :τj ( x) = ∑ni = 1x i ×w ij -θj( 3)其中 x ∈ R n , x i 代表第 i 个神经元的值 ,w ij 表示第 i个神经元与第 j 个神经元的连接权值 , θj 表示第 j 个神经元的阈值 , τj 表示第 j 个神经元的输出 , 图 1 是一个传统的具有 n 维输入的神经元模型 . 形态神经网络是建立在格理论基础上的一种新型神经计算方法 , 其代数系统是实数集 R 上的取大 、取小 、加法及相关运算规则 ,记为格代数系统( G, ∧ , ∨ ,+, + ′ ) ,其中 G=R∪{-∞, +∞}, ∨ 代表取大算子 ,∧ 代表取小算子 , +和 + ′ 为定义在 G上的加法算子 ,二者只存在如下差别 :∞+ (-∞ )= (-∞ )+∞=∞∞+ ′ ( -∞) =( -∞ )+ ′ ∞=-∞( 4)格代数系统中元素 x 的共轭 x＊ 定义为 :x ＊ =-x, x∈ G/{-∞, +∞ }-∞, x=+∞+∞, x=-∞( 5)则 G n 上的负空间v ＊ 可定义为 :( v ＊ ( x) )i =x＊i, i = 1 ,2 , …,n ( 6)格代数系统( G, ∧ , ∨ , +, + ′ ) 的计算规则描述如下 ,如果 a , b , c∈ R ∞ ,则 :a +( b ∧ c)= ( a +b) ∧ ( a +c)a ∧ ∞=∞∧ a =aa +∞=∞+a =∞a +0 =0+a =a ( 7)式( 7) 中只列出了取小算子 ∧ 的计算规则 ,取大算子 ∨ 的规则与取小算子 ∧ 完全一样 .传统神经计算的代数系统( R, ×, + ),也满足相似的规则 ,如果 a , b , c∈ R,则有 :a ×( b +c)=a ×b +a ×ca +0 =0+a =aa ×0 =0×a =0a ×1 =1×a =0 ( 8)可以看出 ,格代数系统中的 ∞类似于传统代数系统中的 0 ,0 类似于 1 , ∧ 类似于 +,而 +类似于 ×.除了上述列出的规则外 , 这两种代数体系有很多其它的共同特征 ,比如交换律和结合律 . 从这意义上来讲 ,这两种体系在数学上是非常相似的 , 所以 , 在许多应用领域 , 其中的一个很容易被另外一个所代替 . 但是 ,两者之间也存在着不同之处 , 最主要的一点是取大 、取小运算没有逆运算 , 正是这种格运算使得形态神经元有着独一无二的特性 . 与传统代数系统矩阵乘积类似 , 定义在有界格序组 G 上的矩阵运算算子分别称为最大积算子和最小积算子 . 设矩阵 A ∈ Gmxp 和 B ∈ G pxn 为定义在 G上的两个矩阵 ,则 A 和 B 的最大积 C 和最小积 D 定义为 :C =A B =∨pk = 1 ( a ik+b kj )D=AΔB =∧pk = 1 ( a ik+ ′ b kj )( 9)同理 ,可以定义矩阵与向量间的乘积 , 假设 A ∈Gmxp, x ∈ Gm,分别定义 εA 和 δ A 为 :εA ( x) =AΔx , δA ( x) =A x( 10)可以看出 , εA 和 δ A 分别定义了从格空间 Gn到格空间G m 的腐蚀和膨胀算子 .同样 ,下式定义了从格空间 G n 到格空间 G m 的反腐蚀和反膨胀算子 :εA ( x)=A x＊ , δA ( x)=AΔx＊( 11)

3　 构造型形态神经网络( CMNN)

3. 1　 构造型形态神经网络的基本框架形态学

感知器是文献中首先出现的一种形态神经网络 [1] ,只能实现二分类 , 由于形态学神经计算函数是不可微的 ,因此传统的反向传播算法不能用来训练形态神经网络 . 因此 ,P. Sussner提出了一种形态学感知器学习算法 [2] ,并在此基础上进行了多次改进 ,提出了一种新的构造型形态神经网络模型 ,并实现了多类分类的功能 [ 11～ 13] .形态神经网络的基本操作算子计算是前述定义在格代数系统 G 上的四种形态学算子 ,即 εw , δ w ,εw ,δw .给定输入向量 x ∈ R n ,连接权值向量为 w ∈ R n ±∞ ,则第j 个隐层节点的总输入可由如下公式计算 :①εw ( x)=wΔx =∧ni = 1 ( x i+w i )②δw ( x) =w x =∨ni = 1 ( x i+w i )③  εw ( x)=δ w ( x) v ＊ ( x) =∨ni = 1 ( x＊i+w i )④  δ w ( x) =εw ( x) v ＊ ( x) =∧ni = 1 ( x＊i +w i )形态神经网络训练过程为采用给定的训练样本来确定输入层与隐层节点之间的连接权值 , 从而构造多个能够覆盖同类样本的 n 维超盒 , 实现样本的正确分类 . 值得注意的是 , 定义在 G n 上的超盒可完全由其覆盖元素的上顶点a 和下顶点b 所确定 . 假设元素 x 包含于超盒[ a , b] ,则必满足 a ≤x ≤b . 令 v =a ＊ , w =b ,则上述条件可转化为 :εv ( x) ∧δw ( x)≥0( 12)针对二分类问题 , 在训练过程中 ,形态学神经计算自动产生只包含第一类样本的 m 个超盒[ a j , b j ] ( j =1, 2 , …,m) ,与之相对应的形态学神经计算为形态腐蚀算子 εv j 和形态反膨胀算子δw j ,其中 v j =aj＊ , wj =bj . 在分类过程中 ,给定一个输入样本 x , 假如 x 包含在超盒[ a j , b j ] 中 ,则将 x 判别为第一类 . 换言之 ,形态学感知器的输出由下式决定 :y =f∨mj = 1 ( εv j ( x) ∧δw j ( x) ) ( 13)其中 f( x) 为硬阈值函数 :f( x) =1 , x ≥00 , x <0( 14)给定任意输入向量 x , 当且仅当 y =1 时 ,将 x 分为第一类 ,否则为第二类 .可以证明 , f( x) 是一个格同构映射 Gn※{ 0 ,1} , 因此 ,公式( 13) 可重写为 :y =∨mj= 1f( εv j ( x) ) ∧ f(δw j ( x) ) ( 15)由前述基于完备格理论的形态学操作算子的定义可以证明 , f( εv j ( x) ) 和 f(  δ w j ( x) ) 亦为定义在格上的腐蚀算子和反膨胀算子 . 基于构造型的形态神经网络的结构如图 2 所示 . 给定一组训练样本集 x ξ ∈R n ,共包含两种类别 C 1和 C 2 ,在训练过程中 , 形态神经网络自动产生 m 个仅包含 C 1 样本的超盒 , 其余的在超盒之外的样本均属于C 2 类 .

3. 2　构造型形态神经网络训练算法形态

神经网络分类算法是建立在二分类基础之上的 ,因此本节将重点阐述二分类的形态神经网络训练算法 .首先给出两个半空间 H-i ( c) 和 H+i ( c) 的定义 ,假设 x , c ∈ L n ,则 :H -i ( c) ={ x ∈Ln: x i <c i } ( 16)H +i ( c) ={ x ∈Ln: x i >c i }, i =1 ,2 , …, n ( 17)假设训练集为 X ={ x 1 , x 2 , …, x k }∈ Gn,令 C 1 andC 2 分别表示第一类和第二类训练样本 . 形态神经网络训练的目的是找到两个超盒簇 B 1 ={ [ a 11 , b11 ] ,[ a12 ,b 12 ] , …,[ a1m1 , b1m1 ] } 和 B2={ [ a 21 , b21 ] ,[ a22 , b22 ] , …, [ a 2m2 , b2m2 ] },其中 B1为包含所有第一类样本的超盒集合 ,B 2 为包含所有第二类样本的超盒集合 .Sunsser在文献 [ 12] 中提出了一种构造型形态神经网络( CMNN) 的训练方法 , 本文方法与其类似 , 但略有不同 . 下面介绍本文提出的 CMNN 训练方法 .首先进行初始化 ,令 C =X , B 1 =Υ,执行如下操作步骤 :　( 1) 令  C 1 表示集合 C 中所有属于第一类的样本 ,即  C 1 =C ∩ C 1 ,计算包含第一类样本的最小超盒 :[  a 1 ,  b 1 ] = [ ∧  C 1 , ∨  C 1 ] ( 18)( 2) 找出所有包含于超盒[  a 1 ,  b 1 ] 中的第二类样本集合 ,记为  C 2 ;( 3) 如果  C 2 =Υ, 则将[  a 1 ,  b 1 ] 加入到 B 1 中去 ,同时训练中止 ;( 4) 如果  C 2 ≠Υ,计算覆盖  C 2 的最小超盒[  a 2 ,  b 2 ] = [ ∧  C 2 , ∨  C 2 ] ( 19)( 5) 计算[  a 2 ,  b 2 ] 的半空间 :H -i (a 2 ) = { x x i <  a 2i }, x ∈C 1 , i =1,2 , …, n ( 20)H +i (b 2 ) = { x x i >  b 2i }, x ∈C 1 , i =1,2 , …, n ( 21)由此可以得到 2n 个半空间 H ={ H 1 , H 2 , …, H 2n }( 6) 如果 H j ≠Υ , j =1 ,2, …,2n ,则计算其超盒 :[ a 1 j , b 1 j ] =[ ∧ H j , ∨ H j ] ,j =1 ,2 , …,2n ( 22)( 7) 将超盒[ a 1 j , b 1j ] ( j =1 , 2, …,2n) 加入到 B1中去 .( 8) 令 C=  C 2 ,从步骤( 1) 继续 .图3 给出了上述算法在二维空间上的示意图 . 其中“ ”代表第一类样本 ,“ + ”代表第二类样本 , 图中[  a 1 ,b 1 ] 为第一类样本的超盒 ,[  a 2 ,  b 2 ] 为包含在[  a 1 ,  b 1 ] 中第二 类 样 本 的超 盒 . 图 中只 给 出 了  a 2 的 半 空 间H -1 (a 2 ) 和 H -2 (a 2 ),[ a 11 , b11 ] 和[ a12 , b12 ] 分别为两个半空间上的超盒 ,可以看出[ a 1 1 , b 1 1 ] 和[ a 1 2 , b 1 2 ] 只包含了第一类样本 ; 同理 ,可以计算  b 2 的半空间及其只包含第一类样本的超盒 ,并将其加入到 B 1 中去 .在训练算法收敛后 , 我们可以得到一个只包含第一类样本点的超盒簇 B 1 . 为得到第二类样本点的超盒簇 B 1 ,只需将两类样本的类别标签互换 ,并重复上述训练算法一次即可 .

3. 3　多类分类构造型形态神经网络

前述的训练算法可非常容易的扩展至多类分类任务 . 假如 X 中包含了S 类样本 ,每类样本用 C s ( s = 1 ,2 ,…, S) 表示 . CMNN 的目的是构建 S 个超盒簇 B 1 , B 2 ,…, B S ,其中第 s 个超盒簇B s ( s =1 ,2, …, S) 只包含第 s类样本 . 在训练时 ,我们只需令 C 1 =C s ( s =1,2 , …,S) ,C 2 ={ C i , i ≠s ,i =1,2 , …, S} ,然后采用上述的训练算法即可得到第 s 类样本的超盒 ,重复前述步骤 S 次 ,即可得到 S 个包含各类样本的超盒簇 .在测试阶段 ,给定一个测试样本 x ,首先将 x 带入第 s 个 CMNN 模型 ,并计算其输出 y s ( s = 1 ,2 , …,S):y =∨mj = 1 ( εv j ( x) ∧δw j ( x) )( 23)图 4 给出了基于第 s 个超盒簇的 CMNN 计算模型 ,其中权重 μsj =( asj ) ＊, wsj =bsj , j =1 ,2 , …, m s . 计算出各模型的输出值 y s ( s =1 ,2 , …, S) 后 , 根据图 5 给出的最大隶属度原则将 x 归为输出值最大的一类 .

4　 模糊格构造型形态神经网络

尽管前述的构造型形态神经网络具有很多传统神经网络所不具备的优势 , 然而 ,本文研究发现 , 该构造型形态神经网络在对落在超盒之外的测试样本进行分类时 ,计算网络最终输出所采用的形态学算子不能正确地反映测试样本隶属于各超盒的程度 , 因此造成了分类精度的下降 . 针对此问题 , 本文提出了模糊格形态神经网络模型( FL-CMNN),引入了模糊格包容性测度的概念 [ 14～ 17] ,在利用训练好的形态神经网络进行分类时 ,计算测试样本属于各超盒的隶属度值 ,从而避免了原始形态神经网络采用形态学算子而带来的错分问题 ,有效提高了形态神经网络的分类精度 .下面首先介绍有关模糊格和区间上的模糊格理论 .

4. 1　 模糊格理论

在完备格理论的基础上 ,V. Petridis [ 21] 提出了一个新的格学习框架 — — —模糊格( fuzzy lattice),其定义为 :假设 L 为一个格 ,S ={ ( x , y) : x, y ∈ L} 为一个分布 , μP : S ※[ 0 ,1] 是一个模糊隶属度函数 ,且满足当且仅当 x ≤y 时 u P ( x ,y) =1 ,则称( L , u P ( x ,y) ) 为一个模糊格 ,其中实值函数 u P ( x , y) 可以解释为 x 包含于y 的程度 .模糊格是对传统格理论的拓展 , 它考虑了格中两个元素之间的关系 ,为定量描述模糊格中两个元素之间的包含关系 ,V . Petridis 提出了包容性测度的概念 ,其定义为 :假设 L 为一个完备格 ,其最小元素与最大元素分别为 O 和 I , 则包容性测度定义为 σ ( x , y): S ={ ( x ,y) : x, y ∈ L}※ [ 0,1] , 且 σ ( x , y)≡σ ( x ≤y) 满足以下条件 :( 1) σ ( u ≤O) =0 , u ≠O( 2) σ ( u ≤u)=1, u ∈L( 3) u ≤w σ ( x ≤u) ≤σ ( x ≤w), 　 u ,w , x∈ L由条件( 2) 和( 3) 可以很容易地得出以下结果 : u ≤w 1 =σ ( u ≤u)≤σ ( u ≤w) ≤1 σ ( u ≤w)=1, 进一步可以得出 σ ( u ≤I) =1 . 因此 , σ ( x≤u) 表示了格关系x ≤u 的真实程度 ,即 x 包容于 u 的程度 .为了进一步量化包容性测度 , 定义实值函数 h : L※R,它主要满足以下几个条件 :( 1) h( O) =0 ,O 为格L 中的最小元素 ;( 2) u <w h( u)<h( w);( 3) u ≤w h( x∨ w)-h( x ∨ u)≤h( w)-h( u)函数 h 在格L 上不一定一定存在 , 假如函数 h 存在 ,则函数 k( x , y)=h( y) / h( x ∨ y) 是一个定义在 L上的包容性测度 . 可以看出 , x ≤u u =x ∨ u k( x ≤u)=h( u) / h( x ∨ u)=1,因此 ,( L ,k( x ≤u) ) 定义了一个模糊格 . 在本文中,简单地设函数 h 为 : h( x) =x .假设 L 为N 个格的笛卡儿积 : L =L 1 ×L 2 ×… ×L N ,其偏序关系定义为 :( x 1 , …, x N )≤ ( y 1 , …, y N ) x 1 ≤y 1 , …, x N ≤y N( 24则在 L 上的函数h 可定义为 :h( x 1 , …, x N )=h( x 1 ) +…+h( x N ) ( 25)可以证明 h( x 1 , …, x N ) 满足前述的三个条件 .

4. 2　区间上的模糊格理论

设 L 是一个全序格 ,则定义在 L i 上的一个区间 V L= { [ a , b] : a ,b ∈ L} 是 L 的一个子集 ,称之为区间格 ,其交与并分别定义为 : [ a ,b] ∧[ c , d] =[ a ∨ c , b ∧ d] ,[ a ,b] ∨[ c , d] = [ a ∧ c ,b ∨ d] ,相应的偏序关系即为如果在 τ ( L i ) 上有[ a , b] ≤[ c ,d] ,则 a ≥c 且b ≤d .由于前述的包容性测度是定义在传统的格 L 上的 ,而关于区间格的包容性测度是没有定义的 . 然而 ,直接在区间格 V L 上定义评价函数是不可能的 ,因此需要将区间格转换到传统格来定义评价函数 . 我们需要找到一个将区间格转换到格的映射 ψ : V L ※L ×L .引入 L 上的对偶映射θ ,其定义为 θ : L ※L 且满足x≤y θ ( x) ≥θ ( y),则可定义映射 ψ : [ a , b] ∈ V L ※( θ( a),b)∈L ×L . 根据这个映射 , 假如 V L 上的两个元素满足关系[ a , b] ≤[ c , d] a ≥c, b ≤d ,则在 L ×L 满足( θ ( a) , b)≤( θ ( c) , d),因此区间格 V L 上的包容性测度定义为 :σ ( [ a ,b] ≤[ c ,d] )=σ ( ( θ ( a) , b) ≤( θ ( c) , d) )=h( θ ( a),b)h( ( θ ( a) , b) ∨ ( θ ( c) , d) )=hθ ( a) ) +h( b)h( ( θ ( a) ∨ θ ( c) ) +h( b ∨ d)( 26)下面举例来说明上述的计算过程 , 假设 I =[ 0, 1]为一个全序格 ,其最大元素为 1 ,最小元素为 0, 定义 θ( x)= 1 -x 为格 I 上的对偶映射函数 , 可以看出如果a ≤b( a , b ∈ I) ,则 θ ( a)≥θ ( b) ( θ ( a) , θ ( b)∈ I).设[ 0. 2, 0. 4] 和[ 0. 3, 0. 6] 是区间格上的两个个元素 ,即两个格区间 ,则映射到传统格上分别为( 1 -0. 2 ,0. 4)= ( 0. 8,0. 4) ∈ I ×I 和( 1 -0. 3 ,0. 6)= ( 0. 7 ,0. 6)∈I ×I , 则区间[ 0. 2, 0. 4] 包容于区间[ 0. 3, 0. 6] 的测度为 :σ ( [ 0 . 2 ,0 . 4] ≤[ 0 . 3 ,0 . 6] )=σ ( ( θ ( 0. 2),0 . 4)≤ ( θ ( 0 . 3) ,0 . 6) )=σ ( ( 0 . 8 ,0 . 4) ≤( 0 . 7 ,0 . 6) )=h( 0 . 7 ,0 . 6)h( ( 0 . 8 ,0 . 4) ∨ ( 0 . 7 ,0 . 6) )=0 . 929同理 ,区间[ 0. 3 ,0. 6] 包容于区间[ 0. 2, 0. 4] 的测度为 σ ( [ 0. 3 ,0. 6] ≤ [ 0. 2,0. 4] )=0. 857 .将区间推广至二维空间 ,即单位盒 U =[ 0 ,1] × [ 0,1] ,假设单位盒中的两个区域为[ 0 . 1 ,0 . 5] × [ 0 . 2 ,0 . 3] 和[ 0. 3,0 . 6] ×[ 0. 1 ,0 . 6] ,其在 V U 中表示为两个元素[ 0. 1,0 . 5 ,0 . 2 ,0. 3] 和[ 0 . 3 ,0 . 6 , 0. 1, 0. 6] ,映射到格上即为( 0 . 9 ,0 . 5,0. 8,0. 3) 和( 0. 7,0. 6 ,0 . 9 ,0. 6),则区域[ 0 . 1,0.5] × [ 0 . 2 ,0 . 3] 包含于区域[ 0. 3 ,0 . 6] ×[ 0. 1 ,0. 6] 的测度为:σ ( [ 0 . 1,0 . 5,0 . 2 ,0 . 3] ≤[ 0 . 3,0 . 6 ,0 . 1 ,0 . 6] )=h( 0. 7 ,0. 6 ,0. 9 ,0. 6)h( ( 0 . 9,0 . 5,0 . 8,0 . 3) ∨ ( 0 . 7,0 . 6,0 . 9,0 . 6) )=2 . 830 . 933同理区域[ 0 . 3 ,0 . 6] × [ 0 . 1,0 . 6] 包含于区域[ 0 . 1,0 . 5] ×[ 0 . 2, 0 . 3] 的测度为 : σ ( [ 0 . 3 ,0 . 6 , 0. 1 ,0 . 6] ≤[ 0 . 1 ,0 . 5 ,0 . 2 ,0 . 3] )= 2 . 5/3 0 . 833.上述的计算方法可以很容易地推广至 N 维空间 ,在 N 维空间中 ,单位盒变为超立方体 .

4. 3　 模糊格构造型形态神经网络

由 3. 2 节的形态神经网络训练方法可知 ,形态神经网络生成了一系列包含各类别样本的超盒 , 原始的形态神经网络采用式( 23) 计算测试样本落入到各超盒内的隶属度值 , 然而 , 本文研究发现 ,对于落在超盒之外的测试样本 ,CMNN 分类效果较差 ,造成分类效果下降 ,因此 ,本文引入前述的模糊格包容性测度来计算测试样本隶属于各超盒的隶属度值 , 然后采用最大隶属度原则进行分类 ,避免了原始 CMNN 的缺陷 .前述的包容性测度是定义在两个区间上的 , 对于本文的分类问题来说给定的样本是空间中的一个点 x∈G n ,因此在计算一个点包容于一个区间的测度时 ,采用如下方法将 x 扩展为一个区间 . 以三维空间为例 ,假设 x ∈G 3 ,则其区间为 :I( x) =[ x 1 , x 1 , x 2 , x 2 , x 3 , x 3 ] ( 27)同样 ,对于 CMNN 训练所得到的超盒也需要做一定的转换来计算包容性测度 ,给定超盒[ a , b] ∈ G 3 ,其区间为 :I( [ a , b] ) = [ a 1 ,b 1 , a 2 , b 2 ,a 3 , b 3 ] ( 28)图 6 给出了在二维空间上计算模糊格包容性测度的示意图 . 其中 x1=[ 0 . 2,0 . 3] , x2 =[ 0 . 3 ,0. 4] ,两个超盒 w1 = [ 0 . 1,0. 2,0. 4 ,0 . 35] ,w2 = [ 0 . 5 ,0. 2,0. 8,0 . 8] .则 x1包容于超盒 w1的测度 σ ( I( x1) ≤I( w1) ) 为 :σ ( [ 0 . 2,0 . 2,0 . 3 ,0 . 3] ≤[ 0 . 1,0 . 4 ,0 . 2 ,0 . 35] )=h( 0. 9 ,0. 4 ,0. 8 ,0. 35)h( ( 0 . 8,0 . 2,0 . 7,0 . 3) ∨ ( 0 . 9,0 . 4,0 . 8,0 . 35) )=2 . 452 . 45=1同理 x1 包容于超盒 w2 的测度为 :σ ( [ 0 . 2,0 . 2,0 . 3 ,0 . 3] ≤[ 0 . 5,0 . 8 ,0 . 2 ,0 . 8] )=h( 0. 5 ,0. 8 ,0. 8 ,0. 8)h( ( 0 . 8,0 . 2,0 . 7,0 . 3) ∨ ( 0 . 5,0 . 8,0 . 8,0 . 8) )=2 . 93 . 20 . 9062由上述结果可以看出 ,当测试样本落入到某个超盒之内时 ,该样本包容于该超盒的测度为最大值 1, 而包容于其它超盒的测度小于 1 . 下面考虑测试样本在所有超盒之外的情况 , 如图 6( b) 所示 ,给定样本 x2 =[ 0. 3,0 . 4] , 可以看出下 x2 落在两个超盒之外 ,采用上述的方法分别计算 x2 相对于超盒 B1 和 B2 的测度分别为 σ ( I( x2)≤I( w1) ) =0 . 98和 σ ( I( x2) ≤I( w2) )=0 . 9355. 由此可以看出 ,样本离超盒越近 ,则相对于该超盒的包容性测度越大 .FL-CMNN 的训练过程与 CMNN 一样 ,两者最大的不同在于测试阶段 ,FL-CMNN 计算输入测试样本的各单个 CMNN 模型输出值方法如图 7 所示 ,可以看出 ,图7 与图 4 的结构非常类似 ,但两者最大的区别在于给定输入样本 x ,计算各超盒的输出时所采用的计算方法不同 ,CMNN 采用的是式( 23) 所定义的形态学算子 ,而 FL-CMNN 采用的是定义在模糊格理论上的包容性测度计算出输入样本隶属于每类超盒簇的包容性测度后 ,依然根据图 5 中的最大隶属度原则进行分类 .

5　 实验分析

为验证本文提出的 FL-CMNN 的有效性 ,本节采用标准数据集和仿真数据集对 FL-CMNN 、 CMNN 以及传统神经网络 、K 近邻和支持向量机的计算效率和分类精度进行对比试验分析 . 这三种分类器均在 Matlab 上采用模式识别工具箱( PRTools 4 . 1)[22]实现 , 这三种分类器的参数均为工具箱预设的缺省值 . 试验所采用的计算机配置为 CPU Core2 2 . 8G , 2G 内存 ,Matlab 版本为R2007a.

5. 1　Ripley 数据集Ripley 数据集 [23] 是由混合高斯分布产生的一个两类二维数据集 ,其中训练样本集由 250 个数据组成 , 每类 125 个数据 , 测试样本集由 1000 个数据组成 , 每类500 个数据 .图 8 给出了采用构造型形态神经网络训练后所得到的超盒 . 图中“ +”代表第一类样本 ,“· ”代表第二类样本 ; 深色背景的超盒为第一类样本的超盒 ,浅色背景为第二类样本的超盒 . 在训练两类样本的超盒过程中 ,本文提出的训练算法分别在 8 步和 9 步内达到收敛 ,并相应生成了 32 和 33 个超盒来覆盖两类样本 . 从图中可以看出 ,所有的训练样本均可被正确地覆盖 . 需要注意的是 ,图中存在着部分的孤点 , 这些孤点也是一种特殊的超盒 . 表 1 给出了分别采用 K 近邻分类器( KNNC)、传统的 BP 神经网络( BP-NN)、支持向量机( SVM)、构造型神经网络( CMNN) 和模糊格构造型神经网络( FL -CMNN) 的训练时间( T train ) 、测试时间( T test ) 、训练样本分类精度( P train ) 和测试样本分类精度( P test ) .表 1　 Ripley 数据集测试结果分类器 T train ( s ) T test ( s) P train P testKNNC - 0. 3687 87. 2 80. 8BP-NN 24. 4906 0. 1053 86. 8 81. 2SVM 12. 9543 0. 1389 85. 6 86. 1CMNN 0. 0774 0. 1662 100 78. 3FL-CMNN 0. 0774 0. 2843 100 81. 7由表 1 可以看出 ,在 Ripley 数据集上 ,SVM 获得了最高的测试精度 86. 1 %,其次为 FL-CMNN ,测试精度为81. 7 %. 但是从表中可以发现 , 构造型形态神经网络的训练效率极高 ,其所需的训练时间要远远低于传统的BP-NN 和 SVM ,同时可以发现 , 两种形态神经网络在训练集上的分类精度均为 100 %,这说明形态神经网络具有很强的学习能力 ,而 FL -CMNN 的推广能力要明显优于 CMNN .

5. 2　 Spiral 数据集Spiral 数据集 [24] 是一个经典的二分类问题 ,它由以下公式所生成 :R i =0. 4· ( 105 -n i ) /104 ( 29)αi =π · ( n i -1) /16( 30)x i =R i · sin( αi +q·randn( 1 ,1) /100) +0 . 5( 31)y i =R i ·cos( αi +q·randn( 1 ,1) /100)+ 0 . 5( 32)其中 n i =0 . 5i( i =1 ,2 , …,200) , randn( 1 ,1)为由标准高斯分布产生的随机数 , q 是一个调节类间距离的参数 ,本文中设 q =5 . 数据集中第一类样本由( x i , y i )200i=1组成 ,第二类样本由( 1 -x i ,1 -y i )200i= 1 组成 ,由此可得到400 个训练样本 . 同理 ,可由公式 29 ～ 32 产生 400 个测试样本 .图 9给出了由本文提出的 C MNN 训练算法在Spiral数据集上所得到的超盒 . 图中“ + ”代表第一类样本 ,“· ”代表第二类样本 ; 深色背景的超盒为第一类样本的超盒 ,浅色背景为第二类样本的超盒 . 在训练中 ,算法均在 13 步内达到收,并均生成了 48个超盒来覆盖两类样本. 表 2 给出了分别采用 K 近邻分类器( KNNC) 、传统的 BP 神经网络( BP-NN) 、支持向量机( SVM) 、构造型神经网络( CMNN) 和模糊格构造型神经网络( FL-CMNN) 在Spiral 数据集上的训练时间( T train )、测试时间( T test ) 、训练样本分类精度( P train ) 和测试样本分类精度( P test ).表 2　 Spiral 数据集测试结果分类器T train ( s) T test ( s) P train P testKNNC - 0. 1282 77. 5 74. 8BP-NN 14. 176 0. 1324 75. 25 74SVM 5. 916 0. 1285 82 81. 75CMNN 0. 1366 0. 3352 100 90. 75FL -CMNN 0. 1366 0. 4843 100 98. 5由表 2 可以看出 ,在 Spiral 数据集上 , 本文提出的FL-CMNN 取得了明显优于其它方法的测试精度和训练精度 . 传统的 KNN 、BP-NN 和 SVM 在此数据集上无论是训练精度还是测试精度均较差 , 虽然 CMNN 取得了很高的训练精度 ,但测试精度明显低于 FL-CMNN, 这再次证明了 FL-CMNN 的推广能力优于 CMNN . 同时从表中依然可以发现 ,构造型形态神经网络的训练效率极高 ,其所需的训练时间要远远低于传统的 BP-NN 和 SVM .

5. 3　 仿真数据集图 10 为随机产生的三组数据,其中“· ”代表第一类样本 ,“ ＊”代表第二类样本 ,“ +”代表第三类样本 ,每类数据 100 个样本点 ,共 300 个样本点 . 图中三种不同颜色的区域代表了采用本文提出的训练算法得到的覆盖三类样本的超盒集 . 可以看出 ,训练出的超盒可完全覆盖所有的样本点 . 在训练三类样本的超盒过程中 ,本文提出的训练算法分别在 3 步 ,8 步和 4 步内达到收敛 ,并相应生成了 8,25 和 12 个超盒来覆盖三类样本 . 在测试阶段 ,依然按训练样本相同的条件随机生成三组数据 ,每类数据 100 个样本点 . 为保证测试结果的可靠性 ,本文将前述的训练和测试过程重复 20 次 ,即每次均随机产生 300 个训练样本和 300 个测试样本 ,取20 次结果的平均值作为最终测试结果 .表 3 给出了前述五种分类器在仿真数据集上的的训练时间( T train ) 、测试时间( T test ) 、训练样本分类精度( P train ) 和测试样本分类精度( P test ) .表3　 仿真数据集测试结果分类器 T train ( s ) T test ( s) P train P testKNNC - 0. 0952 94. 33 88. 37BP-NN 24. 37 0. 0310 96 91SVM 12. 07 0. 0175 92. 67 91. 67CMNN 0. 0786 0. 0662 100 87. 33FL -CMNN 0. 0786 0. 0843 100 92. 67由表 3 可以看出 ,CMNN 的训练时间只有支持向量机的 1/100 ,传统 BP 神经网络训练时间的 1/200 左右 ;在测试阶段 , 两种构造型神经网络的计算时间要略高于 BP-NN 和 SVM ,与 KNNC 的测试时间相当 . 在训练样本的 分类 精度 上 , 两种 构造 型 神经 网 络均 可 达到100 %; 在测试阶段 ,传统的支持向量机和 BP 神经网络均获得了比 CMNN 高的分类精度 , 而本文提出的 FL-CMNN 仍然获得了最高的分类精度 .

6　 结论

( 1) 深入分析了构造型形态神经网络的结构特点 ,在文献中已有方法的基础上提出了一种构造型形态神经网络的训练算法 ,该算法能够在数步内达到收敛 ,具有极高的训练效率 .( 2) 针对构造型形态神经网络所采用的形态学算子不能正确地反映测试样本隶属于各超盒程度的问题 ,本文提出了一种模糊格构造型形态神经网络模型FL-CMNN ,该模型引入了模糊格包容性测度的概念 , 在利用训练好的形态神经网络进行分类时 , 计算测试样本属于各超盒的隶属度值 ,从而避免了原始形态神经网络决策函数的不足 ,有效提高了形态神经网络的分类精度 .( 3) 采用标准数据集对本文提出的 CMNN 和 FL-CMNN 模型进行了评价 , 并与传统的最近邻分类器 、人工神经网络和支持向量机进行了对比 ,结果表明 , 本文提出 的 FL-CMNN 在 测 试 精 度 上 明 显 优 于 原 始 的CMNN ,训练时间仅仅是传统的神经网络和支持向量机的数百分之一 ,而且分类精度也丝毫不亚于传统的神经网络和支持向量机 .

    参考文献[ 1] G X Ritter, P Sussner. An introduction to morphological neuralnetworks[ A] . International Conference on Pattern Recognition[ C ] . Vienna, IEEE Xplore, 1996. 709-717.[ 2] P Sussner. Morphological perceptron learning[ A] . IEEE Inter-national Symposium on Intelligent Control　 Proceedings[ C] .Gaithersburg, MD, IEEE Xplore, 1998. 477-482.[ 3] M Grana, B Raducanu. Some applications of morphologicalneural networks[ A] . Proceedings of the International JointConference on Neural Networks[ C] . Washington, DC, IEEEXplore, 2001. 4: 2518-2523.[ 4] G X Ritter, G Urcid. Lattice algebra approach to single -neuroncomputation[ J] . IEEE Transactions on Neural Networks, 2003,14( 2) : 282-295.[ 5] P Sussner, M E Valle. Gray -scale morphological associativememories[ J] . IEEE Transactions on Neural Networks, 2006,17( 3): 559-570.[ 6] I Villaverde, M Grana, A d' Anjou. Morphological neural net-works and vision based mobile robot navigation[ A] . LectureNotes in Computer Science( including subseries Lecture Notesin Artificial Intelligence and Lecture Notes in Bioinformatics[ C] . Berlin, Springer Berlin Heidelberg, 2006. 878-887. [ 7] C W Han. Range facial recognition with the aid of eigenfaceand morphological neural networks [ A] . Lecture Notes inComputer Science ( including subseries Lecture Notes in Artifi-cial Intelligence and Lecture Notes in Bioinformatics) [ C] .Berlin, Springer Berlin Heidelberg, 2008. 217-224.[ 8] A M da Silva, P Sussner. A brief review and comparison offeedforward morphological neural networks with applications toclassification[ A] . Lecture Notes in Computer Science( Includ-ingSubseries Lecture Notes in Artificial Intelligence and Lec -ture Notes in Bioinformatics) [ C ] . Berlin, Springer Berlin Hei-delberg. 2008. 783-792.[ 9] 王敏, 王士同, 吴小俊. 新模糊形态学联想记忆网络的初步研究[ J] . 电子学报, 2003, 31( 5): 690-693.Wang Min , Wng Shi tong, Wu Xiao jun. Initial results onfuzzy morphological associative memories[ J] . Acta ElectronicaSinica, 2003, 31( 5) : 690-693. ( in Chinese)[ 10] 景晓军, 余农. 基于形态学变权神经网络的数据精炼[ J] . 电子学报, 2005, 33( 3) : 397-401.JingXiao -jun, Yu Nong. Data abstraction based on morpho-logical adjusted -weight neural network[ J] . Acta ElectronicaSinica, 2005, 33( 3): 397-401. ( in Chinese) .[ 11] P Sussner, E L Esmi. An introduction to morphological per -ceptrons with competitive learning[ A] . Proceedings of the In-ternational Joint Conference on Neural Networks[ C ] . Atlanta,GA, IEEE Xplore, 2009. 3024-3031.[ 12] P Sussner, E L Esmi. Constructive morphological neural net-works: Some theoretical aspects and experimental results inclassification[ A] . Studies in Computational Intelligence[ C] .Berlin, Springer Berlin Heidelberg, 2009. 258/2009: 123 -144.[ 13] P Sussner, E LEsmi. Morphological perceptrons with competi-tive learning: Lattice -theoretical framework and constructivelearningalgorithm[ J] . Information Sciences, 2011, 181( 10):1929-1950.[ 14] V Petridis, V G Kaburlasos. Learning in the framework offuzzy lattices[ J] . IEEE Transactions on FuzzySystems, 1999,7( 4) : 422-440.[ 15] V G Kaburlasos, V Petridis. Fuzzy lattice neurocomputing( FLN)models[ J] . Neural Networks, 2000, 13( 10) : 1145-1170. [ 16] V G Kaburlasos, I N Athanasiadis, P A Mitkas. Fuzzy latticereasoning( FLR)classifier and its application for ambient o-zone estimation[ J] . International Journal of Approximate Rea -soning, 2007, 45( 1): 152-188.[ 17] V G Kaburlasos, S E Papadakis. A granular extension of thefuzzy-ARTMAP ( FAM)neural classifier based on fuzzy lat-tice reasoning( FLR ) [ J] . Neurocomputing, 2009, 72( 10-12) :2067-2078.[ 18] E R Dougherty, D Sinha. Computational gray -scale mathemat-ical morphology on lattices ( A comparator -based image alge-bra )Part 1: Architecture[ J] . Real-Time Imaging, 1995, 1( 1) :69-85.[ 19] P Maragos. Lattice image processing: A unification of morpho-logical and fuzzy algebraic systems[ J] . Journal of Mathemati-cal Imaging and Vision, 2005, 22( 2) : 333-353.[ 20] M Nachtegael, P Sussner, T M Ulange, E E Kerre. On the roleof complete lattices in mathematical morphology: From tool touncertainty model[ J] . Information Sciences, 2011, 181( 10) :1971-1988.[ 21] V Petridis, V G Kaburlasos. Fuzzy Lattice Neural Network( FLNN) : A hybrid model for learning[ J] . IEEE Transactionson Neural Networks, 1998, 9( 5): 877-890.[ 22] PRTOOLS 4. 20[ EB / OL] . http: //prtools. org, 2001.[ 23] B D Ripley. Pattern Recognition and Neural Networks[ M] .Cambridge University Press, 1996.[ 24] K J Lang, D J Witbrock, Learning to tell two spirals apart[ A] . Proceedings of Connectionist Models Summer School[ C] . Mountain View, CA: Morgan Kaufmann. 1989. 52-59.