时标上多重循环神经网络基于凸包型脉冲的同步

蔡庆瑞，黄振坤

(集美大学理学院，福建 厦门 361021)

神经网络模型是模仿神经元之间信息传递过程所构建的数学模型，其在自然界中无处不在.大部分社会网络、生态网络、科技网络可以用神经网络模型加以分析[1].利用这一模型在信号处理、机器学习、最优化理论、联想记忆等应用方面的研究产生了具有重大意义的结果，相关的动力学行为研究也受到广泛关注[2].同步现象作为重要的动力学行为，有许多重要的应用，例如传感器网络[3]、社交网络[4]、移动机器人[5]及加密通信[6]等.同步也是神经网络的一种典型的集体行为[7].在过去20年间，相关的同步问题受到了越来越多的关注[8].多重循环神经网络(multiple recurrent neural networks,MRNNs)系统的同步指每个子系统在耦合作用下可以达到一致的状态，它意味着每个带有不同初值神经网络的状态轨迹收敛到同一轨迹.在一个耦合系统里，耦合策略连接每个子系统并在确保同步上起着关键作用.因此像线性扩散耦合策略[9]、混合线性耦合策略[10]、非线性耦合策略[11]、具有固定或可变拓扑的耦合等不同的耦合策略[10-11]被提出并深入研究.

大部分耦合策略在子系统之间的信息传递和交流是不间断的，然而这些耦合策略实现具有成本高、效率低等缺点.因此脉冲耦合同步策略被提出，它确保了子系统之间的信息传递交流仅在离散时刻产生，可以有效降低通信带宽等的应用成本[12].当前不少工作聚焦在脉冲耦合同步的研究上[7-8,13]，大部分工作通过带有连通拓扑或固定拓扑的脉冲控制策略研究同步问题.Yang等[8]研究了带有时滞的MRNNs系统的全局同步问题，然而在现有文献中，关于其更一般的离散时域上和混合时域上的研究未被考虑.时标上MRNNs模型统一并发展了连续情形上和离散情形上的MRNNs模型.利用时标理论来进行研究可避免分别研究离散和连续情形产生的重复性工作[14].

本文主要研究时标上通过凸包型脉冲控制带有时滞的MRNNs系统的全局同步问题，利用序列连通的概念、时标理论和凸包型脉冲控制策略得到了确保MRNNs系统的全局同步问题.所得结论不仅在完全连续和完全离散的时域中适用，在混合时域中也适用.

1 预备知识和模型

1.1 基本概念

时标T指的是实数集的任意非空闭子集.对于t∈T，当tt}；当t>infT，后跳算子ρ:T→T定义为ρ(t)=sup{s∈T:st，则t被称为右扩散点；若σ(t)=t，则t被称为右稠密点；若ρ(t)

定义1[15]设函数f:T→R.对于任意ε>0，存在ζ>0以及t(t∈T)的邻域P(P=(t-ζ,t+ζ)∩T)使得|[f(σ(t))-f(s)]-fΔ(t)[σ(t)-s]|≤ε|σ(t)-s|,∀s∈P，称fΔ(t)是f在t的Δ-导数.

定义2[15]如果函数f:T→R在T上的右稠密点连续且左稠密点左极限存在，则称其右稠密连续.右稠密函数f:T→R的集合记为Crd.

定义3[15]定义Cauchy积分

称函数F:T→R为函数f:T→R的不定积分，若

FΔ(t)=f(t),∀t∈Tκ.

定义4[15]对于任意t∈Tκ，函数p:T→R满足1+μ(t)p(t)>0，称其为正回归函数.定义所有正回归函数并上所有右稠密连续函数f:T→R的集合为R+.

定义5[15]若p∈R+，定义指数函数

给定一个集合D⊆Rn，D的凸包定义为

D的直径定义为

对于两个集合D1,D2∈Rn，定义

D1+D2={x+y:x∈D1,y∈D2}.

显然 diam(D1+D2)≤diam(D1)+diam(D2).

1.2 序列连通

1.3 模型和基本引理

考虑下列MRNNs模型

q∈Q={1,2,…,n},

其中v={1,2,…,N}，上式可写为如下形式：

Ui(t).

给定脉冲序列{t1,t2,t3,…}⊆T满足tk

τ))，i∈v,t≠tk,

(1)

(2)

其中若第i个神经网络在脉冲时刻tk被第j个神经网络影响(i≠j)，则gij(tk)>0，否则gij(tk)=0.

在下文里，用Gk表示耦合拓扑矩阵.gk为在时刻tk对应矩阵Gk的图.gk可能包含自环，因此gii(tk)可以大于0.

注1文献[16-17]报道了脉冲同步的研究工作.前者所得结论建立在离散时域上，而后者在实数集上进行研究.系统(1)比两者更具一般性.

注2式(2)描述了神经网络之间的凸包型相互作用，多次产生脉冲xi(φ(tk))均在凸包H({xi(tk),i∈v})内，与现有文献[18-19]不同.在文献[18]中采用了牵制控制使动态网络系统达到渐进同步，而在文献[19]中通过周期间歇控制达到复杂网络指数同步.上述两篇文献中网络之间的相互作用在整个时间域上存在，而式(2)表示的脉冲相互作用仅在脉冲时刻产生网络间的信息传递，其他时刻里各网络系统保持独立.

定义6神经网络(1)在凸包型脉冲作用(2)下能达到时标上全局同步，当且仅当

其中‖·‖1为1-范数.

本文给出基本假设：

|fi(x)-fi(y)|≤λi|x-y|,i∈Q,

和

其中x，y∈R，λi>0，γi>0.令Λ=diag{λ1,λ2,…,λn}，Γ=diag{γ1,γ2,…,γn}.

(ii) 对任意t∈T，1-μ(t)ci>0且有

-cmin+‖AΛ‖1+‖BΓ‖1∈R+，

其中cmin为矩阵C中非零最小元素.

引理1(Gronwall不等式)[15]设y，f∈Crd，p∈R+，p≥0.若

则

∀t∈T.

引理2[15]若p∈R+且a，b，c∈T，则

2 主要结果

命题1对于任意i，j∈v，t∈(tk,tk+1]T，k∈Z+，若基本假设(i)和(ii)成立，则有

‖sij(t)‖1≤er(t,tk)(‖sij(φ(tk))‖1+

证明情形1 若σ(t)=t，根据式(1)，当t∈(tk,tk+1]T时，

A[f(xi(t))-f(xj(t))]+B[fτ(xi(t-τ))-

fτ(xj(t-τ))],

那么

-sign(sij(t))TCsij(t)+

sign(sij(t))TA[f(xi(t))-

f(xj(t))]+sign(sij(t))TB[fτ(xi(t-τ))-

fτ(xj(t-τ))]≤(-cmin+

‖AΛ‖1)‖sij(t)‖1+‖BΓ‖1‖sij(t-τ)‖1.

情形2 若σ(t)>t，当t∈(tk,tk+1]T时，

sij(σ(t))=[I-μ(t)C]sij(t)+μ(t)A[f(xi(t))-

f(xj(t))]+μ(t)B[fτ(xi(t-τ))-

fτ(xj(t-τ))]，

其中I为单位矩阵，

当1-μ(t)ci>0时，就有

‖BΓ‖1‖sij(t-τ)‖1.

(3)

结论与情形1相同.将式(3)从φ(tk)到t进行积分可以得到

‖BΓ‖1)‖sij(η)‖1Δη+

‖sij(φ(tk))‖1≤(‖sij(φ(tk))‖1+

应用引理1和引理2，就有

‖sij(t)‖1≤(‖sij(φ(tk))‖1+

证毕.

定理1若定义6中基本假设(i)和(ii)成立，且0≤τ

(ii) 对任意m∈Z+存在实数∈(0,1)使得

0

对于任意i∈vk+1，由式(2)知

(4)

(5)

令ωi(tk)=1-βi(tk)>0且

(6)

根据(i)，βi(tk)≥α.结合式(4)～(6)，可得

记

令

Hk(t)=H((xi(t))i∈vk),H(t)=H((xi(t))i∈v)

和

则有

xi(φ(tk))∈αHk(tk)+(1-α)H(tk).

因此

(7)

更进一步，令

Ωk=diam(Hk(tk)),

Ω(tk)=diam(H(tk)),

则由式(7)可得

(8)

根据命题1以及凸包的性质，可得下列时标类型的估计式：

(9)

(10)

(11)

Ω(φ(tk))≤Ω(tk).

(12)

er(tK+1,t1)[αKΩ1+(1-αK)Ω(t1)+

由于v1为单点集，Ω1=0.因此

经过反复迭代就有

此结果包含了文献[8-9]的结果.

注3通过定理1的证明可以知道，有两个因素影响MRNNs系统(1)的同步.一方面，直径Ω(t)在任意两个脉冲时刻之间持续增加.另一方面在每个脉冲时刻的作用使得直径减少.减少速率的估计可参考文献[20].(ii)保证了减少速率大于增加速率从而达到同步.所得结论也包括T=Z时的情形，下述推论说明了这一问题.

使T=Z，0≤τ

xi(n+1)=(I-C)xi(n)+Bfτ(xi(n-τ))+

Af(xi(n))i∈v,n≠nk.

(13)

(14)

其中n∈Z且{nk}⊆T为脉冲序列，则可以得到：

推论1基本假设(i)和(ii)成立.离散MRNNs系统(13)～(14)可以达成全局渐进同步，当且仅当下列条件满足.

0<(1+r)eηm((1+bτ)K-αK)≤，

其中ηm=n(m+1)K+1-nmK+1且m≥0.

3 数值仿真

例1考虑下列N=5的MRNNs系统：

(15)

fj(xj)=(1/2)(|xj+1|-|xj-1|),j=1,2,

C=diag{0.1,0.1}.

则a=-0.25，b=0.15.考虑图1所示的通信拓扑， 令点集序列v1={1}，v2={2,5}，v3={1,2,3,4,5}，可得K=2且{g2m+1,g2(m+1)}序列连通.与拓扑对应矩阵可表达如下:

图1 5个循环神经网络间的通信拓扑(m≥0)Fig.1 Communication topology among five MRNNs(m≥0)

脉冲序列由下式给出:

{0.9,1.6,2.7,3.4,4.5,5.2,6.3,7,8.1,

8.8,…}.

对于任意m≥0，取下式的最小值t2m+3-t2m+1=1.8(m=0,1,2,…)，可验证r∈R+且通过计算可得

er(t(m+1)K+1,tmK+1)[(1+bτ)K-αK]=

0.998<1.

因此定理1中(ii)满足.

图2 T上MRNNs(15)的状态轨迹Fig.2 State trajectories of MRNNs (15) on T

图3 T上MRNNs(15)的两个状态轨迹Fig.3 Two state trajectories of MRNNs (15) on T

根据定理1，式(15)中的5个神经网络可通过在通信拓扑下的凸包型脉冲控制达到时标T上的全局同步.数值模拟中初值为x11(s)=-0.2,x12(s)=0.1,x21(s)=-0.4,x22(s)=0.2,x31(s)=-0.6,x32(s)=0.3,x41(s)=-0.8,x42(s)=0.4,x51(s)=-1,x52(s)=0.5,s∈[-0.6,-0.2]∪{0}.所有的神经网络状态轨迹在图2中给出，最终在T上达到同步.图3给出了T上MRNNs两个分量状态轨迹的3D图.另外，5个神经网络中最大的状态差量定义为

那么当t→+∞时Δ(t)→0，如图4 所示.

图4 T上Δ(t)的变化Fig.4 Variation of Δ(t) on T

图5 MRNNs(15)在脉冲时刻的凸包Fig.5 Convex hull impulse instants of MRNNs (15)

在图5中MRNNs系统(15)在每个脉冲时刻的凸包都比前一个脉冲时刻更小，并且最后收缩到一点保证了网络的同步.

图6 例子中无脉冲时的MRNNsFig.6 MRNNs in example without impulse

例子中不施加脉冲控制的情况如图6所示，可以看到网络系统不同步，这意味着本文提出的脉冲切换控制策略可以有效地使MRNNs同步.

4 结 论

利用时标理论和序列连通，本文提出凸包型脉冲控制策略解决了混合时域上时滞MRNNs系统的全局同步问题.本文主要贡献为得到了既适用于完全连续时域和完全离散时域的结论，同时所得结果也可应用于离散和连续交替出现的混合时域.进而通过数值模拟的例子得到了验证.应用时标理论对神经网络相关问题进行研究可得到许多更广泛的结果，将在后续工作中继续推进.