带递归单元的模糊感知器的δ-规则的有限收敛性

刘 燕, 阎 慧 臻, 刘 超, 姜 行 健, 杨 开 兵

( 1.大连工业大学 信息科学与工程学院, 辽宁 大连 116034; 2.大连理工大学 机械工程与材料能源学部, 辽宁 大连 16024 )

0 引 言

递归神经网络是指具有递归结构的神经网络,它们主要用来实现时间序列样本的分析及应用。网络结构分为全局递归连接和局部递归连接。全局递归神经网络结构复杂,难于训练和分析,在应用时需要将其结构简化。一种简单而自然的方法是对感知器引入反馈连接,其学习和训练依旧以前传为主,同时又包含反馈连接。这种网络的反馈使其输出不仅依赖当前的输入,还和上一时刻的输出有关,从而使网络具有动态记忆能力。

文献[1-3]对最简单的模糊神经网络即模糊感知器提出一种学习算法,并证明在一定条件下,该算法的有限收敛性。本文将对带递归单元的模糊感知器的学习算法收敛性问题进行研究。

1 带递归单元的模糊感知器网络结构及算法

1.1 带递归单元的模糊感知器结构

ζ(ξk)=g(max(W∘ξk,λ∧ζk-1))=

(1)

式(1)中,∨、∧分别为取大、取小运算,∘为合成算子,W=(w1,…,wn)T为权重向量,wj为连接第j个输入神经元和输出神经元的权值,连接递归神经元和输出神经元的权值为λ∈[0,1]。

图1 具有n-1-1结构的递归模糊感知器

1.2 完全随机输入的带递归的模糊δ-规则

(2)

λk+1=f(λk+Δλk)=f(λk+η(Ok-ζk))

(3)

其中,l=1,…,n,k=0,1,…,且

2 样本模糊可分及样本集性质

为说明方便,记理想输出为O(s)=0和1的样本分别为Xm和Yp,m=1,…,M；p=1,…,P；1≤M,P

先定义两个集合:DM={1,…,M},DP={1,…,P}。

定义1若存在一个模糊向量A={a1,…,an},使得

(4)

成立,则称该训练样本模糊可分。

记模糊向量A中分量元素≥0.5的下标集合为E,分量元素<0.5的下标集合记为F,显然有E∪F={1,…,n}。

由假设1易得性质1～3[1]:

性质1E≠Φ且F≠Φ。

3 有限收敛定理及证明

模糊感知器常用来解决分类问题,若理想输出等于实际输出则有限收敛,定义如下：

(5)

成立,则称该学习算法有限收敛。

若σ2=0,任取η,则基于随机输入的带递归的模糊δ-规则有限收敛。

证明首先对学习算法作3点说明。

则max(Wk∘Yp,λk∧ζk-1)≥Wk∘Yp≥0.5

ζk=g(max(Wk∘Yp,λk∧ζk-1))=1=Ok

由算法(2)知

l=1,…,n

λk+1=f(λk+η(Ok-ζk))=

f(λk+η(1-1))=λk

由算法(2),当权值第k+1次被真正更新,则

λk+1=f(λk+η(Ok-ζk))=f(λk-η)

(3)同说明(2)的推导,可得当λk∧ζk-1≥0.5,样本Xm,Φm=φ,m∈DM令权值严格减小;当λk∧ζk-1<0.5,对权值更新不起作用。

下面证明,权值有限次更新后达到收敛,并给出学习率η的选取范围。

对Xm,Φm=φ,m∈DM,易证ζ(Xm)=O(Xm)。综上,该学习算法收敛。

[1] YANG Jie, WU Wei, SHAO Zhi-qiong. A new training algorithm for a fuzzy perceptron and its convergence[J]. Lecture Notes in Computer Science, 2005, 3496:89-118.

[2] 刘燕,杨洁. 带阈值的模糊感知器的收敛性[J]. 高等学校计算数学学校, 2005, 27(专辑):320-323.

[3] 刘燕,阎慧臻,刘超. 利用模糊感知器解决模糊可分样本的分类问题[J]. 大连工业大学学报, 2009, 28(1):66-69.

(LIU Yan, YAN Hui-zhen, LIU Chao. Classification of fuzzily separable training patterns based on fuzzy perceptron[J]. Journal of Dalian Polytechnic University, 2009, 28(1):66-69.)

[4] WU Wei, SHAO Zhi-qiong. Convergence of online gradient methods for continuous perceptrons with linearly separable training patterns[J]. Applied Mathematics Letters, 2003, 16(7):999-1002.