单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,绝对经典RBF神经网络,绝对经典RBF神经网络,第1页,1.Gauss,（高斯）函数：,2.,反演,S,型函数：,3.,拟多二次函数：,称为基函数扩展常数或宽度，,越小，径向基函数宽度越小，基函数就越有选择性。,径向基函数（,RBF,）,绝对经典RBF神经网络,第2页,全局迫近和局部迫近,全局迫近网络,局部迫近网络,当神经网络一个或多个可调参数,(,权值和阈值,),对任何一个输出都有影响，则称该神经网络为全局迫近网络。,对网络输入空间某个局部区域只有少数几个连接权影响网络输出，则称该网络为局部迫近网络,学习速度很慢，无法满足实时性要求应用,学习速度快，有可能满足有实时性要求应用,绝对经典RBF神经网络,第3页,RBF,网络工作原理,函数迫近：,以任意精度迫近任一连续函数。普通函数都可表示成一组,基函数线性组合，,RBF,网络相当于用隐层单元输出构,成一组基函数，然后用输出层来进行线性组合，以完成,迫近功效。,分类：,处理非线性可分问题。,RBF,网络用隐层单元先将非线性可,分输入空间设法变换到线性可分特征空间（通常是高,维空间），然后用输出层来进行线性划分，完成份类功效。,绝对经典RBF神经网络,第4页,RBF,神经网络两种模型,正规化网络,RN,广义网络,GN,通用迫近器,模式分类,基本思想：,经过加入一个含有解先验知识约束来,控制映射函数光滑性，若输入一输出映射,函数是光滑，则重建问题解是连续，,意味着相同输入对应着相同输出。,基本思想：,用径向基函数作为隐单元“基”，组成隐含,层空间。隐含层对输入向量进行变换，将低维,空间模式变换到高维空间内，使得在低维,空间内线性不可分问题在高维空间内线性可分。,绝对经典RBF神经网络,第5页,两种模型比较,隐节点,=,输入样本数,隐节点,输入样本数,全部输入样本设为,径向基函数中心,径向基函数中心,由训练算法确定,径向基函数,取统一扩展常数,径向基函数扩展常数,不再统一由训练算法确定,没有设置阈值,输出函数线性中包含阈值参数，,用于赔偿基函数在样本集上,平均值与目标值之平均值之间差异。,RN,GN,绝对经典RBF神经网络,第6页,函数迫近问题（内插值）,普通函数都可表示成一组基函数线性组合，,RBF,网络相当于用隐层单元输出组成一组基函数，然后用输出层来进行线性组合，以完成迫近功效。,给定样本数据,寻找函数，使其满足：,绝对经典RBF神经网络,第7页,1.,网络隐层使用个隐节点。,2.,把全部个样本输入分别作为个隐节点中心。,3.,各基函数取相同扩展常数。,4.,确定权值可解线性方程组：,设第,j,个隐节点在第,i,个样本输出为：,可矩阵表示：,若,R,可逆，则解为,依据,Micchelli,定理可得，假如隐节点激活函数采取,径向基函数，且 各不相同，则线性方程组,有唯一解。,RBF,网络输出,绝对经典RBF神经网络,第8页,举例：,RBF,网络实现函数迫近,1.,问题提出：假设以下输入输出样本，输入向量为,-1 1,区间上等间隔数组成向量,P,对应期望值向量为,T,。,P=-1:0.1:1;,T=-0.9602-0.5770-0.0729 0.3771 0.6405 0.6600 0.4609 0.1336-0.-0.4344-0.5000-0.3930-0.1647 0.0988 0.3072 0.3960 0.3449 0.1816-0.0312-0.2189-0.3201;,%以输入向量为横坐标，期望值为纵坐标，绘制训练用样本数据点。,figure;,plot(P,T,+),title(训练样本),xlabel(输入矢量P),ylabel(目标矢量T),grid on,%目标是找到一个函数能够满足这21个数据点输入/输出关系，其中一个方法是经过构建径向基函数网络来进行曲线拟合,绝对经典RBF神经网络,第9页,2.,网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经元，输出层为线性神经元。,p=-3:0.1:3;a=radbas(p);figure;plot(p,a)title(,径向基传递函数,)xlabel(,输入,p)ylabel(,输出,a),grid on,%,每一层神经元权值和阈值都与径向基函数位置和宽度相关系，输出层线性神经元将这些径向基函数权值相加。假如隐含层神经元数目足够，每一层权值和阈值正确，那么径向基函数网络就完全能够准确迫近任意函数。,a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(,径向基传递函数之和,)xlabel(,输入,p)ylabel(,输出,a),grid on,%,应用,newb(),函数能够快速构建一个径向基神经网络，而且网络自动依据输入向量和期望值进行调整，从而进行函数迫近，预先设定均方差精度为,eg,以及散布常数,sc,。,eg=0.02;sc=1;net=newrb(P,T,eg,sc);,绝对经典RBF神经网络,第10页,3.,网络测试：将网络输出和期望值随输入向量改变曲线绘制在一张图上，就能够看出网络设计是否能够做到函数迫近。,figure;plot(P,T,+);xlabel(,输入,);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(,目标,输出,),grid on,绝对经典RBF神经网络,第11页,分类问题,低维空间：线性不可分 高维空间：线性可分,空间转换,关于对单层感知器讨论可知，若,N,维输入样本空间样本模式是线性可分，总存在一个用线性方程描述超平面，使两类线性可分样本截然分开。若两类样本是非线性可分，则不存在一个这么分类超平面。但依据,Cover,定理，非线性可分问题可能经过非线性变换取得处理。,Cover,定理能够定性地表述为：将复杂模式分类问题非线性地投射到高维空间将比投射到低维空间更可能是线性可分,绝对经典RBF神经网络,第12页,1,(x),X,2,X,1,2,(x),w,11,w,11,Output y,举例：逻辑运算异或分类,X,1,X,2,X,1,X,2,0,0,0,0,1,1,1,0,1,1,1,0,XOR,异或,空间变换前,绝对经典RBF神经网络,第13页,X,1,X,2,0,0,0.1353,1,0,1,0.3679,0.3679,1,0,0.3679,0.3679,1,1,1,0.1353,基函数,空间变换后,绝对经典RBF神经网络,第14页,RBF,学习算法,RBF,学习三个参数：,基函数中心,方差（扩展常数）,隐含层与输出层间权值,当采取,正归化,RBF,网络,结构时，隐节点数即样本数，基函数数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点权值。,当采取,广义,RBF,网络,结构时，,RBF,网络学习算法应该处理问题包含：怎样确定网络隐节点数，怎样确定,各径向基函数数据中心及扩展常数，以及怎样修正输出权值。,绝对经典RBF神经网络,第15页,两种方法中心选取,1.,中心从样本输入中选取,2.,中心自组织选取,常采取各种动态聚类算法对数据中心进行自组织选择，在学习过程中需对数据中心位置进行动态调整。惯用方法是,K-means,聚类，其优点是能依据各聚类中心之间距离确定各隐节点扩展常数。因为,RBF,网隐节点数对其泛化能力有极大影响，所以寻找能确定聚类数目标合理方法，是聚类方法设计,RBF,网时需首先处理问题。除聚类算法外，还有梯度训练方法、资源分配网络,(RAN),等,普通来说，样本密集地方中心点能够适当多些，样本稀疏地方中心点能够少些；若数据本身是均匀分布，中心点也能够均匀分布。总之，选出数据中心应含有代表性。径向基函数扩展常数是依据数据中心散布而确定，为了防止每个径向基函数太尖或太平，一个选择方法是将全部径向基函数扩展常数设为,绝对经典RBF神经网络,第16页,一,.,自组织中心选取法,1989,年，,Moody,和,Darken,提出了一个由两个阶段组成混合学习过程思绪。,两个步骤：无监督自组织学习阶段,有监督学习阶段,其任务是用自组织聚类方法为隐层节点径向基函数确定适当数据中心，并依据各中心之间距离确定隐节点扩展常数。,普通采取,Duda,和,Hart1973,年提出,k-means,聚类算法。,其任务是用有监督学习算法训练输出层权值，普通采取梯度法进行训练。,绝对经典RBF神经网络,第17页,在聚类确定数据中心位置之前，需要先预计中心个数,(,从而确定了隐节点数,),，普通需要经过试验来决定。因为聚类得到数据中心不是样本数据 本身，所以用 表示第,n,次迭代时中心。应用,K-means,聚类算法确定数据中心过程以下。,（,1,）初始化。选择 个互不相同向量作为初始聚类中心,（,2,）计算输入空间各样本点与聚类中心点欧式距离,1.,中心学习,绝对经典RBF神经网络,第18页,(3),相同匹配。令 代表竞争获胜隐节点下标，对每一个输入样本 依据其与聚类中心最小欧式距离确定其归类,即当,时，被归为第 类，从而将全部样本划分为 个子集 每个子集,组成一个以聚类中心为经典代表聚类域。,绝对经典RBF神经网络,第19页,（,4),更新各类聚类中心。采取竞争学习规则进行调整,将,n,值加,1,，转到第,(2),步。重复上述过程直到。,其它,绝对经典RBF神经网络,第20页,2.,确定扩展常数,各聚类中心确定后，可依据各中心之间距,离确定对应径向基函数扩展常数。令,则扩展常数可取为,为重合系数,绝对经典RBF神经网络,第21页,3.,学习权值,权值学习能够用,LMS,学习算法,注意：,LMS,算法输入为,RBF,网络隐含层输出,RBF,网络输出层神经元只是对隐含层,神经元输出加权和。,所以,RBF,网络实际输出为,其中,用,LMS,方法求解,用,伪逆,方法求解,为期望响应 是矩阵 伪逆,伪逆求法,奇异矩阵或非方阵矩阵不存在逆矩阵，若,XAX=A,AXA=X,则,X,称为,A,伪逆阵。在,matlab,中用,pinv,（,A,）求伪逆,绝对经典RBF神经网络,第22页,绝对经典RBF神经网络,第23页,二,.,有监督选取中心算法,RBF,中心以及网络其它自由参数都是经过有监督学习来确定，以单输出,RBF,为例,定义目标函数,误差信号,寻求网络自由参数 （与中心 相关）使目标函数 到达最小,N,是训练样本个数,绝对经典RBF神经网络,第24页,1.,输出层权值,2.,隐含层,RBF,中心,绝对经典RBF神经网络,第25页,3.,隐含层,RBF,扩展,其中 是 导数,绝对经典RBF神经网络,第26页,绝对经典RBF神经网络,第27页,三,.,随机选取中心法,条件：经典训练样本，隐含单元中心是 随机在输入样本中选取，且中心固定。所以此算法学习参数只有两个：,方差和权值,四,.,OLS,学习算法,RBF,神经网络性能严重依赖于所选择中心数目和位置是否适当实际中，人们普通是随机地从输入模式中选择中心，或用某种聚类算法,(,如,:K,均值算法,),选择出确定数目标中心，这么通常造成所设计网络性能不是很差就是规模过大，甚至造成数值病态问题,.Chen,Cowan,Grant(1992,）提出,OLS(,正交最小二乘,),前向选择算法将,RBF,中心选择归结为线性回归中子模型选择问题这种算法能自动地防止网络规模过大和随机选择中心带来数值病态问题，是一个有效自动选择中心算法。,绝对经典RBF神经网络,第28页,谢 谢,绝对经典RBF神经网络,第29页,