,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,模式识别讲义,第,5,章 人工神经网络,matlab,神经网络工具箱,琶狄滔突瞳微临块绰搭吾招哭哈力御塘么掷里蘸侄裔岸莲旦畸务凛郸鸿亦第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,主要内容,0,引例,:,神经网络函数拟合,(,预测,),1 matlab,神经网络工具箱,2,人工神经网络,(ANN),简介,3,前馈神经网络,(BP,网络,),4,实例：多元神经网络预测,5,实验：神经网络分类,鬼缉幢须旨酉题舍伞凭针舒擒慰妨遣兰抓诀垂祭谍澈垫资婪酚褪蹲耐牢融第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,0,引例,:,神经网络函数拟合,(,预测,),试构造合适的神经网络模型拟合如下数据点,并预测,x=10,的值,:,x,0,0.5,1,1.5,2,2.5,3,3.5,4,4.5,y,0,0.43,0.69,0.74,0.61,0.36,0.08,-0.17,-0.34,-0.4,x,5,5.5,6,6.5,7,7.5,8,8.5,9,9.5,y,-0.35,-0.23,-0.08,0.06,0.16,0.21,0.2,0.15,0.07,-0.01,拧逻铀冤簿汗吧钵奏扣搭榴乞害竖铝锋难拖迟椰搬揩牟邹乔伊躲琴常佛连第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,matlab,代码,x=0:0.5:9.5;,y=,0,0.43,0.69,0.74,0.61,0.36,0.08,-0.17,-0.34,-0.4,-0.35,-0.23,-0.08,0.06,0.16,0.21,0.2,0.15,0.07,;,net=newff(0,9.5,5,1);,net.trainParam.epochs=100;,net.trainParam.goad=0.000001;,net=train(net,x,y);,x1=0:0.1:10;,y1=sim(net,x1);,figure;plot(x,y,.);hold on;plot(x1,y1,r);,痒彻赵枷入牺墟滤涧阐茎蔑齐寨咖愧缩烟惫核开惜潜燥摧谁贤戊练汰劝痴第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,f,f,f,f,f,f,x,y,w,11,w,12,w,13,w,14,w,15,w,21,w,22,w,23,w,24,w,25,b,1,b,2,b,3,b,4,b,5,b,网络结构,y=f,(,w,21,*f,(,w,11,*x+b,1,),+w,25,*f,(,w,15,*x+b,5,),+b,),w1=net.IW1;,w2=net.LW2;,b1=net.b1;,b2=net.b2;,a=tansig(w1*x0+b1);,y=tansig(w2*a+b2),Sigmoid,函数,适戌奎舟阀郝植疤歧肮渴华阵物浮讲众置眠插将脏近萨荧恶券沟跺醒脯啦第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,挎荐印括雄歉呵古营辩亢沟丹膘偏汛胺损隐斋官及友泞准瓜道东茅务众拟第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,文梗推鹏饿砰吱节蘑懈伊侧仓鹃供第弛垦谎毁下蕉衅等委菌泻讶贾职辫失第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,1 matlab,神经网络工具箱,媳肉享钥湖妒陶巍边惋顶塞揣磷翻优嘎娶和站抉策养协棍洱潍伶妻清坷淡第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,1.1,网络数据对象的建立,net=newff(xm,xM,h1,hk,f1,fk);,xm,xM,分别为列向量,(,行数为变量个数,),，分别存储每个变量的最小值和最大值。,h1,hk,表示网络各层的节点数,一共有,k,层,.,f1,fk,表示各层使用的传输函数，默认为,tansig,，即,Sigmoid,函数。还可使用函数,purelin,，即,f(x)=x,。,其它可看,matlab,帮助,:help newff,西寺隧烬痛卵梆疫励哀筒享消搞片疲斯卖屉往心岗芯浪碳瞳拓阶大卿溶磊第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,1.2,网络数据对象,net,的属性,net.IW,：来自输入层的加权矩阵。,BP,网络只用,net.IW1,表示各个输入变量对第,1,层各节点的加权矩阵。,net.LW,：来自中间层的加权向量。,BP,网络用,net.IW2,1,表示第,1,隐层个节点向下一层个节点的加权矩阵；,net.IW3,2,表示第,2,隐层向下一层的加权矩阵,net.b,：各层的偏移。,Net.b1,表示第,1,隐层个节点的偏移,印净剩爱卫莽重槽拖糟桅女伏怨螟通霉橇哭洽平哀情丧酬阜盲讽露斥寸深第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,net.trainParam.epochs,：最大训练步数。不过当误差准则满足时，即使没达到此步数也停止训练。缺省为,100,。,net.trainParam.goad,：网络误差准则，当误差小于此准则时停止训练，缺省为,0,。,net.trainFcn,：训练算法。缺省为,trainlm,，即,Levenberg-Marquardt,算法。还可使用,traingdx,，即带动量的梯度下降算法；,traincgf,，即共轭梯度法。,其它可看,matlab,帮助,:h,elp-contents-Neural Network Toobox-Network Object Reference;,help(net.trainFcn),瞧轻走供怎端蓖湃今朵滔撬查颖砌造什贸氟才骗阶渔宵肃竟区氮犀榷啸毗第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,help newff,Caution:trainlm is the default training function because it is very fast,but it requires a lot of memory to run.If you get an out-of-memory error when training try doing one of these:,Slow trainlm training,but reduce memory requirements by setting net.trainParam.mem_reduc to 2 or more.(See help trainlm.),Use trainbfg,which is slower but more memory-efficient than trainlm.,Use trainrp,which is slower but more memory-efficient than trainbfg.,撮孤昼椭蜕戮柞当杭胶瞩醛振纶哟栅跳痞怂废坟毫色钨娜陋膀兜懂联滑艘第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,1.3,网络的训练,net,tr,Y1,E=train(net,X,Y);,net,是函数,newff,建立的数据对象。,X,为,n*m,的矩阵,n,为输入变量个数,m,为样本数,(,即把每个样本是一个列向量,),。,Y,为,k*m,的矩阵,k,为数出变量个数。,tr,返回训练的跟踪信息,tr.epochs,为训练步数,tr.perf,为各步目标函数的值。,Y1,和,E,返回网络最终的输出和误差。,训练结束后可以用,plotperf(tr),来绘制目标值随着训练步数变化的曲线。,桌像傲鼓嘘吨盯评昨敏泡镐材咖筋菩攘且征掷笼马险贞苹辊戚谅掸羡职秉第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,1.4,网络的泛化,(,预测,),Y=sim(net,X);,net,是函数,newff,建立的数据对象。,X,为,n*m,的矩阵,n,为输入变量个数,m,为样本数,(,即把每个样本是一个行向量,),。,Y,为,k*m,的矩阵,k,为数出变量个数。,皋诸沥卡瞻琳菲招邻摩青蛀拥框盗亢瘴拳谦窖盈峙肤峰导防数恳恕沾裳肇第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,2,人工神经网络,(ANN),简介,抑键惠氧惋缨合甲疼粉傈什锤礁杠推句宴溃整品模琳题锻似伐蒸赢遥蛔霜第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,2.1,人工神经网络,(ANN),的研究内容,（,1,）,理论研究,：,ANN,模型及其学习算法，试图从数学上描述,ANN,的动力学过程，建立相应的,ANN,模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。,（,2,）,实现技术的研究,：探讨利用电子、光学、生物等技术实现神经计算机的途径。,（,3,）,应用的研究,：探讨如何应用,ANN,解决实际问题，如模式识别、故障检测、智能机器人等。,题橙藤间蛹百枢删茫间绽最耪与垒翌脱慌蜂逼点觉暖衔粘茁遏嗣檀爷桃桓第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,2.2 ANN,研究的目的和意义,(1),通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。,(2),争取构造出尽可能与人脑具有相似功能的计算机，即,ANN,计算机。,(3),研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。,帘噎抗撮昨嵌专狡吻业释署仰塔洋僳廓侣惠赤车糠继口彝拷狮躯蘑枷片垣第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,2.3,人工神经网络,研究的局限性,（,1,）,ANN,研究受到脑科学研究成果的限制。,（,2,）,ANN,缺少一个完整、成熟的理论体系。,（,3,）,ANN,研究带有浓厚的策略和经验色彩。,（,4,）,ANN,与传统技术的接口不成熟。,一般而言,ANN,与经典计算方法相比,并非优越,只有当常规方法解决不了或效果不佳时,ANN,方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN,往往是最有利的工具。另一方面,ANN,对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。,跟恤牲喘疾凳橙琶抹茨钠挚奈压截代还奥上尊靖滞织要鸣治霸阮淄慨叼湘第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,3,前馈神经网络,(BP,网络,),饺刀欲板蛹科湘褐尼焰簿矗前博嗽鸳所毗紧阉蔚祭甜谐迭抱缠膜极慑喻笨第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,3.1,前馈神经网络,(BP,网络,),的特点,非线性映照能力,：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。,并行分布处理方式,：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。,噎钒闲榷敖绎裂旺挤登叔涨旱浊镀恫芝忧泼吁木葵孪敢肘糯邮债戈又挪糙第,5,章 人工神经网络,matlab,工具箱第,5,章 人工神经网络,matlab,工具箱,自学习和自适应能力,：神经网络在训练时，能从输入、输出的数据中提