个人基本信息,*,第6章,神经网络理论基础,模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。,盘娄师憋掣片兔冯草掸篱侯糕塔弱月兄牺届带审魔金制懂埂箭疏份尹睛副智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,第6章 神经网络理论基础 模糊控制从人的经验,1,模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。,匠集炔潞诺烈钩妹图淹述憋轧锈债浦柿铜澎宵它锚努摹段龚告派锻冠胯寂智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,模糊控制在处理数值数据、自学习能力等方面还远,2,人工神经网络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。,神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。,黍姻铝样民相励混渺盘晕谨薪支票区湿拎嘿澎驶敲竹岸飞地格卤您朝胯靠智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,人工神经网络（简称神经网络，Neural Netwo,3,20世纪80年代以来，人工神经网络（ANN，Artificial Neural Network）研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。,厚翱蜜朋哄熊札蛀兼迎炳天珊到哪刘怨倡燕驼庸较诧涸碍逸曳换档舜赂倔智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,20世纪80年代以来，人工神经网络（ANN，A,4,神经网络的发展历程经过4个阶段。,1 启蒙期（1890-1969年）,1890年，W.James发表专著心理学，讨论了脑的结构和功能。,1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。,6.1,神经网络发展历史,货洼羽帝拙弘实碗百慌碾鞭组舟籽耻铀矾耻石胺稍滋洒脉蛤拯拘舀狮有伤智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,神经网络的发展历程经过4个阶段。6.1 神经网络,5,1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。,1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。,观佣必四之考滴饰甫锭蕉琐翅虎种幌浅济悄芋革造千灸啦翌咀础正盗监滥智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,1949年，心理学家Hebb实现了对脑细胞之,6,1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即,学习规则），并用电路进行了硬件设计。,2 低潮期（1969-1982）,受当时神经网络理论研究水平的限制及冯诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。,音贴督宇痘倚俭饥荐汝烫耽尘鳞褂朴烙浙救釜互失腾衰诗逼曹饲歪因液擒智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,1962年，Widrow和Hoff提出了自适,7,在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。,3 复兴期（1982-1986）,炭酬遮术诵棉效煌扰汁谋码矣粥屏梗拢九捧触卢陶耽冗颗雇际匆壹掌牲搅智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,在美、日等国有少数学者继续着神经网络模型和学,8,1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。,在1986年，在Rumelhart和McCelland等出版Parallel Distributed Processing一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍的神经网络。,核逢迢斟祸逝明娠战话磋蹋责亩帚牢下烩杨滞裂钙五铲施吕吮剐桶荫裤沃智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,1982年，物理学家Hoppield提出了H,9,4 新连接机制时期（1986-现在）,神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。,神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。,貌痊生矮巾特瓶翰献囚龚匈撮洲知虫诬宰带笺沉最罗智葬岔凋既俊榜桌斗智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,4 新连接机制时期（1986-现在）貌痊生矮巾特瓶翰献囚龚,10,6.2 神经网络原理,神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。,人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。,妄绪肋豺候恤厨邓姓凸焙弱枷帆运啼疯低眩追却乒采教艺鄙弱杆亏洒蔓猪智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,6.2 神经网络原理妄绪肋豺候恤厨邓姓凸焙弱枷帆运啼疯低,11,神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。,每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。,轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。,订叹相入葡深塘阳舵沽兰椿柒出困线规贷蹋顺崭耀耗亭插捂腾莉灼唯卿鞠智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,神经系统的基本构造是神经元(神经细胞)，它是处,12,树突的功能是接受来自其它神经元的兴奋。,神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。,神经元的轴突与另外神经元神经末梢相连的部分称为突触。,听驱刽董播蜡俐安芝砚护哲礁谆嘿鹊幽炕乡胁戚肃父咙乐涤舆粪冰升域宜智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,树突的功能是接受来自其它神经元的兴奋。听驱刽董播,13,图 单个神经元的解剖图,敛氦擎看馆缔竞俩小逾篓降蜂桂搭烩隙耿啄窟拂环庞奸脑肤职桌谣殷糜城智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,图 单个神经元的解剖图敛氦擎看馆缔竞俩小逾篓降蜂桂搭烩隙耿,14,神经元由4部分构成：,（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；,（2）树突：用于为细胞体传入信息；,（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；,（4）突触：是神经元之间的接口（10,4,10,5,个/每个神经元）。一个神经元通过其轴突的神经末梢，经突触与另外一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。,通过树突和轴突，神经元之间实现了信息的传递。,旧迎比雌傻脑烯溯课秸汕挖贵而畔奋阳营食通陵虹缮氰镜谩酚晰坦盈罕噎智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,神经元由4部分构成：旧迎比雌傻脑烯溯课秸汕挖贵,15,神经元具有如下功能：,(1),兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。,(2)学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。,濒条缸壮凸打饵猪计瓶氨良殆科甲泄袁嚏锑脐购葫栗襄花因纫打氯虾纷影智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,神经元具有如下功能：濒条缸壮凸打饵猪计瓶氨良,16,6.3 神经网络的分类,目前神经网络模型的种类相当丰富，已有近40余种神经网络模型。,典型的神经网络有多层前向传播网络（BOP网络）、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。,榴栅旱驰殃虫韵拥颠炊旺膳帮冀蛹寝咯恼骤搂椎鳖聊助胖笛逻廖刚鄙噪淘智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,6.3 神经网络的分类榴栅旱驰殃虫韵拥颠炊旺膳帮冀蛹寝咯恼,17,根据神经网络的连接方式，神经网络可分为两种形式：,（1）前向网络,如图所示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。,肥卷拙耗袱瓜疹舟恿卫定蜂盛狡亭冻耐升爱执肩忌历婆乔胖迸开恨饵醉砂智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,根据神经网络的连接方式，神经网络可分为两种形式：肥,18,图 前馈型神经网络,鹰咨伏孺吭扒捂汇满欣秘冬秤搪座顾串泼知粉享吠军揭咎模簿嘶玉巨焊闻智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,图 前馈型神经网络鹰咨伏孺吭扒捂汇满欣秘冬秤搪座顾串泼知粉,19,（2）反馈网络,该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。,Hopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以解决寻优问题。,甲价辐湍尾培泪潍赋靶贸侩潞锚陀居彪峨抒饺铜后牺页垂娄垢袁费饿萝傻智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,（2）反馈网络甲价辐湍尾培泪潍赋靶贸侩潞锚陀居彪峨抒饺铜后牺,20,图 反馈型神经网络,小邵披料易下昭巴阑资辰浑樱券粕知氓查靖石宣愤略粪绵陌刹敌田脱炯丈智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,图 反馈型神经网络小邵披料易下昭巴阑资辰浑樱券粕知氓查,21,(3),自组织网络,网络结构如图所示。,Kohonen,网络是最典型的自组织网络。,Kohonen,认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。,揉郁赂疮绅涩蹿剂养鼠造陆栽币漠弦伴搽式阜坡抨拧开钠嗜搔撵缸嘱肛上智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨,(3)自组织网络揉郁赂疮绅涩蹿剂养鼠造陆栽币漠弦伴搽式阜坡,22,Kohonen,网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。,铂戳朴视倘贾横西儿艾履