单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,BP神经网络模型与学习算法,概述,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法,BP算法根本原理,利用输出后的误差来估量输出层的直接前导层的误差，再用这个误差估量更前一层的误差，如此一层一层的反传下去，就获得了全部其他各层的误差估量。,J.McClelland,David,Rumelhart,BP神经网络模型,三层BP网络,BP神经网络模型,激活函数,必需处处可导,一般都使用S型函数,使用S型激活函数时BP网络输入与输出关系,输入,输出,BP神经网络模型,输出的导数,依据S型激活函数的图形可知,对神经网络进展训练，应当将net的值尽量把握在收敛比较快的范围内,BP网络的标准学习算法,学习的过程：,神经网络在外界输入样本的刺激下不断转变网络的连接权值,以使网络的输出不断地接近期望的输出。,学习的本质：,对各连接权值的动态调整,学习规章：,权值调整规章，即在学习过程中网络中各神经元的连接权变化所依据确实定的调整规章。,BP网络的标准学习算法-算法思想,学习的类型：有导师学习,核心思想：,将输出误差,以某种形式,通过隐层向输入层逐层反传,学习的过程：,信号的正向传播 误差的反向传播,将误差分摊给各层的全部单元各层单元的误差信号,修正各单元权值,BP网络的标准学习算法-学习过程,正向传播：,输入样本输入层各隐层输出层,推断是否转入反向传播阶段：,假设输出层的实际输出与期望的输出教师信号不符,误差反传,误差以某种形式在各层表示修正各层单元的权值,网络输出的误差削减到可承受的程度,进展到预先设定的学习次数为止,BP网络的标准学习算法,网络构造,输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元,变量定义,输入向量;,隐含层输入向量；,隐含层输出向量;,输出层输入向量;,输出层输出向量;,期望输出向量;,BP网络的标准学习算法,输入层与中间层的连接权值:,隐含层与输出层的连接权值:,隐含层各神经元的阈值:,输出层各神经元的阈值:,样本数据个数:,激活函数:,误差函数：,BP网络的标准学习算法,第一步，网络初始化,给各连接权值分别赋一个区间-1，1内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。,其次步,随机选取第 个输入样本及对应期望输出,BP网络的标准学习算法,第三步，计算隐含层各神经元的输入和输出,BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。,BP网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。,BP网络的标准学习算法,BP网络的标准学习算法,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,BP网络的标准学习算法,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,BP网络的标准学习算法,第八步，计算全局误差,第九步，推断网络误差是否满足要求。当误差到达预设精度或学习次数大于设定的最大次数，则完毕算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,BP网络的标准学习算法,BP算法直观解释,状况始终观表达,当误差对权值的偏,导数大于零时，权值,调整量为负，实际输,出大于期望输出，,权值向削减方向调整，,使得实际输出与期望,输出的差削减。,w,ho,e,0，此时w,ho,0,BP网络的标准学习算法,BP算法直观解释,状况二直观表达,当误差对权值的偏导数,小于零时，权值调整量,为正，实际输出少于期,望输出，权值向增大方向,调整，使得实际输出与期,望输出的差削减。,e,0,w,ho,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和根本功能,函 数 名,功 能,newff(),生成一个前馈BP网络,tansig(),双曲正切S型(Tan-Sigmoid)传输函数,logsig(),对数S型(Log-Sigmoid)传输函数,traingd(),梯度下降BP训练函数,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和根本功能,newff,功能 建立一个前向BP网络,格式 net=newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF),说明 net为创立的新BP神经网络；PR为网络输入取向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和根本功能,tansig,功能 正切sigmoid激活函数,格式 a=tansig(n),说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。,logsig,功能 对数Sigmoid激活函数,格式 a=logsig(N),说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,BP神经网络学习算法的MATLAB实现,例2-3，下表为某药品的销售状况，现构建一个如下的三层BP神经网络对药品的销售进展猜测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进展猜测，猜测方法承受滚动猜测方式，即用前三个月的销售量来猜测第四个月的销售量，如用1、2、3月的销售量为输入猜测第4个月的销售量，用2、3、4月的销售量为输入猜测第5个月的销售量.如此反复直至满足猜测精度要求为止。,月份,1,2,3,4,5,6,销量,2056,2395,2600,2298,1634,1600,月份,7,8,9,10,11,12,销量,1873,1478,1900,1500,2046,1556,BP神经网络学习算法的MATLAB实现,%以每三个月的销售量经归一化处理后作为输入,P=0.51520.81731.0000;,0.81731.00000.7308;,1.00000.73080.1390;,0.73080.13900.1087;,0.13900.10870.3520;,0.10870.35200.0000;”;,%以第四个月的销售量归一化处理后作为目标向量,T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;,%创立一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即节中所描述的标准学习算法,net=newff(0 1;0 1;0 1,5,1,”tansig”,”logsig”,”traingd”);,=15000;,=0.01;,%设置学习速率为0.1,LP.lr=0.1;,net=train(net,P,T);,BP神经网络学习算法的MATLAB实现,BP网络应用于药品猜测比照图,由比照图可以看出猜测效果与实际存在确定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小,BP神经网络的特点,非线性映射力气,能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能供给足够多的样本模式对供网络进展学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。,泛化力气,当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种力气称为泛化力气。,容错力气,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,小结,BP算法背景,BP神经网络模型,BP算法,根本思想,推导过程,实现,BP神经网络的MATLAB函数,BP神经网络的应用实例,BP神经网络与感知器神经网络的比照,感谢！,