单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,BP,算法,(1),网络的构成,神经元的网络输入：,net,i,=x,1,w,1i,+x,2,w,2i,+x,n,w,ni,神经元的输出：,输出函数分析,0.5,f(net),0.25,o,0,1,1,（0,0.5）,net,（0,0）,o,应当将net的值尽量把握在收敛比较快的范围内,可以用其它的函数作为激活函数，只要该函数是处处可导的,BP网络中是基于最小平方误差准则和梯度下降优化方法来确定权值调整法则。,网络的拓扑构造,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,W,(1),W,(2),W,(3),W,(L),网络的拓扑构造,BP网的构造,输入向量、输出向量的维数、网络隐蔽层的层数和各个隐蔽层神经元的个数的预备,试验：增加隐蔽层的层数和隐蔽层神经元个数不愿定总能够提高网络精度和表达力气。,BP网一般都选用二级网络。,三层两级神经网络模型,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,W,V,3 算法的理论根底,根本假设,网络含有L层,联接矩阵：W(1)，W(2)，W(L),第k层的神经元：Hk个,自变量数：n*H1+H1*H2+H2*H3+HL*m,样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys),用E代表EP，用X，Y代表XP，YP,X=(x1，x2，xn),Y=(y1，y2，ym),该样本对应的实际输出为,O=o1，o2，om,误差测度,用抱负输出与实际输出的方差作为相应的误差测度,抱负输出也就是训练数据中的输出值,神经网络的实际输出,第K层(有Hk个神经元隐含层和输出层神经元的操作,输入整合：,神经元j的输出激活,Oi=前层神经元的输出,w,ij,w,ij,w,ij,Oj,最速下降法，要求E的微小点,w,ij,E,0，此时w,ij,0,取,E,0,w,ij,而其中的,所以，,最速下降法，要求E的微小点,W,ij,=表示第k-1层神经元i与第k层第j个神经元j之间的连接权重。,net,j,表示第k层神经元j的总输入,O,i,表示第k-1层神经元的输出,令,所以,w,ij,=,j,o,i,为学习率,最速下降法，要求E的微小点,每次训练时，为,要确定,W,ij,关键是确定此值,问题转化成如何求得网络中各神经元j的,状况1：ANj为输出层神经元,oj=f(netj),简洁得到,从而,的问题转化成确定,AN,j,为输出层神经元,所以，,故，当ANj为输出层的神经元时，它对应的联接权wij应当依据以下公式进展调整：,AN,j,为输出层神经元,状况2：ANj为隐蔽层神经元,函数,而,其中，Ok是Oj隐含层神经元j的输出的函数。,ANj为隐蔽层神经元,net,k,=,o,j,o,2,o,1,o,Hh,net,k,是 o,j,下一级的神经元的网络输入,j神经元的输出为K层的输入，即K为j神经元所在层的下一层。,ANj为隐蔽层神经元,所以，,而,于是，,ANj为隐蔽层神经元,或,ANj为隐蔽层神经元,于是,2023-12-04,也就是说，对于隐含层H的神经元j来说，将全部与之相连的输出神经元或者是下一层的隐含层的神经元k输出端的误差乘以对应的权值wjk，并求和，作为隐含层神经元j的输出误差。所以这个过程也成为“误差反向传播”。,