单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,计算机视觉研究所,*,Convolutional Neural Networks,卷积神经网络,1,Convolutional Neural Networks,1,Contents,机器学习，神经网络，深度学习之间的关系,什么是神经网络,梯度下降算法,反向传播算法,神经网络的训练,什么是卷积,什么是池化,LeNet-5,其它的工作,2,Contents机器学习，神经网络，深度学习之间的关系2,2,Convolutional Neural Networks,3,机器学习，神经网络，深度学习之间的关系,Convolutional Neural Networks3,3,Convolutional Neural Networks,4,什么是神经网络？,人工神经网络（,Artificial neural network,ANN,），简称神经网络（,NN,）,神经网络其实就是按照一定规则连接起来的多个神经元,神经元：,每个连接都有一个权值,图,1.,一个全连接的神经网络,Convolutional Neural Networks4,4,Convolutional Neural Networks,梯度下降算法,5,梯度下降算法是用来求函数最小值的算法,每次沿着梯度的反方向，即函数值下降最快的方向，去修改值，就能走到函数的最小值附近（之所以是最小值附近而不是最小值那个点，是因为我们每次移动的步长不会那么恰到好处，有可能最后一次迭代走远了越过了最小值那个点）,Convolutional Neural Networks梯,5,Convolutional Neural Networks,反向传播算法（,Back,Propagation,）,反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度，简单的理解就是链式法则,6,根据链式法则，我们求,e,对,a,的偏导和,e,对,d,的偏导是如下所示,:,可以看出，它们都求了,e,对,c,的偏导,。对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的,BP,算法则机智地避开了这种冗余，,BP算法是反向(自上往下)来,求偏导的。,Convolutional Neural Networks反,6,Convolutional Neural Networks,梯度下降算法,+,反向传播算法,7,Convolutional Neural Networks梯,7,Convolutional Neural Networks,8,Convolutional Neural Networks,8,Convolutional Neural Networks,9,Convolutional Neural Networks,9,Convolutional Neural Networks,10,Convolutional Neural Networks,10,Convolutional Neural Networks,什么是卷积？,11,右图展示了卷积的过程，和信号处理的卷积有所区别,卷积降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量,黄色部分是卷积核,Convolutional Neural Networks什,11,Convolutional Neural Networks,什么是池化？,12,池化层主要的作用是,下采样,，通过去掉,Feature Map,中不重要的样本，进一步减少参数数量。,池化的方法很多，最常用的是,Max Pooling,。,Max Pooling,实际上就是在,n*n,的样本中取最大值，作为采样后的样本值。右图是,2*2 max,Convolutional Neural Networks什,12,Convolutional Neural Networks,LeNet-5,13,Convolutional Neural NetworksL,13,LeNet-5,1.,输入图像是,32x32,的大小，卷积核的大小是,5x5,的，由于不考虑对图像的边界进行拓展，则卷积核将有,28x28,个不同的位置，也就是,C1,层的大小是,28x28,。这里设定有,6,个不同的,C1,层，每一个,C1,层内的权值是相同的。,2.S2,层是一个下采样层，即池化层。在斯坦福关于深度学习的教程中，这个过程叫做,Pool,。但在,LeNet-5,系统，下采样层比较复杂，由,4,个点下采样的加权平均为,1,个点，因为这,4,个加权系数也需要学习得到，这显然增加了模型的复杂度。,14,LeNet-51.输入图像是32x32的大小，卷积核的大小,14,LeNet-5,3.,根据对前面,C1,层同样的理解，我们很容易得到,C3,层的大小为,10 x10.,只不过，,C3,层的变成了,16,个,10 x10,网络，有,16,个卷积核。,如果,S2,层只有,1,个平面，那么由,S2,层得到,C3,就和由输入层得到,C1,层是完全一样的。但是，,S2,层由多层，那么，只需要按照一定的顺利组合这些层就可以了。具体的组合规则，在,LeNet-5,系统中给出了下面的表格：,简单的说，例如对于,C3,层第,0,张特征图，其每一个节点与,S2,层的第,0,张特征图，第,1,张特征图，第,2,张特征图，总共,3,个,5x5,个节点相连接。后面依次类推，,C3,层每一张特征映射图的权值是相同的,15,C3,层,feature map,S2,层,feature map,LeNet-53.根据对前面C1层同样的理解，我们很容易得,15,LeNet-5,S4,层是在,C3,层基础上下采样，前面已述。,C5,层是一个卷积层，有,120,个特征图。每个单元与,S4,层的全部,16,个单元的,5*5,邻域相连，故,C5,特征图的大小为,1*1,：这构成了,S4,和,C5,之间的全连接。之所以仍将,C5,标示为卷积层而非全连接层，是因为如果,LeNet-5,的输入变大，而其他的保持不变，那么此时特征图的维数就会比,1*1,大。,C5,层有,48120,个可训练连接。,F6,层有,84,个单元（,之所以选这个数字的原因来自于输出层的设计）,，与,C5,层全相连。有,10164,个可训练参数。如同经典神经网络，,F6,层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给,sigmoid,函数产生节点的输出。,16,LeNet-5S4 层是在C3层基础上下采样，前面已述。16,16,LetNet-5,17,比特面编码：将一个灰度图像为,8 bit/,像素中每个像素的第,j,个比特抽取出来，就得到一个称为比特平面的二值图像，于是图像完全可以用一组共,8,个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。为此，将每个比特面分为不重叠的,mn,个元素的子块。,LetNet-517比特面编码：将一个灰度图像为8 bit,17,卷积层的训练,18,layer l-1layer l,L-1,层的,误差,L-1,层的,输出,L,层的,误差,L,层的,输入,？,卷积层的训练18layer l-1layer,18,卷积层的误差传播,19,卷积层的误差传播19,19,卷积层的误差传播,20,卷积层的误差传播20,20,卷积层的误差传播,21,卷积操作,卷积层的误差传播21卷积操作,21,卷积层,filter,权重梯度的计算,22,卷积层filter权重梯度的计算22,22,卷积层,filter,权重梯度的计算,23,与误差传播类似，相当于,l,层,的误差项（,sensitivity map,）与,l-1,层的输出项做卷积操作，得到卷积核（,filter,）的梯度,卷积层filter权重梯度的计算23与误差传播类似，相当于l,23,池化层的误差传递,大部分池化层没有需要训练的参数，只需要将误差传递。以,Max Pooling,为例,24,Layer l-1,Layer l,池化层的误差传递大部分池化层没有需要训练的参数，只需要将误差,24,池化层的误差传递,25,池化层的误差传递25,25,Thank you,26,Thank you26,26,