单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,11/5/17,#,循环神经网络介绍,深度学习,在序列数据的应用,韩翠云,循环神经网络介绍深度学习在序列数据的应用,1,目录,RNN,：结构介绍、前向传播、反向传播、梯度,vanish,（,10min,）,LSTM,：结构介绍,（,10min,）,Seq2Seq,：结构介绍,+,代码演示（,8,min,）,目录RNN：结构介绍、前向传播、反向传播、梯度vanish（,2,RNN-,前馈网络,VS,循环网络,Standard NN,Convolutional NN,RNN-前馈网络VS循环网络Standard NNConvo,3,RNN-,前馈网络,VS,循环网络,RNN-前馈网络VS循环网络,4,RNN-,动态系统,/,循环函数,/,图模型,RNN-动态系统/循环函数/图模型,5,RNN-,前向传播,RNN-前向传播,6,RNN-,反向传播,/,梯度,Vanishing,RNN-反向传播/梯度Vanishing,7,RNN-,网络结构,RNN-网络结构,8,LSTM-,网络结构,LSTM-网络结构,9,LSTM-,模型介绍,LSTM,关键,-cell,state,，传送带，信息流动,LSTM-模型介绍LSTM关键-cell state，传送带,10,LSTM-,模型介绍,gates,=,a,sigmoid neural net,layer,+,a,pointwise multiplication,operation,为,cell,state,增加,/,减少信息，信息流动,LSTM-模型介绍gates=a sigmoid neu,11,LSTM-,模型介绍,step1,：,forget,gates:,输出值,0-1,之间的实数,.,1,代表全完保留，,0,代表丢弃,LSTM-模型介绍step1：,12,LSTM-,模型介绍,step2,：,input,gates,:,输出值,0-1,之间的实数,new,memeory,cell,：输出值,-1-1,之间的实数,LSTM-模型介绍step2：,13,LSTM-,模型介绍,LSTM-模型介绍,14,LSTM-,模型介绍,step4:,决定输出，基于,cell,state,，但要过,output,gate,LSTM-模型介绍step4:,15,LSTM-,模型介绍,LSTM-模型介绍,16,LSTM-,变体,1,LSTM-变体1,17,LSTM-,变体,2,LSTM-变体2,18,LSTM-,变体,3,LSTM-变体3,19,S,eq,2,S,eq,-,模型介绍,Seq2Seq-模型介绍,20,RNN-,反向传播,RNN-反向传播,21,RNN-,模型介绍,RNN-模型介绍,22,语言模型,语言模型,23,