按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,第二章,感知機,2.1 簡介,在1943年，McCulloch和Pitts已提出第一個類神經元的運算模型。,神經心理學家Hebb提出一種理論，他認為學習現象的發生，乃在於神經元間的突觸產生某種變化。,Rosenblatt將這兩種創新學說結合起來，孕育出所謂的感知機(perceptron)。,感知機是由具有可調整的鍵結值(synaptic weights)以及閥值(threshold)的單一個類神經元(neuron)所組成。,感知機是各種類神經網路中，最簡單且最早發展出來的類神經網路模型，通常被用來做為分類器(classifier)使用。,2.2感知機基本架構,(1),感知機的基本組成元件為一個具有線性組合功能的累加器，後接一個硬限制器(hard limiter)而成，如圖2.1所示。,一般說來，若我們設定硬限制器之輸入為正值時，則類神經元的輸出為+1；反之，若硬限制器之輸入為負值時，則類神經元的輸出為-1。,圖2.1：感知機之架構方塊。,2.2感知機基本架構,(2),分類的判斷規則是：若感知機的輸出為+1，則將其歸類於,C,1,群類；若感知機的輸出為-1，則將其歸類於,C,2,群類。,判斷規則所劃分的只有兩個判斷區域，我們可以將作為分類依據的超平面定義如下：,圖2.2：一個具有二維輸入的兩群分類問題。,(2.2),2.3感知機收斂定理,(1),步驟一：網路初始化,以隨機的方式來產生亂數，令,w,(0)為很小的實數，並且將學習循環,n,設定為1。,步驟二：計算網路輸出值,在第,n,次學習循環時，呈現輸入向量,x,(,n,)，此時類神經元的輸出為：,步驟三：調整鍵結值向量,步驟四：,將學習循環,n,加1；回到步驟二。,(2.11),2.3感知機收斂定理,(2),調整後的類神經元，若再用相同的輸入範例來加以測試，則其輸出值會更加地接近期待值，其原因如下：,圖2.4：以幾何觀點來分析感知機之訓練過程；(a)若 d=-1且y=1；(b)若 d=1且y=-1。,範例2.1：感知機,(1),訓練資料,x,(,n,),期望輸出值,d,(,n,),(0,0),T,1,(0,1),T,1,(1,0),T,-1,(1,1),T,1,學習率,為 0.8，並且將鍵結值的初始值設定為(0,1)，,令活化函數為sgn函數，神經元之閥值為-1,(1)n=0,(1),n,=1，,(2),n,=2，,(3),n,=3，,(4),n,=4，,(5),n,=5，,(6),n,=6，,圖2.5：感知機於疊代次數第 4,5,8 次時的鍵結值向量。,範例2.1：感知機,(2),假設當初學習率,設定為,0.1,，那麼的修正量會不同：,此時若將相同的輸入測試此新的鍵結值向量，會發現期望輸出值為,-1,，但感知機輸出值為,1,，分類錯誤，因此仍需修正感知機的鍵結值向量。,也就是說，感知機的學習過程並不保證一次就學會；有時更會發生為了學新的輸入卻將原先已正確分類的資料給誤判了。,2.4Widrow-Hoff 法則,(1),此種由Widrow和Hoff於1960年提出訓練所謂“適應線性元件”(Adaptive Linear Element 簡稱為 Adaline)的學習規則，被稱做Widrow-Hoff法則或最小均方誤差法。,基本上 Adaline 和感知機的架構是一樣的，主要的差別在於訓練法則的不同，感知機的訓練目標是減少分類錯誤，而 Adaline 是減少類神經元的真實輸出與期望輸出間的均方誤差。,圖2.6：Adaline 之架構方塊圖。,2.4Widrow-Hoff 法則,(2),給定一組輸入/輸出對，代表網路的期望輸出值。,用來訓練 Adaline 的 LMS 法則就是想辦法找出一個鍵結值向量 ，它可以使得誤差 的均方值(mean square)最小，其中 。這個問題的答案在於所謂的 Wiener-Hoff 方程式。,定義均方誤差(mean-square error)為：,其中,E,.是機率期望值運算子。,(2.17),2.4Widrow-Hoff 法則,(3),首先將 代入式(2.17)並且展開可得：,我們另外定義式(2.19)中的三個期望值運算如下：,1.是期望輸出,d,的均方值(mean-square value)；令,2.是期望輸出,d,與輸入信號 的交互相關函數(cross-correlation function)；令,3.是輸入信號 與 彼此間的自相關函數(autocorrelation function)；令,(2.18),(2.20),(2.21),(2.22),2.4Widrow-Hoff 法則,(4),有了以上三個式子的定義，現在我們把式(2.19)重寫如下：,我們將誤差函數,J,對權重 作偏微分，並將此偏微分方程式設為零，因此我們可以得到以下,p,個方程式,令 為權重 的最佳值，從式(2.24)可知權重參數的最佳值是由下列,p,個方程式所決定：,這組方程式稱為Wiener-Hopf 方程式，而根據此權重參數所設計的濾波器則稱之為 Wiener 濾波器。,(2.23),(2.24),(2.25),2.4Widrow-Hoff 法則,(5),式(2.25)其實可以寫成如下的矩陣型式：,其中 ，是一個,維度的自相關矩陣，和 是一個,維度的交互相關向量。,很顯然地，Wiener-Hoff 方程式的解為,問題是，我們通常不知道自相關矩陣與交互相關向量的值是多少。即使知道，我們每次都必須計算出,R,的反矩陣，而求反矩陣的計算量相當龐大，因此實際上的作法是採用 LMS 演算法，以疊代的方式來解 Wiener-Hoff 方程式。,(2.26),(2.27),2.4.1最小均方演算法,(1),當我們無法得知自相關函數 與交互相關函數 的資訊時，以瞬間估測(instantaneous estimates)的技術來估測這兩個相關函數，並且使用梯度坡降法來疊代求解。,從式(2.21)與式(2.22)可以導出：,由於 LMS 法則使用梯度坡降法，所以權重 的調整方向是往誤差梯度的反方向修正，計算方式如下：,(2.28),(2.29),(2.30),2.4.1最小均方演算法,(2),將式(2.28)及式(2.29)代入式(2.30)中的梯度 ，便可以得到下式：,注意在式(2.31)中，我們以 來代替 ，,以強調式(2.31)中的權重參數是估測值。,(2.31),2.4.1最小均方演算法,(3),步驟一：權重初始化，令,步驟二：設定學習循環,n,=1，並且計算,步驟三：將學習循環加1，回到步驟二。,2.4.1最小均方演算法,(4),我們將感知機訓練法與最小均方演算法比較如下：,感知機訓練演繹法主要的目標是調整鍵結值，使得類神經元的輸出 與期望輸出值 相同，亦即分類成功；而,LMS,演繹法強調於如何找出一組鍵結值，使得類神經元的軸突丘細胞膜電位 儘可能地接近。,2.,在輸入資料為線性不可分割,(,linearly inseparable),的情況下，,LMS,演繹法有可能表現得比感知機演繹法還要好，因為前者會收斂至均方誤差的最小值，而後者卻無法收斂，所以訓練過程被中斷後，我們無法保證最後的鍵結值是整個訓練過程中最好的一組鍵結值。,3.,在輸入資料為線性可分割,(,linearly separable),時，感知機演繹法可以保證收斂，並且可以百分之百分類成功；而,LMS,演繹法雖然會收斂，但是卻並不一定可以百分之百分類成功，因為它主要著眼於將均方誤差極小化。,2.4.1最小均方演算法,(4),圖2.7：(a)感知機演繹法與(b)LMS 演繹法的收斂情形。,2.5學習率調整方法(1),應用以梯度坡降法為根本的演算法時，最常遇到的問題就是，如何適當地設定學習率。首先我們將式,(2.28),和式,(2.29),代入式,(2.23),可得下式,我們發現均方誤差函數，,J,，對每一個鍵結值來說都是個二次方程式。,2.5學習率調整方法(2),此二次方程式會形成如圖,2.8,的拋物線函數，也就是說，均方誤差函數對鍵結值來說只有一個全域極小值存在，所以不會有收斂到局部極小值的問題產生，但學習率的大小設定仍會影響能否收斂到全域極小值的結果。,圖,2.8,：二次方程式的均方誤差函數。,2.5學習率調整方法,(3),圖2.8：三種設定學習率的方式。,2.6感知機之進階探討,(1),Gallant所提出的“口袋演繹法”(pocket algorithm)。,步驟一：,設定鍵結值向量的初始值為 向量。,步驟二：,隨機地選擇一個訓練樣本 ，並且輸入至感知機網路中,。,步驟三：,(a)如果目前的鍵結值向量 能夠將訓練樣本 正確地分類成功，且能夠正確分類的訓練樣本數，大於口袋中的那一組鍵結值向量,所能夠正確分類的訓練樣本數，則以 來取代 ，並且更正目前所能正確分類的訓練樣本數目。,(b)如果目前的鍵結值向量 將訓練樣本 分類錯誤，則修正目前的鍵結值向量 為：,步驟四：,回到步驟二。,2.6感知機之進階探討,(2),理論上，感知機是可以用來解決任何複雜的圖樣識別的問題，只是當時沒有一個有效率的訓練演繹法來配合而已。,單層的感知機是用超平面來切割空間，因此只能處理線性可分割的資料。,雙層感知機可以處理較複雜的問題，譬如說我們限制第二層的感知機只執行邏輯AND的功能，那麼第一層的感知機便可合力圍起一個凸形(convex)的決定區域。,三層的感知機則可以形成任意形狀的決定區域，譬如說第二層的感知機執行邏輯AND的功能，而第三層的感知機則執行邏輯OR的功能，那麼不管是凸形、凹形(concave)的決定區域都可以輕易地形成。,2.6感知機之進階探討,(3),當時沒有一種有效的學習演算法可以配套使用。,之所以需要三層的架構，是因為我們限制了感知機的活化函數是採用硬限制器，以及限定第二層和第三層的類神經元，分別執行AND與OR的功能。,圖2.9：感知機的決定區域之收斂特性分析。,2.7,結語,一個單層的感知機架構可以百分之百地將線性可分割的資料正確分類，但對於線性不可分割的資料而言，,卻無法百分之百成功辨識。,為了達成此目地，多層的感知機架構是個變通的方法，問題是在,60,年代的當時，並沒有一個較理想的訓練演繹法可以訓練多層的感知機，由於實際上我們遭遇到的問題通常是線性不可分割的資料，因此感知機的能力便被懷疑，導至研究的中斷。,直到,80,年代才被發現，由於這個演繹法的出現，使得類神經網路的研究又再度蓬勃發展，我們將在下一章探討此演繹法。,