2.1 引言,贝叶斯决策论是解决模式分类问题的一种根本统计途径。它做了如下假设，即决策问题可以用概率的形式来描述，并且假设全部的概率构造。,例：鲑鱼和鲈鱼分类,两类鱼自然状态下的先验概率,先验概率是一个随机变量(=1鲈鱼;=2鲑鱼),等概率假设下有：,P(1)=P(2),P(1)+P(2)=1,仅依据先验概率的判决规章,if P(1)P(2),则 判为1,否则 判为 2,连续判决和误差概率,使用类条件概率信息 P(x|)类条件概率密度函数,P(x|1)和 P(x|2)描述两类鱼光泽度的不同,2.1 引言,2.1 引言,2.1 引言,处于类别,j并具有特征值x的模式的联合概率密度如下：,p,(,j,x)=P(,j,|x).,p,(x)=,p,(x|,j,).P(,j,),由上可得贝叶斯公式：,两类问题状况下,非正式表示：,依据后验概率判决,X 是观测属性,if P(1|x)P(2|x)判决状态为 1,if P(1|x)P(,2|x),判为,1,否则判为,2,;,所以:,P(error|x)=min P(,1|x),P(,2|x),2.2 贝叶斯决策论连续特征,贝叶斯推广,使用多余一个的特征,允很多余两种类别状态的情形,允许有其他行为而不是仅仅是判定类别,通过引入一个更一般的损失函数来替代误差概率,2.2 贝叶斯决策论连续特征,令1,2,c 表示有限的c个类别集,1,2,a 表示有限的a种可能的行为集,(i|j)为类别状态j 时实行行动i的风险。,则有下面的几个等式：,总风险：,两类状况下,1 :判为 1,2 :判为 2,ij =(i|j):类别为j 时误判为i所引起的损失,条件风险:R(1|x)=11P(1|x)+12P(2|x),R(2|x)=21P(1|x)+22P(2|x),2.2 贝叶斯决策论连续特征,判决规章如下:,假设 R(1|x)(12-22)P(2|x),判为 1 否则判为2,2.2 贝叶斯决策论连续特征,2.2 贝叶斯决策论连续特征,等价判别规章2：,假设：,(21-11)P(x|1)P(1)(12-22)P(x|2)P(2),判为 1 否则判为2,等价判别规章3(合理假设21 11)：,成立，则判为,1,否则判为,2,似然比超过某个不依靠x 的阀值，那么可判决为1,2.3 最小误差率分类,基于类别的行为,假照实行行为i 而实际类别为j，那么在i=j 的状况下判决是正确的，假设i j，则产生误判。为避开误判，需要查找一种判决规章使误判概率最小化。,对称损失或0-1损失函数:,则,条件风险为:,最小化误差概率，需要最大化后验概率 P(i|x),(由于 R(i|x)=1 P(i|x),基于最小化误差概率，有：,对任给j i，假设P(i|x)P(j|x)，则判为 i,2.3 最小误差率分类,2.4 分类器、判别函数及判定面,多类别状况,判别函数 gi(x),i=1,c假设：gi(x)gj(x)j i,分类器将特征向量x判为i,2.4 分类器、判别函数及判定面,一般风险状况下，可令gi(x)=-R(i|x),(最大判别函数与最小的条件风险相对应)依据最小误差率状况下,gi(x)=P(i|x),(最大判别函数与最大后验概率相对应),其他判别函数：,2.4 分类器、判别函数及判定面,每种判决规章将特征空间分为c个判决区域,if gi(x)gj(x)j i 则 x属于Ri,(也就是把x判为i),2.4 分类器、判别函数及判定面,两类状况二分分类器,令 g(x)g1(x)g2(x),假设 g(x)0判为1;否则判为 2,g(x)的另类计算：,2.5 正态密度,分析的简易型,连续性,很多处理都是渐进高斯的，大量小的独立的随机分布的和,手写字符,语音等都是高斯的,单变量密度函数：,其中:,是x的期望值,2 是方差,2.5 正态密度,多元密度函数,一般的d维多元正态密度的形式如下:,x,=(x,1,x,2,x,d,),t,=(,1,2,d,),t,均值向量,=d*d,协方差矩阵,|,行列式值,-1,逆矩阵,2.5 正态密度,2.6 正态分布的判别函数,最小误差概率分类可以通过使用判别函数获得,gi(x)=ln P(x|i)+ln P(i),多元状况下：,2.6 正态分布的判别函数,状况1：i=2.I (I 是单位矩阵),“线性机器”使用线性判别函数的分类器。,线性机器的决策面是一个由下式定义的超平面:,g,i,(,x,)=g,j,(,x,),2.6 正态分布的判别函数,状况：2 i=(有所类的协方差矩阵都相等，但各自均值向量任意!),2.6 正态分布的判别函数,2.6 正态分布的判别函数,状况3：i=任意，每一类的协方差矩阵是不同的,2.6 正态分布的判别函数,精品课件,！,精品课件,！,Thank you!,