,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,朴素贝叶斯算法,Nave Bayes,朴素贝叶斯算法Nave Bayes,1,知识回顾,贝叶斯知识,知识回顾贝叶斯知识,2,1.,样本空间的划分,1.样本空间的划分,3,2.,全概率公式,全概率公式,2.全概率公式全概率公式,4,图示,证明,化整为零,各个击破,图示证明化整为零,5,说明,全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题,分解为若干个简单事件的概率计算问题,最后应用概率的,可加性,求出最终结果,.,说明 全概率公式的主要用途在于它可以将一个复杂事件的概,6,称此为,贝叶斯公式,.,3.,贝叶斯公式,称此为贝叶斯公式.3.贝叶斯公式,7,证明,条件概率的概念,乘法定理：,证明条件概率的概念乘法定理：,8,由以往的数据分析得到,的,概率,叫做,先验概率,.,而在得到,信息之后再重新加以修正的概率,叫做,后验概率,.,先验概率与后验概率,由以往的数据分析得到的概率,叫做先验概率.而在得到信息之后,9,简介,贝叶斯定理,分类算法概念,朴素贝叶斯算法,朴素贝叶斯算法原理,朴素贝叶斯算法流程,算法实例,购买电脑实例,总结,算法优缺点,算法相关扩展,简介贝叶斯定理分类算法概念朴素贝叶斯算法朴素贝叶斯算法原理朴,10,简单的说，贝叶斯定理是基于假设的先验概率、给定假设下观察到不同数据的概率，提供了一种计算后验概率的方法。,在人工智能领域，贝叶斯方法是一种非常具有代表性的不确定性知识表示和推理方法。,贝叶斯理论,简单的说，贝叶斯定理是基于假设的先验概率、给定假设下观察到不,11,贝叶斯定理：,P(,A,),是,A,的,先验概率,或,边缘概率,。之所以称为,“,先验,”,是因为它不考虑任何,B,方面的因素。,P(,A,|,B,),是已知,B,发生后,A,的,条件概率,，也由于得自,B,的取值而被称作,A,的,后验概率,。,P(,B,|,A,),是已知,A,发生后,B,的,条件概率,，也由于得自,A,的取值而被称作,B,的,后验概率,。,P(,B,),是,B,的,先验概率,或,边缘概率,，也作,标准化常量,（,normalized constant,）,.,贝叶斯定理：P(A)是A的先验概率或边缘概率。之所以称为“先,12,贝叶斯定理：,贝叶斯定理：,13,关于贝叶斯分类：,对于贝叶斯网络分类器，若某一待分类的样本,D,，,其分类特征值为 ，则样本,D,属于类别,yi,的概率,P(C=yi|X1=x1,X2=x 2,.,Xn=x n),，,(i=1,2,.,m),应满足下式：,而由贝叶斯公式：,其中，,P(C=ci),可由领域专家的经验得到,而,P(X=x|C=ci),和,P(X=x),的计算则较困难。,关于贝叶斯分类：对于贝叶斯网络分类器，若某一待分类的样本D，,14,朴素贝叶斯算法原理：,朴素贝叶斯算法原理：,15,朴素贝叶斯算法原理：,朴素贝叶斯算法原理：,16,朴素贝叶斯算法原理：,朴素贝叶斯算法原理：,17,朴素贝叶斯算法原理：,朴素贝叶斯算法原理：,18,朴素贝叶斯算法原理：,朴素贝叶斯算法原理：,19,贝叶斯算法处理流程：,贝叶斯算法处理流程：,20,贝叶斯算法的处理流程：,第一阶段,准备阶段：,该阶段为朴素贝叶斯分类做必要的准备。主要是依据具体情况确定特征属性，并且对特征属性进行适当划分。然后就是对一部分待分类项进行,人工划分,，以确定训练样本。,这一阶段的输入是所有的待分类项，输出时特征属性和训练样本。分类器的质量很大程度上依赖于,特征属性及其划分以及训练样本的质量。,贝叶斯算法的处理流程：第一阶段准备阶段：,21,贝叶斯算法处理流程：,第二阶段,分类器训练阶段：,主要工作是计算每个类别在训练样本中出现,频率,以及每个特征属性划分对每个类别的,条件概率估计,。输入是特征属性和训练样本，输出是分类器。,第三阶段,应用阶段：,这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。,贝叶斯算法处理流程：第二阶段分类器训练阶段：,22,购买电脑实例：,购买电脑实例：,23,购买电脑实例：,购买电脑实例：,24,购买电脑实例：,（,2,）计算每个特征属性对于每个类别的条件概率：,P(age=“30”|buys_computer=“yes”)=2/9=0.222,P(income=“medium”|buys_computer=“yes”)=4/9=0.444,P(student=“yes”|buys_computer=“yes”)=6/9=0.667,P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667,P(age=“30”|buys_computer=“no”)=3/5=0.600,P(income=“medium”|buys_computer=“no”)=2/5=0.400,P(student=“yes”|buys_computer=“no”)=1/5=0.2,P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.400,购买电脑实例：（2）计算每个特征属性对于每个类别的条件概率：,25,购买电脑实例：,购买电脑实例：,26,购买电脑实例：,P(X|buys_computer=,“,no,”,)P(buys_computer=,“,no,”,),=0.0190.357=0.007,因此，对于样本,X,，朴素贝叶斯分类预测,buys_computer=,”,yes,”,特别要注意的是：,朴素贝叶斯的,核心,在于它假设向量的所有分量之间是独立的。,购买电脑实例：P(X|buys_computer=“,27,总结,朴素贝叶斯算法的优点：,a.,算法逻辑简单，易于实现；,b.,分类过程中时空开销小；,c.,算法稳定，对于不同的数据特点其分类性能差别不大，健壮性比较好。,总结朴素贝叶斯算法的优点：,28,总结,那么“贝叶斯分类法的效率如何呢？”,该分类法与,决策树,和,神经网络分类法,的各种比较试验表明，在某些领域，贝叶斯分类法足以与它们相媲美。理论上讲，与其他所有分类算法相比，贝叶斯分类具有最小的错误率，然而，实践中并非总是如此。这是因为对其使用的假定（如类条件独立性）的不正确性，以及缺乏可用的概率数据造成的。,贝叶斯分类法还可以用来为不直接使用贝叶斯定理的其他分类法提供理论判定。例如，在某些假定下，可以证明：与朴素贝叶斯分类法一样，许多神经网络和曲线拟合算法输出的最大的后验假定。,总结那么“贝叶斯分类法的效率如何呢？”,29,对比决策树分类,整棵决策树就对应着,一组析取表达式规则,。,对比决策树分类整棵决策树就对应着一组析取表达式规则。,30,总结：,总结：,31,扩展：,扩展：,32,扩展：,对于第二个问题：朴素贝叶斯算法是在假定各个特征属性相互独立的情况下提出来，这在现实生活中是很难实现的，所以针对这个问题人们做了大量工作解决这个缺点。,（,1,）如果特征属性之间是有联系的，并且是一个有向无环图，可以采用另一个相关的贝叶斯分类算法,贝叶斯网络,。在此不再介绍。,（,2,）除了贝叶斯网络还有,kononenko,提出的,semi-nave bayesian,算法，称为半朴素贝叶斯算法，,扩展：对于第二个问题：朴素贝叶斯算法是在假定各个特征属性相互,33,扩展：,该算法就是将特征相关的属性分成一组，然后假设不同组中的属性是相互独立的，同一组中的属性是相互关联的。,（,3,）还有一种具有树结构的,TAN,（,tree augmented nave Bayes,）分类器，它放松了朴素贝叶斯中的独立性假设条件，允许每个属性结点最多可以依赖一个非类结点。,TAN,具有较好的综合性能。算是一种受限制的贝叶斯网络算法。,扩展：该算法就是将特征相关的属性分成一组，然后假设不同组中的,34,Thank you!,Thank you!,35,