单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,统计学家瓦尔德,(A.Wald),把关于假设检验和参数估计的经典统计理论加以概括，将不确定意义下的决策科学也包括在统计学范围之内，于,1939,年创立了统计决策理论，该理论弥补了过去统计理论的缺陷。,统计决策的显著特点是：,统计决策建立在统计分析和统计预测的基础 上，是一种,定量决策,。,统计决策是在不确定情况下，应用概率来进行决策的计算和分析，是一种,概率决策,。,6.1,统计决策,决策问题的,三个基本要素,状态集,行动集,行动空间,损失函数,依统计决策论的观点，对决策有用的信息,先验信息,样本信息,决策问题的分类,无数据,（无样本信息）,决策问题,统计决策问题,贝叶斯,决策问题,一、基本概念,1,、损失函数,描述当未知量处于状态 而采取行动 时所引起的损失，记为,线性损失函数,一、基本概念,2,、决策函数,由样本空间 到行动空间 的可测映射 称为决策函数。,3,、风险函数,称为决策函数 的风险函数。,设 是一个决策函数，则损失函数 关于样本分布 的数学期望,平均损失愈小，决策函数愈好。,风险函数 描述在未知量处于状态 而采取决策 时所蒙受的平均损失。,二、常用的决策准则,1、一致最优决策准则,则称 为决策函数类 的一致最小风险决策函数，或称为一致最优决策函数。,定义 设 表示定义在样本空间 上取值于行,动空间 的某一决策函数类，若存在一个决,策函数 ，使得对任意 ，都有,2、最小最大（Minimax）决策准则,则称 为该统计决策问题的最小最大决策函数，相应的风险称为最小最大风险。,定义 对于一个统计决策问题，设 表示定义,在样本空间 上取值于行动空间 的某一决策,函数类。若有决策函数 ，使得,3、贝叶斯决策准则,先验信息与先验分布,无论是在统计决策问题还是在统计推断问题中总会包含未知量 。为了对 作统计决策或者作统计推断，样本信息是必不可少的，因为它包含 的最新信息。除此之外，一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息为先验信息。,统计学中有两个主要学派：经典（频率）学派与贝叶斯学派。经典学派认为 是未知参数；贝叶斯学派认为 是随机变量，应该用一个概率分布去描述 的未知状况。这个概率分布在抽样之前就已存在，它是关于 的先验信息的概率陈述。这个概率分布就称为先验分布，用 来表示。,贝叶斯公式与后验分布,称 为 的后验分布。,先验风险准则与后验风险准则,定义1：在给定的统计决策问题中，设 为决策函数 的风险函数，为 的先验分布，则平均风险,称为决策 的贝叶斯风险。若在决策函数类 中存在 ，使得,则称 为决策函数类 在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。,定义2：在给定的统计决策问题中，设 为决策函数 的损失函数，为 的后验分布，则条件期望风险,称为决策函数 的贝叶斯后验风险。若在决策函数类 中存在 ，使得,则称 为决策函数类 在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。,例,6.1,一位收藏家拟收购一幅名画，这幅画标价为,5000,元。若这幅画是真品，则值,10000,元；若是赝品，则一文不值。此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表,采取的行动,画的状态,买,不 买,真 品,+5000,-3000,赝 品,-6000,0,现在，这位收藏家需要决定是买还是不买这幅画？,(1),如果收藏家有以下三种决策可供选择：,：以概率,0.5,买下这幅画；,：请一位鉴赏家进行鉴定（已知该鉴赏家以概率,0.95,识别一幅真画，以概率,0.7,识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；,：肯定不买,那么，什么是这位收藏家的最小最大决策？,（,2,）如果根据卖画者以往的资料得知，发生的概率为,0.75,，发生的概率为,0.25,，那么这位收藏家是否应买下这幅画呢？,（,3,）在（,2,）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。已知鉴赏家以概率,0.95,识别一幅真画，以概率,0.7,识别一幅假画。如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？,这是一个决策问题，状态集 ，为真品，,为赝品,行动集 表示“买”，表示“不买”，,损失函数 用矩阵可表示为,统计决策中所说的损失可以理解为“该赚到而没有赚到的,钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。,采用收益函数,时，损失函数,时，损失函数,采用支付函数,解,：（,1,）对 ，,对 ，,对 ，,计算结果表明，收藏家的最小最大决策为 ，即如果鉴赏家鉴定为真品就买下这幅画，这一决策的最小最大风险为,1800,元。,根据先验分布 ，可分别算出行动 ，的平均损失，亦即，行动 ，的平均风险，因为这是无数据决策问题，所以,对比上述结果可知，采取行动 为上策，即，收藏家应该买下这幅画。,（,2,）由题意知，的先验分布 为：,(3),引入随机变量,由题意知：,的先验分布 为 ，由贝叶斯公式可得 的后验分布,这样样本空间 ，行动空间 ，所以决策函数只有以下,4,个,这样本值 时，这些决策函数的贝叶斯后验风险分别是：,在 时，这些决策函数的贝叶斯后风险分别是：,可见在贝叶斯风险准则下，是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。,下面计算（,3,）中那些决策函数的贝叶斯风险，先算 的边缘分布：,从而，,由此可见，在贝叶斯风险准则下的最优决策函数仍是 ，在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理,6.1.1.,定理6.1.1 对给定的统计决策问题（含给定的先验分布）和决策函数类 ，若贝叶斯风险满足条件,则贝叶斯决策函数 与贝叶斯后验型决策函数,等价。,6.2,贝叶斯推断,在经典统计学中，总体 的分布函数用 表示，,其中 表示未知参数，表示参数空间。,改写为,经典统计学并不产生任何实质上的影响，仅仅是记号的变更。,Bayes,统计中意义就不同了，其表示条件分布。,定义,6.1,若函数 和 相比仅差一个常数因子，则称 为 的核，记为,例如,贝叶斯学派认为，的后验分布 集先验信息和样本信息于一身，包含了 的所有可供利用的信息，所以有关 的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。,样本分布 其中 为总体 的条件概率密度。,一、贝叶斯估计,1,、点估计,贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）,则称 为 的贝叶斯估计量,定义,设总体 的分布函数为 ，其中参数 为具有先验分布 的随机变量，又设,为来自总体的样本。若在决策函数类 中有一个 ，使得,定理 若损失函数为 ，且 ，,则 的贝叶斯估计为,其中 为 的后验概率密度。,注：由定理可知，当使用平方损失函数,时，的贝叶斯估计为 （或 ），即,的后验分布的期望，故称这种估计为后验期望,估计。,例1 设总体 的分布为 ，其中未知量,为随机变量，且 ，为来自,总体 的样本值，求 的贝叶斯估计。,解：因为 的后验概率密度的核是,所以，的贝叶斯估计为,可见，在样本 的条件下，的条件分布为,条件（,1,）、（,2,）表明，,D,集中了后验概率密度取值尽可能大的点，因此 的最大后验密度可信区间就是在同一可信概率下长度最短的区间。,2、区间估计,定义 设参数 的后验分布为 ，对给定的样本 和概率 ，若存在区域D满足下列条件：,（1）,（2）任给 ，总有,则称D是 的可信水平为 的最大后验密度可信域。当 是一维的且D是一个区间时，称D为 的 最大后验密度可信区间。,例2 设 为来自正态分布 的样本，其中 已知。又设 的先验分布为正态分布 ，其中 为已知，求 的 可信区间。,解：因为 的后验概率密度,其中,可见 是正态分布 ，因此对给定的 ，查得标准正态分布 的上侧分位数 ，使,于是，的 最大后验可信区间是 。,利用后验分布 ，分别计算假设 与 的后验概率。,3、贝叶斯假设检验,当后验概率比 时接受 ；当 时拒绝 ；当 时，则不宜匆忙做判断，需进一步抽样或搜集更多的先验信息。,例3 设从正态总体 中随机地抽取了一个容量为10的样本 ，算得样本均值 ，又设 的先验分布为正态分布 ，现在检验如下假设,解 由例2可知，的后验分布仍为正态分布，且,其中,因而假设 与 的后验概率分别为,两后验概率之比,故拒绝 ，即认为正态均值大于1。,贝叶斯检验的特点：,（1）简单易行，无需选择检验统计量，确定抽样分布；,（,2,）无需事先给定显著水平，确定检验问题的拒绝域；,（,3,）容易推广到多重假设检验场合。,二、先验分布的选取,从前面的介绍可以看到，贝叶斯推断是基于后验分布的推断，而根据贝叶斯公式，后验分布又有赖于先验分布的选取，选择不同的分布作为 的先验分布将会影响 的后验分布，从而将影响到贝叶斯推断的结果，所以先验分布的选取对于贝叶斯推断是至关重要的。,1、贝叶斯假设,贝叶斯学派认为，如果没有以往的任何信息来确定未知量 的先验分布，那么就用均匀分布作为它的先验分布，这种确定先验分布的原则称为贝叶斯假设。按此原则选取的先验分布也称为无信息先验分布。,2、共轭先验分布,后验分布在贝叶斯推断中起着重要作用，但有时计算后验分布是一件比较复杂的事情。为了能够简便地计算未知量 的后验分布，引入共轭先验分布的概念。,定义 设总体 的分布函数为 ，样本 对,的条件分布为 ，即样本分布 ，的先验分布为 ，若由 和 决定的后验分布,与 是同一个类型，则称先验分布 为 的共轭先验分布。,寻找共轭先验分布的步骤：,（,1,）先写出样本分布 似然，,（,2,）选取与 具有相同核的分布作为先验分布，这个分布往往就是共轭先验分布。,Thanks,！,