Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,*,图像匹配,*,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,图像匹配,*,Click to edit Master title style,*,图像匹配,9.6 图像匹配,所谓图像匹配，就是指将不同时间、不同成像条件下对同一物体或场景猎取的两幅或多幅图像在空间上对准，或依据模式到另一幅图像中查找相应的模式。,早期的图像匹配技术主要用于几何校正后的多波段遥感图像的匹配，借助于对相互关函数求极值来实现。,图像匹配包括模板匹配、直方图匹配、外形匹配等多种匹配方法，图像匹配技术已经在很多方面得到了广泛的应用。但三维图像匹配照旧是一个值得深入争论的课题。,11/15/2024,2,图像匹配,9.6.1 模板匹配,模板匹配是指用一个较小的图像，即模板与源图像进展比较，以确定在源图像中是否存在与该模板一样或相像的区域，假设该区域存在，还可确定其位置并提取该区域。,模板匹配常用的一种测度模板与原图像对应区域的误差平方和。设f(x,y)为MN的原图像，t(j,k)为JK(JM，KN)的模板图像，则误差平方和测度定义为,11/15/2024,3,图像匹配,将上式开放可得,(9-27),9.6.1 模板匹配,11/15/2024,4,图像匹配,令,9.6.1 模板匹配,11/15/2024,5,图像匹配,DS(x,y)称为原图像中与模板对应区域的能量,它与像素位置(x,y)有关，但随像素位置(x,y)的变化，DS(x,y)变化缓慢。,DST(x,y)称为模板与原图像对应区域的相互关,它随像素位置(x,y)的变化而变化，当模板t(j,k)和原图像中对应区域相匹配时取得最大值。,DT(x,y)称为模板的能量，它与图像像素位置(x,y)无关，只用计算一次即可。,9.6.1 模板匹配,11/15/2024,6,图像匹配,上述分析，假设设DS(x,y)也为常数，则用DST(x,y)便可进展图像匹配，当DST(x,y)取最大值时，便可认为模板与图像是匹配的。但假设DS(x,y)为常数会产生误差，严峻时将无法正确地完成匹配，因此可用归一化相互关作为误差平方和测度，其定义为,(9-30),9.6.1 模板匹配,11/15/2024,7,图像匹配,图9-27给出了模板匹配的示意图，其中假设原图像f(x,y)和模板图像t(k,l)的原点都在左上角。对任何一个f(x,y)中的像素点(x,y)，依据式9-30都可以算得一个R(x,y)值。,当x和y变化时，t(j,k)在原图像区域中移动并得出R(x,y)全部值。R(x,y)的最大值便指出了与t(j,k)匹配的最正确位置，假设从该位置开头在原图像中取出与模板大小一样的一个区域，便可得到匹配图像。,9.6.1 模板匹配,11/15/2024,8,图像匹配,图9-27 模板匹配示意图,9.6.1 模板匹配,11/15/2024,9,图像匹配,用归一化相互关求匹配的计算工作量特别大，由于模板要在(MJ1)(NK1)个参考位置上做相关计算，其中，除最正确匹配点外，其余做的都是无效运算，所以有必要对其进展改进，以提高运算速度。常用的方法有序贯相像性检测算法、幅度排序相关算法、FFT相关算法、分层搜寻序贯判决算法等。,模板匹配的主要局限性在于它只能进展平行移动，如原图像中要匹配的目标发生旋转或大小变化，该算法无效。,如原图像中要匹配的目标只有局部可见，该算法也无法完成匹配。,应用模板进展匹配时应留意几点：,9.6.1 模板匹配,11/15/2024,10,图像匹配,9.6.1 模板匹配,模板匹配法结果图,11/15/2024,11,图像匹配,9.6.1 模板匹配,平方差匹配,标准平方差匹配,相关匹配2,标准相关匹配2,11/15/2024,12,图像匹配,9.6.2 直方图匹配,颜色是描述图像内容的一个重要特征。人们已经提出了多种借助颜色特征对图像进展检索的方法。,常用的颜色空间有R、G、B和H、S、I色调、饱和度和强度。实际上，利用H、S、I颜色空间进展检索的效果更好一些，但以下争论主要以R、G、B空间为例。,要利用图像的颜色特征描述图像，可借助图像特征的统计直方图。利用直方图进展图像的匹配，这便是直方图匹配。,11/15/2024,13,图像匹配,1.直方图相交法,设,H,Q,(,k,)和,H,D,(,k,)分别为查询图像,Q,和数据库图像,D,的特征统计直方图，则两图像之间的匹配值,d,(,Q,D,)为,(9-31),9.6.2 直方图匹配,11/15/2024,14,图像匹配,2.欧几里得距离法,为削减计算量，可承受直方图的均值来粗略地表达颜色信息，对图像的R、G、B三个重量，匹配的特征矢量f是,式中,R、G、B分别是R、G、B三个重量直方图的0阶距。此时查询图像Q和数据库图像D之间的匹配值为,(9-32),9.6.2 直方图匹配,11/15/2024,15,图像匹配,3.参考颜色法,欧几里得距离法太粗糙，直方图相交法计算量太大，一种折衷的方法是将图像颜色用一组参考色表示，这组参考色应能掩盖视觉上可感受到的各种颜色。参考色的数量要比原图像少，这样可计算简化的直方图，所以匹配的特征矢量 f=r1,r2，rNT 式中：ri是第i种颜色消失的频率，N是参考颜色表的尺寸。加权后的查询图像Q和数据库图像D之间的匹配值为,(9-33),9.6.2 直方图匹配,11/15/2024,16,图像匹配,式中,：,9.6.2 直方图匹配,11/15/2024,17,图像匹配,4.中心矩法,对直方图来说，均值为0阶矩，更高阶的矩也可使用。设用分别表示查询图像Q的R、G、B三个重量直方图的i(i3)阶中心矩；用 分别表示数据库图像D的R、G、B三个重量直方图的i(i3)阶中心矩，则它们之间的匹配值为,式中，,W,R,，,W,G,，,W,B,为加权系数。,(9,-34),9.6.2 直方图匹配,11/15/2024,18,图像匹配,前面4种方法中，后3种主要是从削减计算量的角度对第1种方法进展简化，但直方图相交法还有另外一个问题。,当图像中的特征并不能取遍全部的可取值时，统计直方图中会消失一些零值。这些零值的消失会给直方图的相交带来影响，有可能导致利用直方图相交法求出的匹配度并不能正确反映两图间的颜色差异。,9.6.2 直方图匹配,11/15/2024,19,图像匹配,值得留意的是，由于直方图不能反映颜色的位置信息，因此有可能消失两幅内容完全不同，但直方图相像的状况。所以仅用简洁的颜色直方图匹配可能造成识别错误。,有必要对直方图匹配进展适当改进，改进的根本思路是利用匹配过程中的位置信息。,例如将图像划分为假设干可以在肯定程度上反映位置信息的子块，分别对各个子块进展匹配，从而提高直方图匹配法的适用性。,9.6.2 直方图匹配,11/15/2024,20,图像匹配,由于直方图丧失了颜色的位置信息，因此两幅图像可能内容完全不同，但直方图相像。所以，仅用简洁的颜色直方图匹配也简洁造成误识别。一种改进的方法是将图像划分成假设干子块，分别对各子块进展匹配。,1991年，A.Nagasaka和Y.Tanaka提出了一种将视频帧或图像分割成44一样大小的子块并比较相应子块的方法。这种方法对两幅视频帧或图像的相应子块进展比较，废弃差异最大的一对，其余的比较结果参与最终的识别。,9.6.2 直方图匹配,11/15/2024,21,图像匹配,5.,X,2,直方图匹配,X,2,直方图匹配的计算公式如下：,(9-35),对于,R、G、B,图像，X,2,直方图匹配的计算公式又可以变为,(9-36),9.6.2 直方图匹配,11/15/2024,22,图像匹配,X2直方图匹配与模板匹配或颜色直方图匹配相比具有更好的识别率，识别镜头切换(Abrupt Scene Change)上效果良好。,A.Nagasaka和Y.Tanaka通过对灰度和、灰度模板匹配、灰度直方图匹配、彩色模板匹配、颜色直方图匹配和X2直方图匹配六种匹配方法进展了试验比较。,结果说明，承受图像分块加上X2直方图匹配在镜头切换识别上具有很好的效果，但对镜头渐变识别效果不好。,9.6.2 直方图匹配,11/15/2024,23,图像匹配,6,.明可夫斯基距离法,若两幅图像,Q,和,D,的直方图分别为H,Q,和,H,K,，则颜色直方图匹配的计算方法可以利用度量空间的明可夫斯基 (,=1,也叫“街坊”（City Block）距离)，按如下方法进行匹配,(9-37),9.6.2 直方图匹配,11/15/2024,24,图像匹配,R、G、B,图像颜色是由不同亮度的红、绿、蓝三基色组成，因此式(9-16)可以改写成：,(9-38),式(9-38)在具体实施时，必需从所读取的各像素颜色值中分别出R、G、B三基色的亮度值。,9.6.2 直方图匹配,11/15/2024,25,图像匹配,B.Shahraray也曾提出类似的方法：将视频帧或图像分割成子块并进展块匹配，对全部子块匹配的结果承受一种非线性的统计算法进展综合评价。,由于子块的位置固定，各子块的直方图在肯定程度上反映了颜色的位置特征，因此子块划分与匹配的方法可以对物体运动、摄像机运动、镜头缩放等状况有更好的适应性。,9.6.2 直方图匹配,11/15/2024,26,图像匹配,9.6.3 外形匹配,外形也是描述图像内容的一个重要特征，利用外形进展匹配需要考虑三个问题。,首先，外形常与目标联系在一起，所以相对于颜色，外形特征可以看作是更高层次的图像特征。要获得有关目标的外形参数，常常要先对图像进展分割，所以外形特征会受图像分割效果的影响。,其次，目标外形的描述是一个特别简单的问题，至今还没有找到能与人的感觉相全都的图像外形的准确数学定义。,最终，从不同视角猎取的图像中目标外形可能会有很大差异，为准确进展外形匹配，需要解决平移、尺度、旋转变换不变性的问题。,11/15/2024,27,图像匹配,目标的外形常常可以用目标的轮廓来表示，而轮廓是由一系列边界点所组成的。一般认为，在较大尺度下常常能较牢靠地消退误检并检测到真正的边界点，但在大尺度下对边界的定位不易准确。,相反，在较小尺度下对真正边界点的定位常比较准确，但在小尺度下误检的比例会增加。,所以，可考虑先在较大尺度下检测出真正的边界点，再在较小尺度下对真正边界点进展较准确的定位。,小波变换和分析作为一种多尺度、多通道分析工具，比较适合对图像进展多尺度的边界检测，可参考有关文献。,9.6.3 外形匹配,11/15/2024,28,图像匹配,目前，常用的外形匹配方法主要有几何参数法Niblack，1993、Scassellati，1994、特征模表示法Pentland，Picard and Sclaroff，1996、不变矩法Mehtre，1997、边界方向直方图法Jain，1996、小波重要系数法Jacobs，1995、小波轮廓表示法杨翔英、章毓晋，1999等。,9.6.3 外形匹配,11/15/2024,29,图像匹配,9.6.3 外形匹配,图像的,p+q,阶几何矩、中心矩定义为,：,N和M分别是图像的高度和宽度；,1.不变矩：,Hu矩,11/15/2024,30,图像匹配,9.6.3 外形匹配,利用二阶和三阶归一化中心矩构造了7个不变矩M1-M7：,11/15/2024,31,图像匹配,9.6.3 外形匹配,这7个不变矩构成一组特征量，美籍华人胡名桂在1962年证明白他们具有旋转，缩放和平移不变性。实际上，在对图片中物体的识别过程中，只有M1和M2不变性保持的比较好，其他的几个不变矩带来的误差比较大。,由Hu矩组成的特征量对图片进展识别，优点就是速度很快，缺点是识