单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,罗林开,模式识别与智能系统研究所,10/4/2023,1,线性方程组的共轭梯度法,(Hestenes and Stiefel,1952),线性方程组的共轭梯度法(Hestenes and Stief,1,线性方程组的共轭梯度法课件,2,线性方程组的共轭梯度法课件,3,线性方程组的共轭梯度法课件,4,无约束最优化问题的共轭梯度法,正交方向,共轭方向,共轭梯度法,无约束最优化问题的共轭梯度法正交方向,5,线性方程组的共轭梯度法课件,6,正交方向及其性质,沿两个相互正交的方向，进行精确一维搜索，即可得到最优解（二维情形）,正交方向及其性质沿两个相互正交的方向，进行精确一维搜索，即可,7,线性方程组的共轭梯度法课件,8,线性方程组的共轭梯度法课件,9,线性方程组的共轭梯度法课件,10,d,(1),x,(1),x,(2),x,(3),=,x,*,d,(2),d(1)x(1)x(2)x(3)=x*d(2),11,A共轭方向,A共轭方向,12,线性方程组的共轭梯度法课件,13,线性方程组的共轭梯度法课件,14,线性方程组的共轭梯度法课件,15,A共轭方向的生成：共轭梯度法,A共轭方向的生成：共轭梯度法,16,共轭梯度法基本性质,定理:,对于正定二次函数，,采用精确一维,搜索的共轭梯度法在,步后终止，,且对,成立下列关系式：,共轭梯度法基本性质定理:对于正定二次函数，采用精确一维搜索的,17,线性方程组的共轭梯度法课件,18,线性方程组的共轭梯度法课件,19,线性方程组的共轭梯度法课件,20,线性方程组的共轭梯度法课件,21,k,的不同计算公式,k的不同计算公式,22,正定二次函数的共轭梯度法,正定二次函数的共轭梯度法,23,一般可微函数的共轭梯度法,一般可微函数的共轭梯度法,24,共轭梯度法的特点,具有二次终止性，即对正定二次函数经过有限步迭代必达到最优解。,为下降算法，可看成最速下降算法的一般化或推广（最速下降法相继搜索的两个方向是正交的，而共轭梯度法相继搜索的两个方向是共轭的）,存储量少（仅需存储三个维向量x(k),g(k),d(k)），较适用于大规模问题,共轭梯度法的特点具有二次终止性，即对正定二次函数经过有限步迭,25,正定对称方程组的共轭梯度法,正定对称方程组的共轭梯度法,26,一般对称矩阵方程组的共轭梯度法,一般对称矩阵方程组的共轭梯度法,27,线性方程组的共轭梯度法课件,28,一般线性方程组的共轭梯度法,一般线性方程组的共轭梯度法,29,