*,*,2024/11/15,1,粒子群算法,2023/10/101 粒子群算法,1,2024/11/15,2,粒子群算法的研究背景,粒子群算法,(Particle Swarm Optimization,，简称,PSO),，是一种基于群体智能的进化计算方法。,PSO,由,Kennedy,和,Eberhart,博士于,1995,年提出。,PSO,一经提出，由于算法简单，容易实现，立刻引起了进化计算领域学者们的广泛关注，形成一个研究热点，目前已广泛应用于函数优化、神经网络训练、模式分类、模糊控制等领域，取得了较好的效果。,目前,PSO,算法已被“国际进化计算会议”,(IEEE International Conferences on Evolutionary Computation,CEC),列为一个讨论的专题。,2023/10/102粒子群算法的研究背景粒子群算法(Par,2,2024/11/15,3,PSO,的基本概念源于对鸟群捕食行为的研究：,一群鸟在随机搜寻食物，在这个区域里只有一块食物，所有鸟都不知道食物在哪里。但是他们知道当前的位置离食物还有多远。,那么找到食物的最优策略是什么呢,?,最简单有效的就是搜寻目前离食物最近的鸟的周围区域。,粒子群算法的基本原理,2023/10/103PSO的基本概念源于对鸟群捕食行为的研,3,2024/11/15,4,PSO,算法就从这种生物种群行为特性中得到启发并用于求解优化问题。,在,PSO,中，把一个优化问题看作是在空中觅食的鸟群，那么“食物”就是优化问题的最优解，而在空中飞行的每一只觅食的“鸟”就是,PSO,算法中在解空间中进行搜索的一个“粒子”,(Particle),。,“群”,(Swarm),的概念来自于人工生命，满足人工生命的五个基本原则。因此,PSO,算法也可看作是对简化了的社会模型的模拟，这其中最重要的是社会群体中的信息共享机制，这是推动算法的主要机制。,2023/10/104PSO算法就从这种生物种群行为特性中得,4,2024/11/15,5,粒子在搜索空间中以一定的速度飞行，这个速度根据它本身的飞行经验和同伴的飞行经验来动态调整。所有的粒子都有一个被目标函数决定的适应值(fitness,value)，这个适应值用于评价粒子的“好坏”程度。,每个粒子知道自己到目前为止发现的最好位置(particle best，记为pbest)和当前的位置，pbest就是粒子本身找到的最优解，这个可以看作是粒子自己的飞行经验。,除此之外，每个粒子还知道到目前为止整个群体中所有粒子发现的最好位置(global best，记为gbest)，gbest是在pbest中的最好值，即是全局最优解，这个可以看作是整个群体的经验。,2023/10/105粒子在搜索空间中以一定的速度飞行，这个,5,2024/11/15,6,每个粒子使用下列信息改变自己的当前位置：,(1),当前位置；,(2),当前速度；,(3),当前位置与自己最好位置之间的距离；,(4),当前位置与群体最好位置之间的距离。,2023/10/106每个粒子使用下列信息改变自己的当前位置,6,2024/11/15,7,用随机解初始化一群随机粒子，然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个“极值”来更新自己：,一个是粒子本身所找到的最好解，即个体极值,(pbest),，另一个极值是整个粒子群中所有粒子在历代搜索过程中所达到的最优解,(gbest),即全局极值。,找到这两个最好解后，接下来是,PSO,中最重要的“加速”过程，每个粒子不断地改变其在解空间中的速度，以尽可能地朝,pbest,和,gbest,所指向的区域“飞”去。,粒子群算法的基本思想,2023/10/107用随机解初始化一群随机粒子，然后通过迭,7,2024/11/15,8,假设在一个,N,维空间进行搜索，粒子,i,的信息可用两个,N,维向量来表示：,第,i,个粒子的位置可表示为,速度为,在找到两个最优解后，粒子即可根据下式来更新自己的速度和位置：,粒子群优化算法的一般数学模型,：是粒子,i,在第,k,次迭代中第,d,维的速度；,：是粒子,i,在第,k,次迭代中第d维的当前位置；,(1),(2),2023/10/108假设在一个N维空间进行搜索，粒子i的信,8,2024/11/15,9,i=1,，,2,，,3,，,M,：,种群大小。,c,1,和,c,2,：,学习因子，或称加速系数，合适的,c,1,和,c,2,既可加快收敛又不易陷入局部最优。,rand,1,和,rand,2,：,是介于,0,1,之间的随机数。,是粒子,i,在第,d,维的个体极值点的位置；,是整个种群在第,d,维的全局极值点的位置。,最大速度,v,max,：,决定了问题空间搜索的力度，粒子的每一维速度,v,id,都会被限制在,v,dmax,，,+v,dmax,之间，假设搜索空间的第,d,维定义为区间,x,dmax,，,+x,dmax,，则通常,v,dmax,=kx,dmax,，,0.1,k,1.0,，每一维都用相同的设置方法。,2023/10/109i=1，2，3，M：种群大小。最大速,9,2024/11/15,10,公式,(1),主要通过三部分来计算粒子,i,更新的速度：,粒子,i,前一时刻的速度 ；,粒子当前位置与自己历史最好位置之间的距离 ；,粒子当前位置与群体最好位置之间的距离 。,粒子通过公式,(2),计算新位置的坐标。,更新公式的意义,2023/10/1010公式(1)主要通过三部分来计算粒子i,10,2024/11/15,11,式,(1),的第一部分称为动量部分，表示粒子对当前自身运动状态的信任，为粒子提供了一个必要动量，使其依据自身速度进行惯性运动；,第二部分称为个体认知部分，代表了粒子自身的思考行为，鼓励粒子飞向自身曾经发现的最优位置；,第三部分称为社会认知部分，表示粒子间的信息共享与合作，它引导粒子飞向粒子群中的最优位置。,公式,(1),的第一项对应多样化,(diversification),的特点，第二项、第三项对应于搜索过程的集中化,(intensification),特点，这三项之间的相互平衡和制约决定了算法的主要性能。,2023/10/1011 式(1)的第一部分称为动量部分，表,11,2024/11/15,12,参数意义,(1),粒子的长度,N,：问题解空间的维数。,(2),粒子种群大小,M,：粒子种群大小的选择视具体问题而定，但是一般设置粒子数为,20-50,。对于大部分的问题,10,个粒子已经可以取得很好的结果，不过对于比较难的问题或者特定类型的问题，粒子的数量可以取到,100,或,200,。另外，粒子数目越多，算法搜索的空间范围就越大，也就更容易发现全局最优解。当然，算法运行的时间也较长。,(3),加速常数,c,1,和,c2,：分别调节向,Pbest,和,Gbest,方向飞行的最大步长，决定粒子个体经验和群体经验对粒子运行轨迹的影响，反映粒子群之间的信息交流。,如果,c,1,=0,，则粒子只有群体经验，它的收敛速度较快，但容易陷入局部最优；,2023/10/1012参数意义(1)粒子的长度N：问题解空,12,2024/11/15,13,如果,c,2,=0,，则粒子没有群体共享信息，一个规模为,M,的群体等价于运行了,M,个各行其是的粒子，得到解的几率非常小，因此一般设置,c,1,=c,2,。这样，个体经验和群体经验就有了相同重要的影响力，使得最后的最优解更精确。,改变这些常数会改变系统的“张力”，较低的,c,1,和,c,2,值使得粒子徘徊在远离目标的区域，较高的,c,1,和,c,2,值产生陡峭的运动或越过目标区域。,Shi,和,Eberhart,建议，为了平衡随机因素的作用，一般情况下设置,c,1,c,2,，大部分算法都采用这个建议。,2023/10/1013如果c2=0，则粒子没有群体共享,13,2024/11/15,14,(4),粒子的最大速度,v,max,：粒子的速度在空间中的每一维上都有一个最大速度限制值,v,dmax,，用来对粒子的速度进行钳制，使速度控制在范围,v,dmax,，,v,dmax,内，这决定问题空间搜索的力度，该值一般由用户自己设定。,v,max,是一个非常重要的参数，如果该值太大，则粒子们也许会飞过优秀区域；另一方面如果该值太小，则粒子们可能无法对局部最优区域以外的区域进行充分的探测。实际上，它们可能会陷入局部最优，而无法移动足够远的距离跳出局部最优达到空间中更佳的位置。,(5)rand,1,和,rand,2,是介于,0,1,之间的随机数，增加了粒子飞行的随机性。,(6),迭代终止条件：一般设为最大迭代次数,T,max,、计算精度,或最优解的最大停滞步数,t,。,2023/10/1014(4)粒子的最大速度vmax：粒,14,2024/11/15,15,算法流程,2023/10/1015算法流程,15,2024/11/15,16,程序伪代码,For each particle,Initialize particle,End,Do,For each particle,Calculate fitness value,If the fitness value is better than the best fitness value(pbest)in history,set current value as the new pbest,End,Choose the particle with the best fitness value of all the particles as the gbest,For each particle,Calculate particle velocity according equation(1),Update particle position according equation(2),End,While maximum iterations or minimum error criteria is not attained,2023/10/1016程序伪代码For each part,16,2024/11/15,17,PSO,的各种改进算法,PSO,收敛速度快，特别是在算法的早期，但也存在着精度较低，易发散等缺点。,若加速系数、最大速度等参数太大，粒子群可能错过最优解，算法不收敛；,而在收敛的情况下，由于所有的粒子都向最优解的方向飞去，所以粒子趋向同一化（失去了多样性），使得后期收敛速度明显变慢，同时算法收敛到一定精度时，无法继续优化，所能达到的精度也不高。,因此很多学者都致力于提高,PSO,算法的性能。,2023/10/1017PSO的各种改进算法 PSO收敛速度,17,2024/11/15,18,惯性权重法（,Inertia Weight,）,惯性权重法是由,Shi,等提出的，其速度更新公式为：,为非负数，称为惯性因子，惯性权重，是控制速度的权重,如果没有公式,(1),的第一部分，,PSO,的搜索过程是一个通过迭代搜索空间逐渐收缩的过程，展现出一种局部搜索,(exploitation),能力；反之，如果增加了第一部分，粒子就有能力扩展搜索空间，展现出一种全局搜索,(exploration),的能力。在搜索过程中，全局搜索能力与局部搜索能力的平衡对于算法的成功起着至关重要的作用。,引入一个惯性权重,到公式,(1),，,是与前一次速度有关的一个比例因子，较大的,可以加强,PSO,的全局探测能力，而较小的,能加强局部搜索能力，也就是这个,执行了全局搜索和局部搜索之间的平衡角色。,(3),2023/10/1018惯性权重法（Inertia Weig,18,2024/11/15,19,(1),线性调整,的策略,允许的最大速度,v,max,实际上作为一个约束，控制,PSO,能够具有的最大全局搜索能力。如果,v,max,较小，那么最大的全局搜索能力将被限制，不论惯性权重,的大小，,PSO,只支持局