粒子群算法(1)-粒子群算法简介一、粒子群算法的历史 粒子群算法源于困难适应系统（Complex Adaptive System,CAS）。CAS理论于1994年正式提出，CAS中的成员称为主体。比如探讨鸟群系统，每个鸟在这个系统中就称为主体。主体有适应性，它能够与环境及其他的主体进行沟通，并且依据沟通的过程“学习”或“积累阅历”变更自身结构与行为。整个系统的演化或进化包括：新层次的产生（小鸟的诞生）；分化和多样性的出现（鸟群中的鸟分成很多小的群）；新的主题的出现（鸟找寻食物过程中，不断发觉新的食物）。 所以CAS系统中的主体具有4个基本特点（这些特点是粒子群算法发展变更的依据）：首先，主体是主动的、活动的。主体与环境及其他主体是相互影响、相互作用的，这种影响是系统发展变更的主要动力。环境的影响是宏观的，主体之间的影响是微观的，宏观与微观要有机结合。最终，整个系统可能还要受一些随机因素的影响。粒子群算法就是对一个CAS系统鸟群社会系统的探讨得出的。粒子群算法（ Particle Swarm Optimization, PSO）最早是由Eberhart和Kennedy于1995年提出，它的基本概念源于对鸟群觅食行为的探讨。设想这样一个场景:一群鸟在随机搜寻食物，在这个区域里只有一块食物，全部的鸟都不知道食物在哪里，但是它们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢?最简洁有效的就是搜寻目前离食物最近的鸟的四周区域。 PSO算法就从这种生物种群行为特性中得到启发并用于求解优化问题。在PSO中，每个优化问题的潜在解都可以想象成d维搜寻空间上的一个点，我们称之为“粒子”（Particle），全部的粒子都有一个被目标函数确定的适应值(Fitness Value )，每个粒子还有一个速度确定他们翱翔的方向和距离，然后粒子们就追随当前的最优粒子在解空间中搜寻。Reynolds对鸟群飞行的探讨发觉。鸟仅仅是追踪它有限数量的邻居但最终的整体结果是整个鸟群似乎在一个中心的限制之下.即困难的全局行为是由简洁规则的相互作用引起的。二、粒子群算法的详细表述 上面罗嗦了半天，那些都是科研工作者写论文的语气，不过，PSO的历史就像上面说的那样。下面通俗的说明PSO算法。 PSO算法就是模拟一群鸟找寻食物的过程，每个鸟就是PSO中的粒子，也就是我们须要求解问题的可能解，这些鸟在找寻食物的过程中，不停变更自己在空中飞行的位置与速度。大家也可以视察一下，鸟群在找寻食物的过程中，起先鸟群比较分散，渐渐这些鸟就会聚成一群，这个群忽高忽低、忽左忽右，直到最终找到食物。这个过程我们转化为一个数学问题。找寻函数 y=1-cos(3*x)*exp(-x)的在0,4最大值。该函数的图形如下：当x=0.9350-0.9450，达到最大值y=1.3706。为了得到该函数的最大值，我们在0，4之间随机的洒一些点，为了演示，我们放置两个点，并且计算这两个点的函数值，同时给这两个点设置在0，4之间的一个速度。下面这些点就会依据肯定的公式更改自己的位置，到达新位置后，再计算这两个点的值，然后再依据肯定的公式更新自己的位置。直到最终在y=1.3706这个点停止自己的更新。这个过程与粒子群算法作为比照如下：这两个点就是粒子群算法中的粒子。该函数的最大值就是鸟群中的食物计算两个点函数值就是粒子群算法中的适应值，计算用的函数就是粒子群算法中的适应度函数。更新自己位置的肯定公式就是粒子群算法中的位置速度更新公式。下面演示一下这个算法运行一次的也许过程：第一次初始化第一次更新位置其次次更新位置第21次更新最终的结果（30次迭代）最终全部的点都集中在最大值的地方。粒子群算法(2)-标准的粒子群算法在上一节的叙述中，唯一没有给大家介绍的就是函数的这些随机的点（粒子）是如何运动的，只是说依据肯定的公式更新。这个公式就是粒子群算法中的位置速度更新公式。下面就介绍这个公式是什么。在上一节中我们求取函数y=1-cos(3*x)*exp(-x)的在0,4最大值。并在0,4之间放置了两个随机的点，这些点的坐标假设为x1=1.5； x2=2.5；这里的点是一个标量，但是我们常常遇到的问题可能是更一般的状况x为一个矢量的状况，比如二维的状况z=2*x1+3*x22的状况。这个时候我们的每个粒子为二维，记粒子P1(x11,x12),P2=(x21,x22),P3=(x31,x32)，.Pn=(xn1,xn2)。这里n为粒子群群体的规模，也就是这个群中粒子的个数，每个粒子的维数为2。更一般的是粒子的维数为q，这样在这个种群中有n个粒子，每个粒子为q 维。 由n个粒子组成的群体对Q维（就是每个粒子的维数）空间进行搜寻。每个粒子表示为：xi（xi1,xi2,xi3,.,xiQ），每个粒子对应的速度可以表示为vi=(vi1,vi2,vi3,.,viQ)，每个粒子在搜寻时要考虑两个因素：1。自己搜寻到的历史最优值 pi ，pi=(pi1,pi2,.,piQ)，i=1,2,3,.,n。2。全部粒子搜寻到的最优值pg，pg=(pg1,pg2,.,pgQ)，留意这里的pg只有一个。下面给出粒子群算法的位置速度更新公式： 这里有几个重要的参数须要大家记忆，因为在以后的讲解中将会常常用到：它们是：是保持原来速度的系数，所以叫做惯性权重。是粒子跟踪自己历史最优值的权重系数，它表示粒子自身的相识，所以叫“认知”。通常设置为2。是粒子跟踪群体最优值的权重系数，它表示粒子对整个群体学问的相识，所以叫做“社会学问”，常常叫做“社会”。通常设置为2。是0,1区间内匀称分布的随机数。是对位置更新的时候，在速度前面加的一个系数，这个系数我们叫做约束因子。通常设置为1。 这样一个标准的粒子群算法就结束了。下面对整个基本的粒子群的过程给一个简洁的图形表示：推断终止条件可是设置适应值到达肯定的数值或者循环肯定的次数。 留意：这里的粒子是同时跟踪自己的历史最优值与全局（群体）最优值来变更自己的位置预速度的，所以又叫做全局版本的标准粒子群优化算法。粒子群算法(3)-标准的粒子群算法(局部版本)在全局版的标准粒子群算法中，每个粒子的速度的更新是依据两个因素来变更的，这两个因素是：1. 粒子自己历史最优值pi。2. 粒子群体的全局最优值pg。假如变更粒子速度更新公式，让每个粒子的速度的更新依据以下两个因素更新，A. 粒子自己历史最优值pi。B. 粒子邻域内粒子的最优值pnk。其余保持跟全局版的标准粒子群算法一样，这个算法就变为局部版的粒子群算法。 一般一个粒子i 的邻域随着迭代次数的增加而渐渐增加，起先第一次迭代，它的邻域为0，随着迭代次数邻域线性变大，最终邻域扩展到整个粒子群，这时就变成全局版本的粒子群算法了。经过实践证明：全局版本的粒子群算法收敛速度快，但是简洁陷入局部最优。局部版本的粒子群算法收敛速度慢，但是很难陷入局部最优。现在的粒子群算法大都在收敛速度与摆脱局部最优这两个方面下功夫。其实这两个方面是冲突的。看如何更好的折中了。 依据取邻域的方式的不同，局部版本的粒子群算法有很多不同的实现方法。第一种方法：依据粒子的编号取粒子的邻域，取法有四种：1，环形取法 2，随机环形取法 3，轮形取法 4，随机轮形取法。 1 环形2 随机环形 3 轮形 4随机轮形因为后面有以环形取法实现的算法，对环形取法在这里做一点点说明：以粒子1为例，当邻域是0的时候，邻域是它本身，当邻域是1时，邻域为2，8；当邻域是2时，邻域是2，3，7，8；.，以此类推，始终到邻域为4，这个时候，邻域扩展到整个例子群体。据文献介绍（国外的文献），采纳轮形拓扑结构，PSO的效果很好。其次种方法：依据粒子的欧式距离取粒子的邻域 在第一种方法中，依据粒子的编号来得到粒子的邻域，但是这些粒子其实可能在实际位置上并不相邻，于是Suganthan提出基于空间距离的划分方案，在迭代中计算每一个粒子与群中其他粒子的距离。记录任何2个粒子间的的最大距离为dm。对每一粒子依据|xa-xb|/dm计算一个比值。其中|xa-xb|是当前粒子a到b的距离。而选择阈值frac依据迭代次数而变更。当另一粒子b满意|xa-xb|/dmfrac时，认为b成为当前粒子的邻域。 这种方法经过试验，取得较好的应用效果，但是由于要计算全部粒子之间的距离，计算量大，且须要很大的存储空间，所以，该方法一般不常常运用。粒子群算法(4)-粒子群算法分类粒子群算法主要分为4个大的分支：（1）标准粒子群算法的变形 在这个分支中，主要是对标准粒子群算法的惯性因子、收敛因子（约束因子）、“认知”部分的c1，“社会”部分的c2进行变更与调整，希望获得好的效果。 惯性因子的原始版本是保持不变的，后来有人提出随着算法迭代的进行，惯性因子须要渐渐减小的思想。算法起先阶段，大的惯性因子可以是算法不简洁陷入局部最优，到算法的后期，小的惯性因子可以使收敛速度加快，使收敛更加平稳，不至于出现振荡现象。经过本人测试，动态的减小惯性因子w，的确可以使算法更加稳定，效果比较好。但是递减惯性因子采纳什么样的方法呢？人们首先想到的是线型递减，这种策略的确很好，但是是不是最优的呢？于是有人对递减的策略作了探讨，探讨结果指出：线型函数的递减优于凸函数的递减策略，但是凹函数的递减策略又优于线型的递减，经过本人测试，试验结果基本符合这个结论，但是效果不是很明显。 对于收敛因子，经过证明假如收敛因子取0.729,可以确保算法的收敛，但是不能保证算法收敛到全局最优，经过本人测试，取收敛因子为0.729效果较好。对于社会与认知的系数c2,c1也有人提出：c1先大后小，而c2先小后大的思想，因为在算法运行初期，每个鸟要有大的自己的认知部分而又比较小的社会部分，这个与我们自己一群人找东西的情形比较接近，因为在我们找东西的初期，我们基本依靠自己的学问取找寻，而后来，我们积累的阅历越来越丰富，于是大家起先渐渐达成共识（社会学问），这样我们就起先依靠社会学问来找寻东西了。 2007年希腊的两位学者提出将收敛速度比较快的全局版本的粒子群算法与不简洁陷入局部最优的局部版本的粒子群算法相结合的方法，利用的公式是vn*v(全局版本)（1n）*v(局部版本) 速度更新公式，v代表速度 w（k1）w(k)v 位置更新公式该算法在文献中探讨了系数n取各种不同状况的状况，并且运行来了20000次来分析各种系数的结果。（2）粒子群算法的混合 这个分支主要是将粒子群算法与各种算法相混合，有人将它与模拟退火算法相混合，有些人将它与单纯形方法相混合。但是最多的是将它与遗传算法的混合。依据遗传算法的三种不同算子可以生成3中不同的混合算法。 粒子群算法与选择算子的结合，这里相混合的思想是：在原来的粒子群算法中，我们选择粒子群群体的最优值作为pg，但是相结合的版本是依据全部粒子的适应度的大小给每个粒子给予一个被选中的概率，然后依据概率对这些粒子进行选择，被选中的粒子作为pg，其它的状况都不变。这样的算法可以在算法运行过程中保持粒子群的多样性，但是致命的缺点是收敛速度缓慢。 粒子群算法与杂交算子的结合，结合的思想与遗传算法的基本一样，在算法运行