第七章第七章 现代优化方法现代优化方法第二节第二节 遗传算法遗传算法第三节第三节 蚁群算法蚁群算法第四节第四节 基于神经网络的优化方法基于神经网络的优化方法第一节第一节 绪论绪论1.1.1.1.现代机械产品的系统性现代机械产品的系统性现代机械产品的系统性现代机械产品的系统性, , , ,综合性、复杂性和规模化导致设计综合性、复杂性和规模化导致设计综合性、复杂性和规模化导致设计综合性、复杂性和规模化导致设计模型的横向扩展模型的横向扩展模型的横向扩展模型的横向扩展. . . .例如例如例如例如, , , ,由零件的优化发展到部件由零件的优化发展到部件由零件的优化发展到部件由零件的优化发展到部件, , , ,整机、系整机、系整机、系整机、系列和组合产品的优化列和组合产品的优化列和组合产品的优化列和组合产品的优化, , , ,由单学科领域的优化发展到机、液、由单学科领域的优化发展到机、液、由单学科领域的优化发展到机、液、由单学科领域的优化发展到机、液、光、电、信息的集成优化；光、电、信息的集成优化；光、电、信息的集成优化；光、电、信息的集成优化；2.2.2.2.对产品寿命周期优化的市场需求导致设计模型的纵向扩展对产品寿命周期优化的市场需求导致设计模型的纵向扩展对产品寿命周期优化的市场需求导致设计模型的纵向扩展对产品寿命周期优化的市场需求导致设计模型的纵向扩展, , , ,例如从功能优化、原理方案设计优化到技术设计优化例如从功能优化、原理方案设计优化到技术设计优化例如从功能优化、原理方案设计优化到技术设计优化例如从功能优化、原理方案设计优化到技术设计优化; ; ; ;从从从从性能参数优化、结构参数优化到面向制造的优化性能参数优化、结构参数优化到面向制造的优化性能参数优化、结构参数优化到面向制造的优化性能参数优化、结构参数优化到面向制造的优化; ; ; ;从设计从设计从设计从设计参数优化到加工方案和工艺参数参数优化到加工方案和工艺参数参数优化到加工方案和工艺参数参数优化到加工方案和工艺参数, , , ,也即的优化也即的优化也即的优化也即的优化; ; ; ;最终最终最终最终直至考虑产品可装配性、可使用性直至考虑产品可装配性、可使用性直至考虑产品可装配性、可使用性直至考虑产品可装配性、可使用性, , , ,可维修性和可回用性可维修性和可回用性可维修性和可回用性可维修性和可回用性等的全寿命周期优化；等的全寿命周期优化；等的全寿命周期优化；等的全寿命周期优化；3. 3. 3. 3. 对产品的要求由技术性扩展到经济性和社会性对产品的要求由技术性扩展到经济性和社会性对产品的要求由技术性扩展到经济性和社会性对产品的要求由技术性扩展到经济性和社会性, , , ,导致基于导致基于导致基于导致基于全性能的多目标优化。全性能的多目标优化。全性能的多目标优化。全性能的多目标优化。第一节第一节 绪论绪论广义优化设计方法产生的背景广义优化设计方法产生的背景广义优化设计方法产生的背景广义优化设计方法产生的背景工程优化的发展历程工程优化的发展历程传统优化往往只适传统优化往往只适用于简单零部件，用于简单零部件，广义优化把对象由广义优化把对象由此扩展到复杂零部此扩展到复杂零部件、整机、系列产件、整机、系列产品和组合产品的整品和组合产品的整体优化，可统称为体优化，可统称为全系统优化。全系统优化。现代优化是全系统优化现代优化是全系统优化传统优化往往只侧重于某传统优化往往只侧重于某一方面性能的优化，处理一方面性能的优化，处理不同类性能时一般分先后不同类性能时一般分先后而优之。广义优化把优化而优之。广义优化把优化准则由某方面性能扩展到准则由某方面性能扩展到各方面性能，要实现技术各方面性能，要实现技术性、经济性和社会性的综性、经济性和社会性的综合评估和优化。合评估和优化。现代优化是全性能协调优化现代优化是全性能协调优化传统优化往往局限传统优化往往局限于产品技术设计阶于产品技术设计阶段的优化，广义优段的优化，广义优化则把优化的范围化则把优化的范围扩展到包含功能、扩展到包含功能、原理方案和原理参原理方案和原理参数、结构方案、结数、结构方案、结构参数、结构形状构参数、结构形状和公差优化的全设和公差优化的全设计过程，进而面向计过程，进而面向制造、经销、使用制造、经销、使用和用后处置的寿命和用后处置的寿命周期设计过程。周期设计过程。现代优化是全设计过程优化现代优化是全设计过程优化传统优化的搜索策略以数学规划方法为主，对模型传统优化的搜索策略以数学规划方法为主，对模型数学形态的要求苛刻。广义优化设计注重开发、综数学形态的要求苛刻。广义优化设计注重开发、综合运用人类智能、人工智能和各种数学工具的新一合运用人类智能、人工智能和各种数学工具的新一代搜索策略，处理大规模复杂形态模型的能力显著代搜索策略，处理大规模复杂形态模型的能力显著提高，从而为全系统、全性能和全寿命周期优化模提高，从而为全系统、全性能和全寿命周期优化模型的综合求解提供了可能。型的综合求解提供了可能。现代优化是智能优化现代优化是智能优化传统优化一般是单学传统优化一般是单学科、单方面性能、单科、单方面性能、单计算机串行优化的过计算机串行优化的过程，不但费时，而且程，不但费时，而且难以得到综合优化解。难以得到综合优化解。广义优化实现了多学广义优化实现了多学科、多方面性能、多科、多方面性能、多计算机分布式并行协计算机分布式并行协同优化同优化, ,以追求综合以追求综合优化解。优化解。现代优化是多学科优化现代优化是多学科优化 航航航航天天天天、航航航航空空空空、通通通通讯讯讯讯设设设设备备备备等等等等的的的的快快快快速速速速发发发发展展展展，提提提提出出出出了了了了大大大大量量量量的的的的复复复复杂杂杂杂优优优优化化化化设设设设计计计计问问问问题题题题，为为为为现现现现代代代代优优优优化化化化方方方方法法法法的的的的产产产产生生生生提提提提供供供供了了了了动动动动力力力力。 生生生生物物物物技技技技术术术术、并并并并行行行行计计计计算算算算技技技技术术术术和和和和人人人人工工工工智智智智能能能能技技技技术术术术以以以以及及及及商商商商用用用用软软软软件件件件等等等等的的的的发发发发展展展展为为为为现现现现代代代代优优优优化化化化方方方方法法法法提提提提供供供供了了了了技技技技术术术术支支支支撑撑撑撑。现代优化设计方法现代优化设计方法遗遗遗遗传传传传算算算算法法法法神神神神经经经经网网网网络络络络拓拓拓拓扑扑扑扑优优优优化化化化蚁蚁蚁蚁群群群群算算算算法法法法模模模模拟拟拟拟退退退退火火火火混混混混沌沌沌沌优优优优化化化化禁禁禁禁忌忌忌忌算算算算法法法法常用现代优化方法常用现代优化方法遗传算法遗传算法遗传算法遗传算法(Genetic Algorithm) (Genetic Algorithm) 是模拟达尔文的遗传选择是模拟达尔文的遗传选择是模拟达尔文的遗传选择是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是自然遗传学和计和自然淘汰的生物进化过程的计算模型，是自然遗传学和计和自然淘汰的生物进化过程的计算模型，是自然遗传学和计和自然淘汰的生物进化过程的计算模型，是自然遗传学和计算机科学相互结合与渗透而形成的新的计算方法。算机科学相互结合与渗透而形成的新的计算方法。算机科学相互结合与渗透而形成的新的计算方法。算机科学相互结合与渗透而形成的新的计算方法。 该方法最该方法最该方法最该方法最早是由美国早是由美国早是由美国早是由美国MichiganMichigan大学的大学的大学的大学的HollandHolland教授于教授于教授于教授于19751975年提出。年提出。年提出。年提出。生物进化生物进化遗传算法遗传算法关键技术关键技术编码编码适应度适应度遗传算子遗传算子第二节第二节 遗传算遗传算法法遗传算法的二进制编码过程遗传算法的二进制编码过程对设计变量进行离散化处理，得出每一个分量对设计变量进行离散化处理，得出每一个分量的离散值和离散值个数：的离散值和离散值个数：确定每一个设计变量的确定每一个设计变量的编码长度编码长度 (二进制位数二进制位数)：对每一个设计变量进行对每一个设计变量进行编码编码：将所有设计变量将所有设计变量编码编码按顺序排列在一起，变形成按顺序排列在一起，变形成一个染色体。染色体长度为一个染色体。染色体长度为二进制编码选例二进制编码选例在直齿圆柱齿轮减速器优化设计中，设计变量为：在直齿圆柱齿轮减速器优化设计中，设计变量为：适应度函数的确定适应度函数的确定遗传算子遗传算子选择选择选择选择(Selection)(Selection)交叉交叉交叉交叉(Crossover)(Crossover)变异变异变异变异(Mutation)(Mutation)移民移民移民移民(Immigrant)(Immigrant)遗传遗传遗传遗传算子算子算子算子遗传算法的流程框图遗传算法的流程框图开开开开 始始始始输入种群数、交叉概率、变异概率输入种群数、交叉概率、变异概率输入种群数、交叉概率、变异概率输入种群数、交叉概率、变异概率随机产生一组初始种群随机产生一组初始种群随机产生一组初始种群随机产生一组初始种群依据个体的适应度，随机进行选择依据个体的适应度，随机进行选择依据个体的适应度，随机进行选择依据个体的适应度，随机进行选择依据交叉概率，随机进行交叉依据交叉概率，随机进行交叉依据交叉概率，随机进行交叉依据交叉概率，随机进行交叉依据变异概率，随机进行变异依据变异概率，随机进行变异依据变异概率，随机进行变异依据变异概率，随机进行变异达到进化代数达到进化代数达到进化代数达到进化代数NY结结结结 束束束束1.确定种群规模确定种群规模确定种群规模确定种群规模n n（一般一般一般一般=40-300)=40-300) 、交叉概率交叉概率交叉概率交叉概率p pc c（0.60.6到到到到1.01.0之间之间之间之间) )、交叉概率、交叉概率、交叉概率、交叉概率p pmm（0.0010.001到到到到0.010.01之间之间之间之间) ) 和迭代代数，令和迭代代数，令和迭代代数，令和迭代代数，令k=0k=0；2.随机产生的一组初始种群；随机产生的一组初始种群；随机产生的一组初始种群；随机产生的一组初始种群；3.计算种群中每个解计算种群中每个解计算种群中每个解计算种群中每个解( (个体个体个体个体) )相应的目标函数值相应的目标函数值相应的目标函数值相应的目标函数值( (适应度适应度适应度适应度) )，按每个个体的适应度占种群适应度的百分数分配选择率；按每个个体的适应度占种群适应度的百分数分配选择率；按每个个体的适应度占种群适应度的百分数分配选择率；按每个个体的适应度占种群适应度的百分数分配选择率；4.在所有个体中，选出适应度较大的个个体在所有个体中，选出适应度较大的个个体在所有个体中，选出适应度较大的个个体在所有个体中，选出适应度较大的个个体( (有些个体是有些个体是有些个体是有些个体是重复的重复的重复的重复的) )，这个过程称为选择；，这个过程称为选择；，这个过程称为选择；，这个过程称为选择；5.在选择后的种群中，按交叉概率随机选取一对个体，进在选择后的种群中，按交叉概率随机选取一对个体，进在选择后的种群中，按交叉概率随机选取一对个体，进在选择后的种群中，按交叉概率随机选取一对个体，进行交叉运算，产生一对新的个体，重复该过程；行交叉运算，产生一对新的个体，重复该过程；行交叉运算，产生一对新的个体，重复该过程；行交叉运算，产生一对新的个体，重复该过程；6.在交叉后的种群中，按变异概率随机选取一个个体，进在交叉后的种群中，按变异概率随机选取一个个体，进在交叉后的种群中，按变异概率随机选取一个个体，进在交叉后的种群中，按变异概率随机选取一个个体，进行变异运算，产生一个新的个体，重复该过程；行变异运算，产生一个新的个体，重复该过程；行变异运算，产生一个新的个体，重复该过程；行变异运算，产生一个新的个体，重复该过程；7.K=k+1K=k+1，若若若若达到预定的迭代代数，则将种群中适应度最达到预定的迭代代数，则将种群中适应度最达到预定的迭代代数，则将种群中适应度最达到预定的迭代代数，则将种群中适应度最大的个体作为最优解输出，停止迭代；否则，转大的个体作为最优解输出，停止迭代；否则，转大的个体作为最优解输出，停止迭代；否则，转大的个体作为最优解输出，停止迭代；否则，转(3)(3)。遗传算法实现遗传算法实现遗传算法收敛判据遗传算法收敛判据达到规定迭代的次数达到规定迭代的次数达到规定迭代的次数达到规定迭代的次数; ;设定连续几次得到的解群中最好的解没有变化设定连续几次得到的解群中最好的解没有变化设定连续几次得到的解群中最好的解没有变化设定连续几次得到的解群中最好的解没有变化; ;解群中最好的解的适应值与平均值之差占平均适解群中最好的解的适应值与平均值之差占平均适解群中最好的解的适应值与平均值之差占平均适解群中最好的解的适应值与平均值之差占平均适应值的百分数小于某一设定值应值的百分数小于某一设定值应值的百分数小于某一设定值应值的百分数小于某一设定值. .遗传算法理论研究遗传算法理论研究Holland (1975)的模式理论的模式理论模式：具有部分相同字符的字符串组合模式：具有部分相同字符的字符串组合如模式：如模式： 0*10 表示表示 0010, 0110Number of instance ofschema s at time tAverage fitness ofindividuals in schema s at time tProbabilityof mutationNumber ofdefined bitsin schema sProbabilityof crossoverDistance betweendefined bits in s选择算子选择算子父父辈辈群群体体个体编码个体编码个体译码个体译码适应度值适应度值10100111001101011010011100110101110101010011111111010101001111110110110110100110011011011010011030, 5, 25.730, 5, 25.7645.7645.71110110000110100111011000011010011111100010011101111110001001110.19, 4, 21.019, 4, 21.028, 6, 22.528, 6, 22.539, 7, 25.039, 7, 25.027, 3, 24.527, 3, 24.5735.1735.1545.1545.1724.4724.4656.9656.9父辈群体为选择算子与运算对象，作为选择池。父辈群体为选择算子与运算对象，作为选择池。父辈群体为选择算子与运算对象，作为选择池。父辈群体为选择算子与运算对象，作为选择池。101001110011010011100110101101011001010101001010100111011011101111010101001101010100111111111111110101010011010101001111111111111101010100110101010011111111111110100111001101011010011100110101101001110011010110100111001101011010011100110101101001110011010110100111001101011010011100110101子子辈辈群群体体1个体编码个体编码个体译码个体译码适应度值适应度值101001110011010110100111001101010110110110100110011011011010011030, 5, 25.730, 5, 25.7645.7645.71110110000110100111011000011010011010101001111111101010100111111.19, 4, 21.019, 4, 21.028, 6, 22.528, 6, 22.527, 3, 24.527, 3, 24.527, 3, 24.527, 3, 24.5735.1735.1545.1545.1724.4724.4735.1735.111010101001111111101010100111111选择算子执行过程选择算子执行过程交叉算子执行过程交叉算子执行过程随机选取一对染色体随机选取一对染色体随随机机选选择择交交叉叉位位置置0110110101110111011011010111011111101101001010101110110100101010子子辈辈群群体体1个体编码个体编码10100111001101011010011100110101111011010010101011101101001010100110110101110111011011010111011111101110001100001110111000110000.交换后部基因串交换后部基因串子子辈辈群群体体2个体编码个体编码1110110101110111111011010111011101101101001010100110110100101010.各种交叉算子各种交叉算子随机选取一个染色体随机选取一个染色体随随机机选选择择变变异异位位置置子子辈辈群群体体2个体编码个体编码111000110011011111100011001101110101011100111000010101110011100010100111001101011010011100110101111000111000101111000111000101.对基因进行变异对基因进行变异变异算子执行过程变异算子执行过程子子辈辈群群体体3个体编码个体编码10100111001101111010011100110111.第三节第三节 蚁群算法蚁群算法(Ant colony algorithm)(Ant colony algorithm)1991年，年，Mdorigo等人首先开始了对蚁群行等人首先开始了对蚁群行为进行研究。深入考察了相对弱小，功能为进行研究。深入考察了相对弱小，功能并不强大的个体是如何完成复杂的工作的并不强大的个体是如何完成复杂的工作的(如寻找到食物的最佳路径并返回等如寻找到食物的最佳路径并返回等)。在。在此基础上形成了一种很好的优化算法。特此基础上形成了一种很好的优化算法。特别是对于离散规划问题更为有效。别是对于离散规划问题更为有效。研究中发现，蚂蚁在行进中会沿途留下一种叫信息素的挥发研究中发现，蚂蚁在行进中会沿途留下一种叫信息素的挥发性物质，其他蚂蚁能根据这种物质浓度的大小选择路径前进，性物质，其他蚂蚁能根据这种物质浓度的大小选择路径前进，并且沿途又留下这种信息素，使这种浓度加强，于是又吸引并且沿途又留下这种信息素，使这种浓度加强，于是又吸引更多的蚂蚁沿此路前进。在一段时间后，较短路径上信息素更多的蚂蚁沿此路前进。在一段时间后，较短路径上信息素由于挥发的少，同时访问的蚂蚁多，使其浓度远远超过较长由于挥发的少，同时访问的蚂蚁多，使其浓度远远超过较长路径上的信息素，此过程持续进行，直到所有蚂蚁都选择最路径上的信息素，此过程持续进行，直到所有蚂蚁都选择最短路径为止。受此启发而提出的短路径为止。受此启发而提出的ACA，能通过功能相对简单，能通过功能相对简单的人工蚂蚁之间的协作，解决复杂的问题。的人工蚂蚁之间的协作，解决复杂的问题。1. 概述概述 基于蚂蚁觅食建立最短路径的机理，是一种自然算法；基于蚂蚁觅食建立最短路径的机理，是一种自然算法；具具有有本本质质并并行行性性。所所有有蚂蚂蚁蚁独独立立、无无监监督督的的同同时时搜搜索索解解空空间中许多点而不是一个点，因而能够快速全局收敛；间中许多点而不是一个点，因而能够快速全局收敛；协协同同工工作作机机制制。蚂蚂蚁蚁选选择择路路径径时时，根根据据以以前前蚂蚂蚁蚁留留下下的的信信息素进行搜索，能以很大的概率找到优化问题的最优解；息素进行搜索，能以很大的概率找到优化问题的最优解；鲁鲁棒棒性性。使使用用概概率率规规则则而而不不是是确确定定性性规规则则指指导导搜搜索索，不不必必知道其他辅助信息，有极好的鲁棒性和广泛的适应性；知道其他辅助信息，有极好的鲁棒性和广泛的适应性；易于与其他启发式算法结合，以改进算法的性能。易于与其他启发式算法结合，以改进算法的性能。2. 蚁群算法的特点蚁群算法的特点3. 3. 人工蚁群算法原理人工蚁群算法原理v蚂蚁在寻找食物源时，能在其走过的路径上释放一种蚂蚁蚂蚁在寻找食物源时，能在其走过的路径上释放一种蚂蚁特有的分泌物特有的分泌物信息素；信息素；v蚂蚁在运动过程中能够感知信息素的存在及其强度，并以蚂蚁在运动过程中能够感知信息素的存在及其强度，并以此指导自己的运动方向，使蚂蚁倾向于朝着该物质强度高此指导自己的运动方向，使蚂蚁倾向于朝着该物质强度高的方向移动。因此，由大量蚂蚁组成的蚁群的集体行为便的方向移动。因此，由大量蚂蚁组成的蚁群的集体行为便表现出一种信息正反馈现象；表现出一种信息正反馈现象；v某一路径上走过的蚂蚁越多，则后来者选择该路径的概率某一路径上走过的蚂蚁越多，则后来者选择该路径的概率就越大，蚂蚁这种选择路径的过程被称之为蚂蚁的自催化就越大，蚂蚁这种选择路径的过程被称之为蚂蚁的自催化行为，也可将蚂蚁行为理解成所谓的增强型学习系统。行为，也可将蚂蚁行为理解成所谓的增强型学习系统。现以旅行商现以旅行商(Traveling Salesman Problem)问题的求解为例说问题的求解为例说明蚁群系统模型。明蚁群系统模型。4. 4. 人工蚁群系统模型及算法实现人工蚁群系统模型及算法实现TSP: 一个商人欲到一个商人欲到n个城市推销商品，每两个城市个城市推销商品，每两个城市i和和j间的间的距离为距离为dij，如何选择一条道路，使得商人每个城市走一，如何选择一条道路，使得商人每个城市走一遍后回到起点，且所走路径最短。遍后回到起点，且所走路径最短。计变量计变量xij : 当商人选择走当商人选择走城市城市i和和j间的间的距离时距离时xij1； 当商人不选择当商人不选择走城市走城市i和和j间间的距离时的距离时xij0。由城市由城市i出发出发1次次TSP的数学模型：的数学模型：进入城市进入城市j1次次在城市子集中在城市子集中不形成回路不形成回路m蚁群中蚂蚁的数量蚁群中蚂蚁的数量; ;dij两城市两城市i i和和j j之间距离之间距离; ;bi(t)t时刻位于城市时刻位于城市i的蚂蚁的个数的蚂蚁的个数, ,m=ni=1 =1 bi(t) ; ;ij(t)t时刻边弧时刻边弧( (i, ,j) )的轨迹强度的轨迹强度( (即即ij连线上残留的连线上残留的信息量信息量) )，且设，且设ij(0) =C(C =C(C为常数为常数) )，i, ,j=0,1,=0,1,n-1;-1; ij(t)t时刻边弧时刻边弧( (i, ,j) )的能见度，反映由城市的能见度，反映由城市i转移转移到城市到城市j的期望程度；的期望程度；首先引进如下记号首先引进如下记号: :蚂蚁蚂蚁k( (k= =1,2,m) )在运动过程中根据各条路径上的信息在运动过程中根据各条路径上的信息量决定转移方向。与真实蚁群系统不同，人工蚁群系统量决定转移方向。与真实蚁群系统不同，人工蚁群系统具有一定的记忆功能，随着时间的推移，以前留下的信具有一定的记忆功能，随着时间的推移，以前留下的信息逐渐消逝，经息逐渐消逝，经n个时刻，蚂蚁完成一次循环，各路径个时刻，蚂蚁完成一次循环，各路径上信息量要作调整。由此得到下述的人工蚁群系统模型上信息量要作调整。由此得到下述的人工蚁群系统模型: :5. 5. 蚁群算法步骤蚁群算法步骤1)设人工蚁群在并行地搜索设人工蚁群在并行地搜索TSP的解，并通过一种信息素做的解，并通过一种信息素做媒介相互通信，在每个结点上且和该结点相连的边的长度媒介相互通信，在每个结点上且和该结点相连的边的长度以信息素量做搜索下一结点的试探依据，直到找到一个以信息素量做搜索下一结点的试探依据，直到找到一个TSP的可行解。的可行解。2)在时刻在时刻t人工蚁人工蚁k由位置由位置i 转移至位置转移至位置j (即从一个结点转移到下即从一个结点转移到下一个结点一个结点)的转移概率为的转移概率为pkij(t)=ij(t)ij(t)sSis(t)is(t),sS0,s S 其中参数其中参数轨迹的相对重要性轨迹的相对重要性( 0); 能见度的相对重要性能见度的相对重要性( 0); S可行顶点集，即蚂蚁可行顶点集，即蚂蚁k下一步允许选择的城市。下一步允许选择的城市。,分别反映了蚂蚁在运动过程中所积累的信息及启发式因子分别反映了蚂蚁在运动过程中所积累的信息及启发式因子在蚂蚁选择路径中所起的不同作用。在蚂蚁选择路径中所起的不同作用。3)3)当当m个个人人工工蚁蚁按按(1)(1)式式找找到到了了可可行行解解，则则将将各各边边的的信信息息量量用用下下式式修修改改，即即调调整整信信息息量量的的轨轨迹迹强强度度，更更新新方程为方程为 ijij(t+n)=.(t+n)=.ijij(t)+(t)+ijij,(0,1),(0,1) ijij=mkmk=1=1kijkij其其中中kijkij第第k k只只蚂蚂蚁蚁在在本本次次循循环环中中留留在在路路径径( (i,j)i,j)上上的的信信息息量量;ijij本本次次循循环环中中路路径径ijij上上的的信信息息量量的的增增量量; ;参参数数轨轨迹迹的的持持久久性性;1-;1-轨迹衰减度轨迹衰减度, ,表示信息消逝程度表示信息消逝程度. .对上述系统模型对上述系统模型, ,采用人工蚁群方法求解的算法步骤可归结为采用人工蚁群方法求解的算法步骤可归结为: :Step1: Step1: NC0(NCNC0(NC为为迭迭代代步步数数或或搜搜索索次次数数) )；各各ij和和ij的的初初始始化；将化；将m个蚂蚁置于个蚂蚁置于n个顶点上；个顶点上；Step2: Step2: 将将各各蚂蚂蚁蚁的的初初始始出出发发点点置置于于当当前前解解集集中中；对对每每个个蚂蚂蚁蚁k( (k=1,=1,m) )按按概概率率p pkij移移至至下下一一顶顶点点j j；将将顶顶点点j j置置于于当当前前解集；解集；Step3: Step3: 计计算算各各蚂蚂蚁蚁的的目目标标函函数数值值z zk(k=1,m)(k=1,m)，记记录录当当前前的的最最好解；好解；Step4: Step4: 按更新方程修改轨迹强度；按更新方程修改轨迹强度；Step5: Step5: 对各边弧对各边弧(i，j)( (即路径即路径ij) )，置，置ij00；NCNC+1.NCNC+1.Step6: Step6: 若若NCNC预预定定的的迭迭代代次次数数且且无无退退化化行行为为( (即即找找到到的的都都是是相相同解同解),),则转则转Step2.Step2.6. 6. 蚁群算法框图蚁群算法框图 人工神经网络人工神经网络人工神经网络人工神经网络(Artificial Neural Networks)(Artificial Neural Networks)的早期工的早期工的早期工的早期工作可以追溯到作可以追溯到作可以追溯到作可以追溯到19431943年年年年McCullochMcCulloch和和和和 Pitts Pitts建立的第一个用于建立的第一个用于建立的第一个用于建立的第一个用于分类的认知模型。分类的认知模型。分类的认知模型。分类的认知模型。2020世纪世纪世纪世纪8080年代，年代，年代，年代，HopfieldHopfield将人工神经网将人工神经网将人工神经网将人工神经网络成功地应用在组合优化问题。络成功地应用在组合优化问题。络成功地应用在组合优化问题。络成功地应用在组合优化问题。 人工神经网络模型是基于生物学中的神经网络的基人工神经网络模型是基于生物学中的神经网络的基人工神经网络模型是基于生物学中的神经网络的基人工神经网络模型是基于生物学中的神经网络的基本原理而建立的。生物学中的神经网络简图如下：本原理而建立的。生物学中的神经网络简图如下：本原理而建立的。生物学中的神经网络简图如下：本原理而建立的。生物学中的神经网络简图如下：第四节第四节 基于神经网络的优化方法基于神经网络的优化方法人工神经元人工神经元x x1 1x x2 2x xn nw w1 1w w2 2w wn ny y轴突轴突轴突轴突突触突触突触突触 晶枝晶枝晶枝晶枝内核内核内核内核 轴突轴突轴突轴突输入输入输入输入输出输出输出输出称为阈值称为阈值称为阈值称为阈值转移函数或输出函数转移函数或输出函数转移函数或输出函数转移函数或输出函数其中其中其中其中F(x)x01F(x)x011/2常用转移函数常用转移函数符号函数符号函数S形函数形函数神经网络的工作原理神经网络的工作原理神经网络训练过程：神经网络训练过程：神经网络训练过程：神经网络训练过程：神经网络工作过程：神经网络工作过程：神经网络工作过程：神经网络工作过程： 常用网络模型常用网络模型 前向网络前向网络前向网络前向网络 反馈网络反馈网络反馈网络反馈网络层状层状结构结构同层单元间无信息交流同层单元间无信息交流信息向前传递信息向前传递环状结构环状结构单元间皆有信息交流单元间皆有信息交流信息多向传递信息多向传递单单层层前前向向网网络络多多层层前前向向网网络络线线性性前前向向网网络络非非线线性性前前向向网网络络连连续续型型反反馈馈网网络络离离散散型型反反馈馈网网络络单单层层前前向向网网络络单单层层前前向向网网络络 多层前向网络多层前向网络 下图为一个典型的多层（两层）前向网络，下图为一个典型的多层（两层）前向网络，下图为一个典型的多层（两层）前向网络，下图为一个典型的多层（两层）前向网络，1inx1xixn1jmkzkw11w1jw1mvijvjvmwnm1z1rzrvj 输入层输入层输入层输入层 隐层隐层隐层隐层 输出层输出层输出层输出层 传递函数传递函数传递函数传递函数 多层前向网络传递函数的确定多层前向网络传递函数的确定 设各单元皆采用设各单元皆采用设各单元皆采用设各单元皆采用S S形函数，从第形函数，从第形函数，从第形函数，从第0 0层到第一层的输出向量为：层到第一层的输出向量为：层到第一层的输出向量为：层到第一层的输出向量为：1inx1xixn1jn1w(1)11y1yjyn1w(1)1n1w(1)1jw(1)nn1w(1)n1w(1)i1 多层前向网络传递函数的确定多层前向网络传递函数的确定同理可得，从第同理可得，从第同理可得，从第同理可得，从第k-1k-1层到第层到第层到第层到第k k层的输出向量为：层的输出向量为：层的输出向量为：层的输出向量为：1ink-1yk-111jnkw(k)11w(k)1n1w(k)1jw(k)nn1w(k)n1w(k)i1yk-1iyk-1nk-1ykjyk1yknk 多层前向网络的学习规则多层前向网络的学习规则 多层前向网络大多采用反向传播多层前向网络大多采用反向传播(Back propagation) 学习规则，即前一层权系数学习规则，即前一层权系数是靠输出来调节的，故简称为是靠输出来调节的，故简称为BP网络。网络。BP神经网络与权系数的优化神经网络与权系数的优化确定出权系数确定出权系数W和和V1inx1xixn1jmrzw11w1jw1mv1vjvmwnmHopfield 网络结构网络结构1inx1(t)xi (t)xn (t)1inw11w1jw1nwnnx1(t+1)xi (+1 t)xn (t +1) t t tHopfield 网络用于优化设计网络用于优化设计优化设优化设计模型计模型引入能引入能量函数量函数建立动力建立动力学方程学方程谢谢谢谢!