第六章 神经网络理论基础 模糊控制从人的经验出发，解决了智能控模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了模拟人脑的感知、推理等智能行为方面迈出了重大的一步。重大的一步。 模糊控制在处理数值数据、自学习能力等方面模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过角度出发，即从人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行人工模拟人脑的工作机理来实现机器的部分智能行为。为。 人人人人工工工工神神神神经经经经网网网网络络络络（简简简简称称称称神神神神经经经经网网网网络络络络，Neural Neural NetworkNetwork）是模拟人脑思维方式的数学模型。是模拟人脑思维方式的数学模型。是模拟人脑思维方式的数学模型。是模拟人脑思维方式的数学模型。 神经网络是在现代生物学研究人脑组织成果的基础上提神经网络是在现代生物学研究人脑组织成果的基础上提神经网络是在现代生物学研究人脑组织成果的基础上提神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络出的，用来模拟人类大脑神经网络的结构和行为。神经网络出的，用来模拟人类大脑神经网络的结构和行为。神经网络出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、反映了人脑功能的基本特征，如并行信息处理、学习、联想、反映了人脑功能的基本特征，如并行信息处理、学习、联想、反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。模式分类、记忆等。模式分类、记忆等。模式分类、记忆等。 2020世世世世纪纪纪纪8080年年年年代代代代以以以以来来来来，人人人人工工工工神神神神经经经经网网网网络络络络（ANNANN，Artificial Artificial Neural Neural NetworkNetwork）研研研研究究究究所所所所取取取取得得得得的的的的突突突突破破破破性性性性进进进进展展展展。神神神神经经经经网网网网络络络络控控控控制制制制是是是是将将将将神神神神经经经经网网网网络络络络与与与与控控控控制制制制理理理理论论论论相相相相结结结结合合合合而而而而发发发发展展展展起起起起来来来来的的的的智智智智能能能能控控控控制制制制方方方方法法法法。它它它它已已已已成成成成为为为为智智智智能能能能控控控控制制制制的的的的一一一一个个个个新新新新的的的的分分分分支支支支，为为为为解解解解决决决决复复复复杂杂杂杂的的的的非线性、不确定、未知系统的控制问题开辟了新途径。非线性、不确定、未知系统的控制问题开辟了新途径。非线性、不确定、未知系统的控制问题开辟了新途径。非线性、不确定、未知系统的控制问题开辟了新途径。 神经网络的发展历程经过神经网络的发展历程经过神经网络的发展历程经过神经网络的发展历程经过4 4个阶段。个阶段。个阶段。个阶段。1 1 启蒙期（启蒙期（启蒙期（启蒙期（1890-19691890-1969年）年）年）年） 18901890年年年年，W.JamesW.James发发发发表表表表专专专专著著著著心心心心理理理理学学学学，讨讨讨讨论论论论了了了了脑脑脑脑的的的的结结结结构构构构和功能。和功能。和功能。和功能。 19431943年年年年，心心心心理理理理学学学学家家家家W.S.McCullochW.S.McCulloch和和和和数数数数学学学学家家家家W.PittsW.Pitts提提提提出出出出了了了了描描描描述述述述脑脑脑脑神神神神经经经经细细细细胞胞胞胞动动动动作作作作的的的的数数数数学学学学模模模模型型型型，即即即即M-PM-P模模模模型型型型（第第第第一一一一个个个个神神神神经经经经网网网网络模型）。络模型）。络模型）。络模型）。6.1 神经网络发展历史神经网络发展历史 19491949年年年年，心心心心理理理理学学学学家家家家HebbHebb实实实实现现现现了了了了对对对对脑脑脑脑细细细细胞胞胞胞之之之之间间间间相相相相互互互互影影影影响响响响的的的的数数数数学学学学描描描描述述述述，从从从从心心心心理理理理学学学学的的的的角角角角度度度度提提提提出出出出了了了了至至至至今今今今仍仍仍仍对对对对神神神神经经经经网网网网络络络络理理理理论论论论有有有有着着着着重要影响的重要影响的重要影响的重要影响的HebbHebb学习法则。学习法则。学习法则。学习法则。 19581958年年年年，E.RosenblattE.Rosenblatt提提提提出出出出了了了了描描描描述述述述信信信信息息息息在在在在人人人人脑脑脑脑中中中中贮贮贮贮存存存存和和和和记记记记忆的数学模型，即著名的感知机模型（忆的数学模型，即著名的感知机模型（忆的数学模型，即著名的感知机模型（忆的数学模型，即著名的感知机模型（PerceptronPerceptron）。）。）。）。 19621962年年年年，WidrowWidrow和和和和HoffHoff提提提提出出出出了了了了自自自自适适适适应应应应线线线线性性性性神神神神经经经经网网网网络络络络，即即即即AdalineAdaline网网网网络络络络，并并并并提提提提出出出出了了了了网网网网络络络络学学学学习习习习新新新新知知知知识识识识的的的的方方方方法法法法，即即即即WidrowWidrow和和和和HoffHoff学习规则（即学习规则（即学习规则（即学习规则（即学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。2 2 低潮期（低潮期（低潮期（低潮期（1969-19821969-1982） 受受受受当当当当时时时时神神神神经经经经网网网网络络络络理理理理论论论论研研研研究究究究水水水水平平平平的的的的限限限限制制制制及及及及冯冯冯冯 诺诺诺诺依依依依曼曼曼曼式式式式计计计计算算算算机发展的冲击等因素的影响，神经网络的研究陷入低谷。机发展的冲击等因素的影响，神经网络的研究陷入低谷。机发展的冲击等因素的影响，神经网络的研究陷入低谷。机发展的冲击等因素的影响，神经网络的研究陷入低谷。 在在在在美美美美、日日日日等等等等国国国国有有有有少少少少数数数数学学学学者者者者继继继继续续续续着着着着神神神神经经经经网网网网络络络络模模模模型型型型和和和和学学学学习习习习算算算算法法法法的的的的研研研研究究究究，提提提提出出出出了了了了许许许许多多多多有有有有意意意意义义义义的的的的理理理理论论论论和和和和方方方方法法法法。例例例例如如如如，19691969年年年年，S.GroisbergS.Groisberg和和和和A.CarpentetA.Carpentet提提提提出出出出了了了了至至至至今今今今为为为为止止止止最最最最复复复复杂杂杂杂的的的的ARTART网网网网络络络络，该该该该网网网网络络络络可可可可以以以以对对对对任任任任意意意意复复复复杂杂杂杂的的的的二二二二维维维维模模模模式式式式进进进进行行行行自自自自组组组组织织织织、自自自自稳稳稳稳定定定定和和和和大大大大规规规规模模模模并并并并行行行行处处处处理理理理。19721972年年年年，KohonenKohonen提提提提出出出出了了了了自自自自组组组组织织织织映映映映射射射射的的的的SOMSOM模型。模型。模型。模型。3 3 复兴期（复兴期（复兴期（复兴期（1982-19861982-1986） 19821982年年年年，物物物物理理理理学学学学家家家家HoppieldHoppield提提提提出出出出了了了了HoppieldHoppield神神神神经经经经网网网网络络络络模模模模型型型型，该该该该模模模模型型型型通通通通过过过过引引引引入入入入能能能能量量量量函函函函数数数数，实实实实现现现现了了了了问问问问题题题题优优优优化化化化求求求求解解解解，19841984年年年年他他他他用用用用此模型成功地解决了旅行商路径优化问题此模型成功地解决了旅行商路径优化问题此模型成功地解决了旅行商路径优化问题此模型成功地解决了旅行商路径优化问题(TSP)(TSP)。 在在在在 19861986年年年年 ， 在在在在 RumelhartRumelhart和和和和 McCellandMcCelland等等等等 出出出出 版版版版 Parallel Parallel Distributed Distributed ProcessingProcessing一一一一书书书书，提提提提出出出出了了了了一一一一种种种种著著著著名名名名的的的的多多多多层层层层神神神神经经经经网网网网络络络络模型，即模型，即模型，即模型，即BPBP网络。该网络是迄今为止应用最普遍的神经网络。网络。该网络是迄今为止应用最普遍的神经网络。网络。该网络是迄今为止应用最普遍的神经网络。网络。该网络是迄今为止应用最普遍的神经网络。4 4 新连接机制时期（新连接机制时期（新连接机制时期（新连接机制时期（1986-1986-现在）现在）现在）现在） 神神神神经经经经网网网网络络络络从从从从理理理理论论论论走走走走向向向向应应应应用用用用领领领领域域域域，出出出出现现现现了了了了神神神神经经经经网网网网络络络络芯芯芯芯片片片片和和和和神经计算机。神经计算机。神经计算机。神经计算机。 神神神神经经经经网网网网络络络络主主主主要要要要应应应应用用用用领领领领域域域域有有有有：模模模模式式式式识识识识别别别别与与与与图图图图象象象象处处处处理理理理（语语语语音音音音、指指指指纹纹纹纹、故故故故障障障障检检检检测测测测和和和和图图图图象象象象压压压压缩缩缩缩等等等等）、控控控控制制制制与与与与优优优优化化化化、预预预预测测测测与与与与管管管管理理理理（市场预测、风险分析）、通信等。（市场预测、风险分析）、通信等。（市场预测、风险分析）、通信等。（市场预测、风险分析）、通信等。6 .2 6 .2 神经网络原理神经网络原理神经网络原理神经网络原理 神神神神经经经经生生生生理理理理学学学学和和和和神神神神经经经经解解解解剖剖剖剖学学学学的的的的研研研研究究究究表表表表明明明明，人人人人脑脑脑脑极极极极其其其其复复复复杂杂杂杂，由由由由一一一一千千千千多多多多亿亿亿亿个个个个神神神神经经经经元元元元交交交交织织织织在在在在一一一一起起起起的的的的网网网网状状状状结结结结构构构构构构构构成成成成，其其其其中中中中大大大大脑脑脑脑皮层约皮层约皮层约皮层约140140亿个神经元，小脑皮层约亿个神经元，小脑皮层约亿个神经元，小脑皮层约亿个神经元，小脑皮层约10001000亿个神经元。亿个神经元。亿个神经元。亿个神经元。 人人人人脑脑脑脑能能能能完完完完成成成成智智智智能能能能、思思思思维维维维等等等等高高高高级级级级活活活活动动动动，为为为为了了了了能能能能利利利利用用用用数数数数学学学学模模模模型来模拟人脑的活动，导致了神经网络的研究。型来模拟人脑的活动，导致了神经网络的研究。型来模拟人脑的活动，导致了神经网络的研究。型来模拟人脑的活动，导致了神经网络的研究。 神神神神经经经经系系系系统统统统的的的的基基基基本本本本构构构构造造造造是是是是神神神神经经经经元元元元( (神神神神经经经经细细细细胞胞胞胞) )，它它它它是是是是处处处处理理理理人人人人体体体体内内内内各部分之间相互信息传递的基本单元。各部分之间相互信息传递的基本单元。各部分之间相互信息传递的基本单元。各部分之间相互信息传递的基本单元。 每每每每个个个个神神神神经经经经元元元元都都都都由由由由一一一一个个个个细细细细胞胞胞胞体体体体，一一一一个个个个连连连连接接接接其其其其他他他他神神神神经经经经元元元元的的的的轴轴轴轴突突突突和一些向外伸出的其它较短分支和一些向外伸出的其它较短分支和一些向外伸出的其它较短分支和一些向外伸出的其它较短分支树突组成。树突组成。树突组成。树突组成。 轴轴轴轴突突突突功功功功能能能能是是是是将将将将本本本本神神神神经经经经元元元元的的的的输输输输出出出出信信信信号号号号( (兴兴兴兴奋奋奋奋) )传传传传递递递递给给给给别别别别的的的的神神神神经经经经元元元元，其其其其末末末末端端端端的的的的许许许许多多多多神神神神经经经经末末末末梢梢梢梢使使使使得得得得兴兴兴兴奋奋奋奋可可可可以以以以同同同同时时时时传传传传送送送送给给给给多多多多个个个个神神神神经经经经元。元。元。元。 树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。 神经元细胞体将接收到的所有信号进行简单地处神经元细胞体将接收到的所有信号进行简单地处神经元细胞体将接收到的所有信号进行简单地处神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。理后，由轴突输出。理后，由轴突输出。理后，由轴突输出。 神经元的轴突与另外神经元神经末梢相连的部分神经元的轴突与另外神经元神经末梢相连的部分神经元的轴突与另外神经元神经末梢相连的部分神经元的轴突与另外神经元神经末梢相连的部分称为突触。称为突触。称为突触。称为突触。图图图图 单个神经元的解剖图单个神经元的解剖图单个神经元的解剖图单个神经元的解剖图 神经元由三部分构成：神经元由三部分构成：神经元由三部分构成：神经元由三部分构成：（1 1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；（2 2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；（3 3）轴轴轴轴突突突突：为为为为细细细细胞胞胞胞体体体体传传传传出出出出信信信信息息息息，其其其其末末末末端端端端是是是是轴轴轴轴突突突突末末末末梢梢梢梢，含含含含传传传传递递递递信信信信息的化学物质；息的化学物质；息的化学物质；息的化学物质；（4 4）突突突突触触触触：是是是是神神神神经经经经元元元元之之之之间间间间的的的的接接接接口口口口（10104 410105 5个个个个/ /每每每每个个个个神神神神经经经经元元元元）。一一一一个个个个神神神神经经经经元元元元通通通通过过过过其其其其轴轴轴轴突突突突的的的的神神神神经经经经末末末末梢梢梢梢，经经经经突突突突触触触触与与与与另另另另外外外外一一一一个个个个神神神神经经经经元元元元的的的的树树树树突突突突连连连连接接接接，以以以以实实实实现现现现信信信信息息息息的的的的传传传传递递递递。由由由由于于于于突突突突触触触触的的的的信信信信息息息息传传传传递递递递特特特特性性性性是是是是可可可可变变变变的的的的，随随随随着着着着神神神神经经经经冲冲冲冲动动动动传传传传递递递递方方方方式式式式的的的的变变变变化化化化，传传传传递递递递作作作作用用用用强强强强弱弱弱弱不不不不同同同同，形成了神经元之间连接的柔性，称为结构的可塑性。形成了神经元之间连接的柔性，称为结构的可塑性。形成了神经元之间连接的柔性，称为结构的可塑性。形成了神经元之间连接的柔性，称为结构的可塑性。 通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。神经元具有如下功能：神经元具有如下功能：(1)兴兴奋奋与与抑抑制制：如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位升升高高，超超过过动动作作电电位位的的阈阈值值时时即即为为兴兴奋奋状状态态，产产生生神神经经冲冲动动，由由轴轴突突经经神神经经末末梢梢传传出出。如如果果传传入入神神经经元元的的冲冲动动经经整整和和后后使使细细胞胞膜膜电电位位降降低低，低低于于动动作作电电位位的的阈阈值值时即为抑制状态，不产生神经冲动。时即为抑制状态，不产生神经冲动。(2)学学习习与与遗遗忘忘：由由于于神神经经元元结结构构的的可可塑塑性性，突突触触的的传传递递作作用可增强和减弱，因此神经元具有学习与遗忘的功能。用可增强和减弱，因此神经元具有学习与遗忘的功能。6.3 6.3 神经网络的分类神经网络的分类神经网络的分类神经网络的分类 目目目目前前前前神神神神经经经经网网网网络络络络模模模模型型型型的的的的种种种种类类类类相相相相当当当当丰丰丰丰富富富富，已已已已有有有有近近近近4040余余余余种种种种神经网络模型。神经网络模型。神经网络模型。神经网络模型。 典典典典型型型型的的的的神神神神经经经经网网网网络络络络有有有有多多多多层层层层前前前前向向向向传传传传播播播播网网网网络络络络 （BOPBOP网网网网络络络络）、HopfieldHopfield网网网网络络络络、CMACCMAC小小小小脑脑脑脑模模模模型型型型、ARTART网网网网络络络络、BAMBAM双双双双向向向向联联联联想想想想记记记记忆忆忆忆网网网网络络络络、SOMSOM自自自自组组组组织织织织网网网网络络络络、BlotzmanBlotzman机机机机网网网网络络络络和和和和MadalineMadaline网络等。网络等。网络等。网络等。 根根根根据据据据神神神神经经经经网网网网络络络络的的的的连连连连接接接接方方方方式式式式，神神神神经经经经网网网网络络络络可可可可分分分分为为为为两两两两种种种种形形形形式：式：式：式：（1 1）前向网络）前向网络）前向网络）前向网络 如如如如图图图图所所所所示示示示，神神神神经经经经元元元元分分分分层层层层排排排排列列列列，组组组组成成成成输输输输入入入入层层层层、隐隐隐隐含含含含层层层层和和和和输输输输出出出出层层层层。每每每每一一一一层层层层的的的的神神神神经经经经元元元元只只只只接接接接受受受受前前前前一一一一层层层层神神神神经经经经元元元元的的的的输输输输入入入入。输输输输入入入入模模模模式式式式经经经经过过过过各各各各层层层层的的的的顺顺顺顺次次次次变变变变换换换换后后后后，由由由由输输输输出出出出层层层层输输输输出出出出。在在在在各各各各神神神神经经经经元元元元之之之之间间间间不不不不存存存存在在在在反反反反馈馈馈馈。感感感感知知知知器器器器和和和和误误误误差差差差反反反反向向向向传传传传播播播播网络采用前向网络形式。网络采用前向网络形式。网络采用前向网络形式。网络采用前向网络形式。图图图图 前馈型神经网络前馈型神经网络前馈型神经网络前馈型神经网络（2 2）反馈网络）反馈网络）反馈网络）反馈网络 该该该该网网网网络络络络结结结结构构构构在在在在输输输输出出出出层层层层到到到到输输输输入入入入层层层层存存存存在在在在反反反反馈馈馈馈，即即即即每每每每一一一一个个个个输输输输入入入入节节节节点点点点都都都都有有有有可可可可能能能能接接接接受受受受来来来来自自自自外外外外部部部部的的的的输输输输入入入入和和和和来来来来自自自自输输输输出出出出神神神神经经经经元元元元的的的的反反反反馈馈馈馈。这这这这种种种种神神神神经经经经网网网网络络络络是是是是一一一一种种种种反反反反馈馈馈馈动动动动力力力力学学学学系统，它需要工作一段时间才能达到稳定。系统，它需要工作一段时间才能达到稳定。系统，它需要工作一段时间才能达到稳定。系统，它需要工作一段时间才能达到稳定。 HopfieldHopfield神神神神经经经经网网网网络络络络是是是是反反反反馈馈馈馈网网网网络络络络中中中中最最最最简简简简单单单单且且且且应应应应用用用用最最最最广广广广泛泛泛泛的的的的模模模模型型型型，它它它它具具具具有有有有联联联联想想想想记记记记忆忆忆忆的的的的功功功功能能能能，如如如如果果果果将将将将LyapunovLyapunov函函函函数数数数定定定定义义义义为为为为寻寻寻寻优优优优函函函函数数数数，HopfieldHopfield神神神神经经经经网网网网络络络络还可以解决寻优问题。还可以解决寻优问题。还可以解决寻优问题。还可以解决寻优问题。图图图图 反馈型神经网络反馈型神经网络反馈型神经网络反馈型神经网络(3) (3) 自组织网络自组织网络 网网络络结结构构如如图图所所示示。KohonenKohonen网网络络是是最最典典型型的的自自组组织织网网络络。KohonenKohonen认认为为，当当神神经经网网络络在在接接受受外外界界输输入入时时，网网络络将将会会分分成成不不同同的的区区域域，不不同同区区域域具具有有不不同同的的响响应应特特征征，即即不不同同的的神神经经元元以以最最佳佳方方式式响响应应不不同同性性质质的的信信号号激激励励，从从而而形形成成一一种种拓拓扑扑意意义义上上的的特特征征图图，该该图图实实际际上上是是一一种种非非线线性性映映射射。这这种种映映射射是是通通过过无无监监督督的的自自适适应应过过程程完完成成的的，所所以以也也称称为为自组织特征图。自组织特征图。 KohonenKohonen网网络络通通过过无无导导师师的的学学习习方方式式进进行行权权值值的的学学习习，稳稳定定后后的的网网络络输输出出就就对对输输入入模模式式生生成成自自然然的特征映射，从而达到自动聚类的目的。的特征映射，从而达到自动聚类的目的。图图 自组织神经网络自组织神经网络6.4 6.4 神经网络学习算法神经网络学习算法神经网络学习算法神经网络学习算法 神神神神经经经经网网网网络络络络学学学学习习习习算算算算法法法法是是是是神神神神经经经经网网网网络络络络智智智智能能能能特特特特性性性性的的的的重重重重要要要要标标标标志志志志，神神神神经经经经网网网网络络络络通通通通过过过过学学学学习习习习算算算算法法法法，实实实实现现现现了了了了自自自自适适适适应应应应、自自自自组织和自学习的能力。组织和自学习的能力。组织和自学习的能力。组织和自学习的能力。 目目目目前前前前神神神神经经经经网网网网络络络络的的的的学学学学习习习习算算算算法法法法有有有有多多多多种种种种，按按按按有有有有无无无无导导导导师师师师分分分分类类类类，可可可可分分分分为为为为有有有有教教教教师师师师学学学学习习习习（Supervised Supervised LearningLearning）、无无无无教教教教师师师师学学学学习习习习（Unsupervised Unsupervised LearningLearning）和和和和再再再再励励励励学学学学习习习习（Reinforcement LearningReinforcement Learning）等几大类。）等几大类。）等几大类。）等几大类。 在在在在有有有有教教教教师师师师的的的的学学学学习习习习方方方方式式式式中中中中，网网网网络络络络的的的的输输输输出出出出和和和和期期期期望望望望的的的的输输输输出出出出（即即即即教教教教师师师师信信信信号号号号）进进进进行行行行比比比比较较较较，然然然然后后后后根根根根据据据据两两两两者者者者之之之之间间间间的的的的差差差差异调整网络的权值，最终使差异变小。异调整网络的权值，最终使差异变小。异调整网络的权值，最终使差异变小。异调整网络的权值，最终使差异变小。 在在在在无无无无教教教教师师师师的的的的学学学学习习习习方方方方式式式式中中中中，输输输输入入入入模模模模式式式式进进进进入入入入网网网网络络络络后后后后，网网网网络络络络按按按按照照照照一一一一预预预预先先先先设设设设定定定定的的的的规规规规则则则则（如如如如竞竞竞竞争争争争规规规规则则则则）自自自自动动动动调调调调整整整整权权权权值，使网络最终具有模式分类等功能。值，使网络最终具有模式分类等功能。值，使网络最终具有模式分类等功能。值，使网络最终具有模式分类等功能。 再励学习是介于上述两者之间的一种学习方式。再励学习是介于上述两者之间的一种学习方式。再励学习是介于上述两者之间的一种学习方式。再励学习是介于上述两者之间的一种学习方式。图图图图 有导师指导的神经网络学习有导师指导的神经网络学习有导师指导的神经网络学习有导师指导的神经网络学习图图图图 无导师指导的神经网络学习无导师指导的神经网络学习无导师指导的神经网络学习无导师指导的神经网络学习 最基本的神经网络学习算法：最基本的神经网络学习算法：最基本的神经网络学习算法：最基本的神经网络学习算法：6.4.1 Hebb6.4.1 Hebb学习规则学习规则学习规则学习规则 HebbHebb学学学学习习习习规规规规则则则则是是是是一一一一种种种种联联联联想想想想式式式式学学学学习习习习算算算算法法法法。生生生生物物物物学学学学家家家家D.O.HebbianD.O.Hebbian基基基基于于于于对对对对生生生生物物物物学学学学和和和和心心心心理理理理学学学学的的的的研研研研究究究究，认认认认为为为为两两两两个个个个神神神神经经经经元元元元同同同同时时时时处处处处于于于于激激激激发发发发状状状状态态态态时时时时，它它它它们们们们之之之之间间间间的的的的连连连连接接接接强强强强度度度度将将将将得得得得到到到到加加加加强强强强，这这这这一一一一论论论论述述述述的的的的数数数数学学学学描描描描述述述述被被被被称称称称为为为为HebbHebb学学学学习习习习规规规规则则则则，即即即即其中，其中， 为连接从神经元为连接从神经元 到神经元到神经元 的当前权的当前权值，值， 和和 为神经元的激活水平。为神经元的激活水平。 Hebb学习规则是一种无教师的学习方法，它学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。这种方法又称为相关学习或并联学习。6.4.2 Delta（）学习规则）学习规则假设误差准则函数为：假设误差准则函数为：假设误差准则函数为：假设误差准则函数为：其其其其中中中中， 代代代代表表表表期期期期望望望望的的的的输输输输出出出出（教教教教师师师师信信信信号号号号）； 为为为为网网网网络络络络的的的的实实实实际输出，际输出，际输出，际输出， ； 为网络所有权值组成的向量：为网络所有权值组成的向量：为网络所有权值组成的向量：为网络所有权值组成的向量： 为输入模式：为输入模式：其中训练样本数为其中训练样本数为其中训练样本数为其中训练样本数为 。 神神神神经经经经网网网网络络络络学学学学习习习习的的的的目目目目的的的的是是是是通通通通过过过过调调调调整整整整权权权权值值值值WW，使使使使误误误误差差差差准则函数最小。准则函数最小。准则函数最小。准则函数最小。 权权权权值值值值的的的的调调调调整整整整采采采采用用用用梯梯梯梯度度度度下下下下降降降降法法法法来来来来实实实实现现现现，其其其其基基基基本本本本思思思思想想想想是是是是沿沿沿沿着着着着E E的的的的负负负负梯梯梯梯度度度度方方方方向向向向不不不不断断断断修修修修正正正正WW值值值值，直直直直到到到到E E达达达达到到到到最最最最小。数学表达式为：小。数学表达式为：小。数学表达式为：小。数学表达式为：其中其中其中其中令令令令 ，则，则，则，则WW的修正规则为的修正规则为的修正规则为的修正规则为上式称为上式称为上式称为上式称为学习规则，又称误差修正规则。学习规则，又称误差修正规则。学习规则，又称误差修正规则。学习规则，又称误差修正规则。6.5 6.5 神经网络特征及要素神经网络特征及要素1. 1. 神经网络特征神经网络特征 神经网络具有以下几个特征：神经网络具有以下几个特征：（1 1）能逼近任意非线性函数；）能逼近任意非线性函数；（2 2）信息的并行分布式处理与存储；）信息的并行分布式处理与存储；（3 3）可以多输入、多输出；可以多输入、多输出；（4 4）便于用超大规模集成电路（）便于用超大规模集成电路（VISIVISI）或光学集成）或光学集成电路系统实现，或用现有的计算机技术实现；电路系统实现，或用现有的计算机技术实现；（5 5）能进行学习，以适应环境的变化。）能进行学习，以适应环境的变化。2神经网络要素神经网络要素决定神经网络模型性能的三大要素为：决定神经网络模型性能的三大要素为：（1）神经元（信息处理单元）的特性；）神经元（信息处理单元）的特性；（2）神经元之间相互连接的形式）神经元之间相互连接的形式拓扑结构；拓扑结构；（3）为适应环境而改善性能的学习规则。）为适应环境而改善性能的学习规则。6.6神经网络控制的研究领域神经网络控制的研究领域1 1 基于神经网络的系统辨识基于神经网络的系统辨识 将将神神经经网网络络作作为为被被辨辨识识系系统统的的模模型型，可可在在已已知知常规模型结构的情况下，估计模型的参数。常规模型结构的情况下，估计模型的参数。 利利用用神神经经网网络络的的线线性性、非非线线性性特特性性，可可建建立立线线性性、非非线线性性系系统统的的静静态态、动动态态、逆逆动动态态及及预预测测模模型，实现非线性系统的建模和辨识。型，实现非线性系统的建模和辨识。(2) (2) 神经网络控制器神经网络控制器 神神经经网网络络作作为为实实时时控控制制系系统统的的控控制制器器，对对不不确确定定、不不确确知知系系统统及及扰扰动动进进行行有有效效的的控控制制，使使控控制系统达到所要求的动态、静态特性。制系统达到所要求的动态、静态特性。 (3) (3) 神经网络与其他算法相结合神经网络与其他算法相结合 将将神神经经网网络络与与专专家家系系统统、模模糊糊逻逻辑辑、遗遗传传算算法法等相结合，可设计新型智能控制系统。等相结合，可设计新型智能控制系统。(4) (4) 优化计算优化计算 在在常常规规的的控控制制系系统统中中，常常遇遇到到求求解解约约束束优优化化问问题题，神神经经网网络络为为这这类类问问题题的的解解决决提提供供了了有有效效的的途途径。径。 目目前前，神神经经网网络络控控制制已已经经在在多多种种控控制制结结构构中中得得到到应应用用，如如PIDPID控控制制、模模型型参参考考自自适适应应控控制制、前前馈馈反馈控制、内模控制、预测控制、模糊控制等。反馈控制、内模控制、预测控制、模糊控制等。