资源预览内容
第1页 / 共66页
第2页 / 共66页
第3页 / 共66页
第4页 / 共66页
第5页 / 共66页
第6页 / 共66页
第7页 / 共66页
第8页 / 共66页
第9页 / 共66页
第10页 / 共66页
亲,该文档总共66页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
图7-1中 为神经元的内部状态, 为阈值, 为输入信号, , 表示从单元 到单元 的连接权系数, 为外部输入信号。,7.1 单神经元网络,第7章 典型神经网络,图7-1 单神经元模型,通常情况下,取 即,单神经元模型可描述为:,常用的神经元非线性特性有以下3种: (1)阈值型,图7-2 阈值型函数,(2)分段线性型,图7-3 分段线性函数,(3)Sigmoid函数型,图7-4 Sigmoid函数,7.2 BP神经网络 1986年,Rumelhart等提出了误差反向传播神经网络,简称BP网络(Back Propagation),该网络是一种单向传播的多层前向网络。 误差反向传播的BP算法简称BP算法,其基本思想是梯度下降法。它采用梯度搜索技术,以期使网络的实际输出值与期望输出值的误差均方值为最小。,7.2.1 BP网络特点 (1)是一种多层网络,包括输入层、隐含层和输出层; (2)层与层之间采用全互连方式,同一层神经元之间不连接; (3)权值通过学习算法进行调节; (4)神经元激发函数为S函数; (5)学习算法由正向传播和反向传播组成; (6)层与层的连接是单向的,信息的传播是双向的。,7.2.2 BP网络结构,含一个隐含层的BP网络结构如图7-5所示,图中 i为输入层神经元, j为隐层神经元,k为输出层神经元。,图7-5 BP神经网络结构,7.2.3 BP网络的逼近,BP网络逼近的结构如图7-6所示,图中k为网络的迭代步骤,u(k)和y(k)为逼近器的输入。BP为网络逼近器,y(k)为被控对象实际输出,yn(k)为BP的输出。将系统输出y(k)及输入u(k)的值作为逼近器BP的输入,将系统输出与网络输出的误差作为逼近器的调整信号。,图7-6 BP神经网络逼近,用于逼近的BP网络如图7-7所示。,图7-7 用于逼近的BP网络,BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中,输入信息从输入层经隐层逐层处理,并传向输出层,每层神经元(节点)的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转至反向传播,将误差信号(理想输出与实际输出之差)按连接通路反向计算,由梯度下降法调整各层神经元的权值,使误差信号减小。,(1)前向传播:计算网络的输出。 隐层神经元的输入为所有输入的加权之和: 隐层神经元的输出采用S函数激发: 则,输出层神经元的输出: 网络输出与理想输出误差为: 误差性能指标函数为:,(2)反向传播:采用学习算法,调整各层间的权 值。 根据梯度下降法,权值的学习算法如下: 输出层及隐层的连接权值学习算法为: k+1时刻网络的权值为:,隐层及输入层连接权值学习算法为: 其中 k+1时刻网络的权值为:,如果考虑上次权值对本次权值变化的影响,需要加入动量因子 ,此时的权值为: 其中, 为动量因子, 。,阵(即为对象的输出对控制输入的灵敏度信息)算法为: 其中取,7.2.4 BP网络的优缺点 BP网络的优点为: (1)只要有足够多的隐层和隐层节点,BP网络可以逼近任意的非线性映射关系; (2)BP网络的学习算法属于全局逼近算法,具有较强的泛化能力。 (3)BP网络输入输出之间的关联信息分布地存储在网络的连接权中,个别神经元的损坏只对输入输出关系有较小的影响,因而BP网络具有较好的容错性。,BP网络的主要缺点为: (1)待寻优的参数多,收敛速度慢; (2)目标函数存在多个极值点,按梯度下降法进行学习,很容易陷入局部极小值; (3)难以确定隐层及隐层节点的数目。目前,如何根据特定的问题来确定具体的网络结构尚无很好的方法,仍需根据经验来试凑。,由于BP网络具有很好的逼近非线性映射的能力,该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。 由于BP网络具有很好的逼近特性和泛化能力,可用于神经网络控制器的设计。但由于BP网络收敛速度慢,难以适应实时控制的要求。,7.2.5 BP网络逼近仿真实例,使用BP网络逼近对象: BP网络逼近程序见chap7_1.m,BP网络逼近效果,BP网络逼近误差,Jacobian 信息的辨识,7.2.6 BP网络模式识别,由于神经网络具有自学习、自组织和并行处理等特征,并具有很强的容错能力和联想能力,因此,神经网络具有模式识别的能力。,在神经网络模式识别中,根据标准的输入输出模式对,采用神经网络学习算法,以标准的模式作为学习样本进行训练,通过学习调整神经网络的连接权值。当训练满足要求后,得到的神经网络权值构成了模式识别的知识库,利用神经网络并行推理算法对所需要的输入模式进行识别。,当待识别的输入模式与训练样本中的某个输入模式相同时,神经网络识别的结果就是与训练样本中相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式都不完全相同时,则可得到与其相近样本相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式相差较远时,就不能得到正确的识别结果,此时可将这一模式作为新的样本进行训练,使神经网络获取新的知识,并存储到网络的权值矩阵中,从而增强网络的识别能力。,BP网络的训练过程如下:正向传播是输入信号从输入层经隐层传向输出层,若输出层得到了期望的输出,则学习算法结束;否则,转至反向传播。,图7-11 BP神经网络结构,以第p个样本为例,用于训练的BP网络结构如图7-11所示。,网络的学习算法如下: (1)前向传播:计算网络的输出。 隐层神经元的输入为所有输入的加权之和: 隐层神经元的输出 采用S函数激发 :,则,输出层神经元的输出:,网络第 个输出与相应理想输出 的误差为: 第p个样本的误差性能指标函数为: 其中N为网络输出层的个数。,(2)反向传播:采用梯度下降法,调整各层间的权值。权值的学习算法如下: 输出层及隐层的连接权值 学习算法为:,其中,隐层及输入层连接权值 学习算法为:,如果考虑上次权值对本次权值变化的影响,需要加入动量因子 ,此时的权值为:,其中 为动量因子, 。,7.2.7 仿真实例: 取标准样本为3输入2输出样本,如表7-1所示。,表7-1 训练样本,BP网络模式识别程序包括网络训练程序, chap7_2 a.m和网络测试程序chap7_2b.m。,样本训练的收敛过程,测试样本及结果,7.3 RBF神经网络 径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域(或称感受野-Receptive Field)的神经网络结构,因此,RBF网络是一种局部逼近网络,已证明它能任意精度逼近任意连续函数。,RBF网络特点 (1) RBF网络的作用函数为高斯函数,是局部的,BP网络的作用函数为S函数,是全局的; (2) 如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题; (3) 已证明RBF网络具有唯一最佳逼近的特性,且无局部极小。,7.3.1 RBF网络结构 RBF网络是一种三层前向网络,由于输入到输出的映射是非线性的,而隐含层空间到输出空间的映射是线性的,从而可以大大加快学习速度并避免局部极小问题。,图7-13 RBF网络结构,7.3.2 RBF网络的逼近,采用RBF网络逼近一对象的结构如图7-14所示。,图7-14 RBF神经网络逼近,在RBF网络结构中, 为网络的输入向量。设RBF网络的径向基向量 ,其中hj为高斯基函数: 网络的第j个结点的中心矢量为: 其中,i=1,2,n,| |为2-范数,也称为欧氏范数(见附录A)。,设网络的基宽向量为: 为节点的基宽度参数,且为大于零的数。 网络的权向量为: k时刻网络的输出为: 设理想输出为y(k),则性能指标函数为:,根据梯度下降法,输出权、节点中心及节点基宽参数的迭代算法如下:,阵(即为对象的输出对控制输入的灵敏度信息)算法为: 其中取 。,其中, 为学习速率, 为动量因子。,使用RBF网络逼近下列对象:,RBF网络逼近程序见chap7_3.m。,7.3.3 RBF网络逼近仿真实例,图7-15 RBF网络辨识结果,图7-16 RBF网络辨识误差,图7-17 Jacobian信息的辨识,高斯基函数的有效性与中心向量Cj和基宽度参数bj的取值有关。基于高斯基的5个隶属度函数仿真程序为chap7_3design.m,仿真结果如图7-18所示。,7.3.4 高斯基函数参数对RBF网络逼近效果的影响,图7-18 基于高斯基的5个隶属度函数,由图可得以下结论:, 基宽参数bj的取值代表了高斯基函数形状的宽度。bj值越大,高斯基函数越宽,反之越窄。高斯基函数越宽,对网络输入的覆盖范围越大,但敏感性越差,高斯基函数越窄,对网络输入的覆盖范围越小,但敏感性越好。, 中心向量Cj的取值代表了高斯基函数中心点的坐标。网络的输入值与Cj越接近,则以Cj为中心点坐标的高斯基函数对该输入的敏感性越好,反之越差。,网络的输入值应在隶属函数的覆盖范围内,如图7-18所示,假设被逼近对象的输入值范围在-3,+3附近,如果采用具有5个隶属度函数作为隐层节点的RBF网络进行逼近,RBF网络的输入值应在-3,+3范围内设定。,用于测试中心向量Cj和基宽度参数bj对RBF网络逼近影响的仿真程序见chap7_3test.m。,Mb=1 、Mc=1的仿真结果,Mb=1 、Mc=2的仿真结果,Mb=1 、Mc=3的仿真结果,Mb=2 、Mc=1的仿真结果,Mb=2 、Mc=2的仿真结果,Mb=1 、Mc=3的仿真结果,7.4 回归神经网络 对角回归型神经网络(DRNN: Diagonal Recurrent Neural Network)是具有反馈的动态神经网络,该网络能够更直接更生动地反映系统的动态特性,它在BP网络基本结构的基础上,通过存储内部状态使其具备映射动态特征的功能,从而使系统具有适应时变特性的能力,DRNN网络代表了神经网络建模和控制的方向。,7.4.1 DRNN网络结构 DRNN网络是一种三层前向网络,其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层,若输出层得到了期望的输出,则学习算法结束;否则,转至反向传播。反向传播就是将误差信号(理想输出与实际输出之差)按联接通路反向计算,由梯度下降法调整各层神经元的权值和阈值,使误差信号减小。,图7-18 DRNN神经网络结构,DRNN网络结构如图7-18所示。,在该网络中, 设 为网络输入向量, 为输入层第 i个神经元的输入,网络回归层第 j 个神经元的输出为 , 为第 个回归神经元输入总和, 为S函数, 为 DRNN网络的输出。,和 为网络回归层和输出层的权值向量, 为网络输入层的权值向量。,DRNN神经网络的算法为:,7.4.2 DRNN网络的逼近,DRNN网络逼近的结构如图7-19所示,图中k为网络的迭代步骤,u(k)和y(k)为辨识器的输入。DRNN为网络辨识器。y(k)为被控对象实际输出,ym(k)为DRNN的输出。将系统输出y(k)及输入u(k)的值作为辨识器DRNN的输入,将系统输出与网络输出的误差作为辨识器的调整信号。,图7-19 DRNN神经网络逼近,网络输出层的输出为 网络回归层的输出为 网络回归层的输入为,逼近误差为: 性能指标函数为: 学习算法采用梯度下降法,其中回归层神经元取双函数为,其中, 分别为输入层、回归层和输出层的学习速率, 为惯性系数。,7.4.3 DRNN网络逼近仿真实例,使用DRNN网络逼近下列对象:,DRNN网络逼近程序见chap7_4.m。,图7-20 DRNN网络逼近效果,图7-21 DRNN网络逼近误差,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号