第第4章章 神经网络的基本理论神经网络的基本理论神经网络的基本理论神经网络的基本理论 2 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。基本特性的抽象和模拟。 n生物神经元模型生物神经元模型神经网络的基本理论神经网络的基本理论 3 人工神经元模型人工神经元模型 生物神经元主要由细胞体、树突和轴突组成，树突生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。将产生冲动。 神经网络的基本理论神经网络的基本理论 4 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型。型的人工神经元数学模型。x1,xnT为为输输入入向向量量，y为为输输出出，f()为为激激发发函函数数，为为阈阈值值 Wi为为神神经经元元与与其其它它神神经经元元的的连连接接强强度度，也也称权值。称权值。神经网络的基本理论神经网络的基本理论 5 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类 ：1) 阈值型函数阈值型函数神经网络的基本理论神经网络的基本理论 6 人工神经元模型人工神经元模型2) 饱和型函数饱和型函数3) 双曲函数双曲函数神经网络的基本理论神经网络的基本理论 7 人工神经元模型人工神经元模型4) S型函数型函数5) 高斯函数高斯函数神经网络的基本理论神经网络的基本理论 8 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。相连接而形成的复杂网络系统。n定义定义n特点特点(1) 非线性映射逼近能力。任意的连续非线性函非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼数映射关系可由多层神经网络以任意精度加以逼近。近。(2) 自适应性和自组织性。神经元之间的连接具自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。同信息处理的要求。神经网络的基本理论神经网络的基本理论 9 神经网络的定义和特点神经网络的定义和特点 (3) 并行处理性。网络的各单元可以同时进行类似并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。行的，可以大大加快对信息处理的速度。(4) 分布存储和容错性。信息在神经网络内的存储分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功息得到恢复，因而使网络具有容错性和联想记忆功能。能。(5) 便于集成实现和计算模拟。神经网络在结构上便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模是相同神经元的大规模组合，特别适合于用大规模集成电路实现。集成电路实现。 神经网络的基本理论神经网络的基本理论 10 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者于是由美国学者于1957年提出的，年提出的，它是一个具有单层计算单元的神经网络，并由线性阈它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。值元件组成。l激激发发函函数数为为阈阈值值型型函函数数，当当其其输输入入的的加加权权和和大大于于或或等等于于阈阈值值时时，输输出出为为1，否否则则为为0或或-1。l它它的的权权系系W可可变变，这这样它就可以学习。样它就可以学习。 n感知器的结构感知器的结构神经网络的基本理论神经网络的基本理论 11 感知器模型感知器模型n感知器的学习算法感知器的学习算法为为方便起方便起见见，将，将阈值阈值(它也同它也同样样需要学需要学习习)并入并入W中，令中，令Wn+1=-，X向量也相向量也相应应地增加一个分量地增加一个分量xn+1=1，则则神经网络的基本理论神经网络的基本理论 12 感知器模型感知器模型学习算法：学习算法： 给给定初始定初始值值：赋给赋给Wi(0)各一个各一个较较小的随机非零小的随机非零值值，这这里里Wi(t)为为t时时刻第刻第i个个输输入的入的权权(1in)，Wn+1(t)为为t时时刻的刻的阈值阈值； 输输入一入一样样本本X=(xi,xn,1)和它的希望和它的希望输输出出d； 计计算算实际输实际输出出 修正修正权权W ：Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1 转转到到直到直到W对对一切一切样样本均本均稳稳定不定不变为变为止。止。 神经网络的基本理论神经网络的基本理论 13* 神经网络的构成和分类神经网络的构成和分类n构成构成 l从从Perceptron模型可以看出神经网络通过一组状态方模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。程和一组学习方程加以描述。l 状态方程描述每个神经元的输入、输出、权值间的状态方程描述每个神经元的输入、输出、权值间的函数关系。函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输正这些权值来进行学习，从而调整整个神经网络的输入输出关系。入输出关系。 神经网络的基本理论神经网络的基本理论 14* 神经网络的构成和分类神经网络的构成和分类n分类分类 (1) 从结构上划分从结构上划分 通常所说的网络结构，主要是指它的连接方式。通常所说的网络结构，主要是指它的连接方式。神经网络从拓扑结构神经网络从拓扑结构(各连接点相互连接的形式各连接点相互连接的形式)上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。 神经网络的基本理论神经网络的基本理论 15* 神经网络的构成和分类神经网络的构成和分类 层状结构：网络由若干层组成，每层中有一定数层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向连接，一般同层量的神经元，相邻层中神经元单向连接，一般同层内神经元不能连接。内神经元不能连接。前向网络：只有前后相邻两层之间神经元相互连接，前向网络：只有前后相邻两层之间神经元相互连接，各神经元之间没有反馈。每个神经元从前一层接收各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。输入，发送输出给下一层。 神经网络的基本理论神经网络的基本理论 16* 神经网络的构成和分类神经网络的构成和分类神经网络的基本理论神经网络的基本理论 17* 神经网络的构成和分类神经网络的构成和分类 网状结构：网络中任何两个神经元之间都可能双向网状结构：网络中任何两个神经元之间都可能双向连接。连接。反馈网络：从输出层反馈网络：从输出层到输入层有反馈，每一到输入层有反馈，每一个神经元同时接收外来个神经元同时接收外来输入和来自其它神经元输入和来自其它神经元的反馈输入，其中包括的反馈输入，其中包括神经元输出信号引回自神经元输出信号引回自身输入的自环反馈。身输入的自环反馈。 神经网络的基本理论神经网络的基本理论 18* 神经网络的构成和分类神经网络的构成和分类混合型网络：前向网络的同一层神经元之间有互混合型网络：前向网络的同一层神经元之间有互联的网络。联的网络。神经网络的基本理论神经网络的基本理论 19* 神经网络的构成和分类神经网络的构成和分类(2) 从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等。样条基函数神经网络等等。(3) 从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。络的输入输出关系逼近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。将输入数据的特征提取出来。 神经网络的基本理论神经网络的基本理论 20* 神经网络的构成和分类神经网络的构成和分类(4) 从学习算法上来划分：从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。竞争式学习算法的网络、基于遗传算法的网络。神经网络的基本理论神经网络的基本理论 21 多层前向多层前向BP神经网络神经网络 多多 层层 前前 向向 神神 经经 网网 络络 及及 其其 反反 传传 学学 习习 理理 论论 (Back-Propagation,BP)最最早早由由werbos在在1974年年提提出出的的，1985年年由由Rumelhart再再次次进进行行发发展展，实实现现了了Minsky的的多多层层网网络络设设想想。网网络络不不仅仅有有输输入入层层节节点点、输输出出层层节节点点，而而且且有有隐隐层层节节点点。隐隐层层可可以以是是一一层层，也也可可是是多多层层。当当信信号号输输入入时时，首首先先传传到到隐隐层层节节点点，经经过过作作用用函函数数后后，再再把把隐隐层层节节点点的的输输入入信信号号传传播播到到输输出出层层节点。经过处理后给出输出结果。节点。经过处理后给出输出结果。 神经网络的基本理论神经网络的基本理论 22 多层前向多层前向BP神经网络神经网络 n多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由输入层、隐层（不少于1层）、层）、输出层组成，信号沿输入输出层组成，信号沿输入输出的方向逐层传输出的方向逐层传递。递。 神经网络的基本理论神经网络的基本理论 23 多层前向多层前向BP神经网络神经网络 神经网络的基本理论神经网络的基本理论 24 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第表示第i层第层第j个神经元的输入和输出，则各个神经元的输入和输出，则各层的输入输出关系可描述为：层的输入输出关系可描述为： 第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 第二层（隐层）第二层（隐层）第三层（输出层）第三层（输出层） 神经网络的基本理论神经网络的基本理论 25 多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。值，使网络的实际输出尽可能接近期望的输出。 假设有假设有m个样本：个样本： 定义学习的目标函数为：定义学习的目标函数为：神经网络的基本理论神经网络的基本理论 26 多层前向多层前向BP神经网络神经网络为使目标函数最小，训练算法是：为使目标函数最小，训练算法是：神经网络的基本理论神经网络的基本理论 27 多层前向多层前向BP神经网络神经网络令令 则则神经网络的基本理论神经网络的基本理论 28 多层前向多层前向BP神经网络神经网络神经网络的基本理论神经网络的基本理论 29 多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：(2) 依次计算依次计算 ，如果，如果 ，退出，退出(3) 计计算算(4) 计计算算(5)，修正，修正权值权值，返回，返回(1) eJ(1) 依次取依次取k组样本组样本 将将 输入网络输入网络神经网络的基本理论神经网络的基本理论 30 多层前向多层前向BP神经网络神经网络如如果果样样本本数数少少，则则学学习习知知识识不不够够；如如果果样样本本多多，则则需需计计算算更更多多的的dJk/dw，训训练练时时间间长长。可可采采用用随随机机学学习习法法每每次次从从样样本本中中随随机机选选取取几几个个样样本本，计计算算 dJk/dw，调整权值。，调整权值。 神经网络的基本理论神经网络的基本理论 31 多层前向多层前向BP神经网络神经网络例例 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：神经网络的基本理论神经网络的基本理论 32 多层前向多层前向BP神经网络神经网络网络输入输出关系：网络输入输出关系：需训练的量：需训练的量：神经网络的基本理论神经网络的基本理论 33 多层前向多层前向BP神经网络神经网络训练算法：训练算法：神经网络的基本理论神经网络的基本理论 34 多层前向多层前向BP神经网络神经网络神经网络的基本理论神经网络的基本理论 35 多层前向多层前向BP神经网络神经网络训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;神经网络的基本理论神经网络的基本理论 36 多层前向多层前向BP神经网络神经网络训练后参数：训练后参数：W1= -0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;神经网络的基本理论神经网络的基本理论 37 多层前向多层前向BP神经网络神经网络训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：神经网络的基本理论神经网络的基本理论 38 多层前向多层前向BP神经网络神经网络训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况