第4章神经计算 1人工神经网络基础2感知器3BP神经网络 1 4 1人工神经网络基础 人工神经网络是人脑及其活动的一个理论化的数学模型 它由大量的处理单元通过适当的方式互连构成 是一个大规模的非线性自适应系统 是一个并行 分布处理结构 它由处理单元及称为连接的无向信号通道互连而成 2 4 1 1人工神经元网络模型 3 4 1 2几个问题 1 学习能力2 普化能力3 信息的分布存放4 适用性 4 学习能力 可以根据所在的环境取改变它的行为 也就是说 人工神经网络可以接受用户提交的样本集合 依照系统给定的算法 不断修正用来确定系数行为的神经元之间的连接强度 而且在网络的基本构成确定之后 这种改变是根据其接受的样本集合自然进行的 在学习过程中 人工神经网络不断从所接受的样本集合中提取该集合所蕴含的基本内容 并将其以神经元之间的连接权重的形式存放于系统中 对于不同的人工神经网络模型来说 有不同的学习 训练算法 有事 同种结构的网络拥有不同的算法 以适应不同的应用要求 对一个网络模型来说 其学习 训练算法是非常重要的 5 普化能力 由于其运算的不精确性 人工神经网络在被训练后 对输入的微小变化是不反应的 与事物的两面性相对应 虽然在要求高精度计算时 这种不精确性是一个缺陷 但是 有些场合又可以利用这一点获取系统的良好性能 例如 可以使这种不精确性表现成 去噪声 容残缺 的能力 而这对模式识别有时恰好是非常重要的 6 适用性 人工神经网络擅长于处理适用形象思维的问题 主要包括两个方面 1 对大量的数据进行分类 并且只有较少的几种情况 2 必须学习一个复杂的非线性映射 7 ANN类型与功能 8 4 1 3人工神经元模型 基本构成激活函数M P模型 9 基本构成 10 激活函数 神经元在获得网络输入后 它应该给出适当的输出 按照生物神经元的特性 每个神经元有一个阈值 当该神经元所获得的输入信号的累积效果超过阈值时 它就处于激发态 否则 应该处于抑制态 为了使系统有更宽的适用面 希望人工神经元有一个更一般的变换函数 用来执行对该神经元所获得的网络输入的变换 这就是激活函数 也可以称之为激励函数 活化函数 用f表示 式中 o是该神经元的输出 由此式可以看出 此函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内 典型的激活函数有线性函数 非线性斜面函数 阶跃函数和S形函数等4种 11 12 M P模型 13 4 1 4网络拓扑结构 单级网多级网循环网 14 简单单级网 15 多级前馈网 16 4 1 5人工神经网络的训练 人工神经网络最具有吸引力的特点是其学习能力 人工神经网络的学习过程就是对它的训练过程 所谓训练 就是在将由样本向量构成的样本集合 简称为样本集 训练集 输入到人工神经网络的过程中 按照一定的方式去调整神经元之间的连接权 使得网络能将样本集的内涵以连接权矩阵的方式存储起来 从而使得在网络接受输入时 可以给出适当的输出 从学习的形式来看 一种是有导师学习 另一种是无导师学习 后者较为低级 17 无导师学习 18 有导师学习 19 4 2感知器 感知器是最早被设计并被实现的人工神经网络 学习算法线性不可分问题 20 感知器结构图 21 4 2 1学习算法 离散单输出感知器训练算法离散多输出感知器训练算法连续多输出感知器训练算法 22 离散单输出感知器训练算法 23 离散多输出感知器训练算法 24 连续多输出感知器训练算法 25 4 3BP神经网络 Rumelhart McClelland于1985年提出了BP网络的误差反向后传BP BackPropagation 学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差 再用这个误差估计更前一层的误差 如此一层一层的反传下去 就获得了所有其他各层的误差估计 DavidRumelhart J McClelland 26 4 3 1BP神经网络模型 三层BP网络 27 4 3 1BP神经网络模型 激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出 28 4 3 1BP神经网络模型 输出的导数 根据S型激活函数的图形可知 对神经网络进行训练 应该将net的值尽量控制在收敛比较快的范围内 29 4 3 2BP网络的标准学习算法 学习的过程 神经网络在外界输入样本的刺激下不断改变网络的连接权值 以使网络的输出不断地接近期望的输出 学习的本质 对各连接权值的动态调整学习规则 权值调整规则 即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则 30 4 3 2BP网络的标准学习算法 算法思想 学习的类型 有导师学思想 将输出误差以某种形式通过隐层向输入层逐层反传学习的过程 信号的正向传播误差的反向传播 将误差分摊给各层的所有单元 各层单元的误差信号 修正各单元权值 31 4 3 2BP网络的标准学习算法 学习过程 正向传播 输入样本 输入层 各隐层 输出层判断是否转入反向传播阶段 若输出层的实际输出与期望的输出 教师信号 不符误差反传误差以某种形式在各层表示 修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止 32 4 3 2BP网络的标准学习算法 网络结构输入层有n个神经元 隐含层有p个神经元 输出层有q个神经元变量定义输入向量 隐含层输入向量 隐含层输出向量 输出层输入向量 输出层输出向量 期望输出向量 33 4 3 2BP网络的标准学习算法 输入层与中间层的连接权值 隐含层与输出层的连接权值 隐含层各神经元的阈值 输出层各神经元的阈值 样本数据个数 激活函数 误差函数 34 4 3 2BP网络的标准学习算法 第一步 网络初始化给各连接权值分别赋一个区间 1 1 内的随机数 设定误差函数e 给定计算精度值和最大学习次数M 第二步 随机选取第个输入样本及对应期望输出 35 4 3 2BP网络的标准学习算法 第三步 计算隐含层各神经元的输入和输出 36 4 3 2BP网络的标准学习算法 第四步 利用网络期望输出和实际输出 计算误差函数对输出层的各神经元的偏导数 37 4 3 2BP网络的标准学习算法 第五步 利用隐含层到输出层的连接权值 输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数 38 4 3 2BP网络的标准学习算法 39 4 3 2BP网络的标准学习算法 第六步 利用输出层各神经元的和隐含层各神经元的输出来修正连接权值 40 4 3 2BP网络的标准学习算法 第七步 利用隐含层各神经元的和输入层各神经元的输入修正连接权 41 4 3 2BP网络的标准学习算法 第八步 计算全局误差第九步 判断网络误差是否满足要求 当误差达到预设精度或学习次数大于设定的最大次数 则结束算法 否则 选取下一个学习样本及对应的期望输出 返回到第三步 进入下一轮学习 42 4 3 2BP网络的标准学习算法 BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时 权值调整量为负 实际输出大于期望输出 权值向减少方向调整 使得实际输出与期望输出的差减少 43 4 3 2BP网络的标准学习算法 BP算法直解释情况二直观表达当误差对权值的偏导数小于零时 权值调整量为正 实际输出少于期望输出 权值向增大方向调整 使得实际输出与期望输出的差减少 44 4 3 3BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能 45 4 3 3BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能newff 功能建立一个前向BP网络格式net newff PR S1S2 SN1 TF1TF2 TFN1 BTF BLF PF 说明net为创建的新BP神经网络 PR为网络输入取向量取值范围的矩阵 S1S2 SNl 表示网络隐含层和输出层神经元的个数 TFlTF2 TFN1 表示网络隐含层和输出层的传输函数 默认为 tansig BTF表示网络的训练函数 默认为 trainlm BLF表示网络的权值学习函数 默认为 learngdm PF表示性能数 默认为 mse 46 4 3 3BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能tansig 功能正切sigmoid激活函数格式a tansig n 说明双曲正切Sigmoid函数把神经元的输入范围从 映射到 1 1 它是可导函数 适用于BP训练的神经元 logsig 功能对数Sigmoid激活函数格式a logsig N 说明对数Sigmoid函数把神经元的输入范围从 映射到 0 1 它是可导函数 适用于BP训练的神经元 47 2 4 3BP神经网络学习算法的MATLAB实现 例2 3 下表为某药品的销售情况 现构建一个如下的三层BP神经网络对药品的销售进行预测 输入层有三个结点 隐含层结点数为5 隐含层的激活函数为tansig 输出层结点数为1个 输出层的激活函数为logsig 并利用此网络对药品的销售量进行预测 预测方法采用滚动预测方式 即用前三个月的销售量来预测第四个月的销售量 如用1 2 3月的销售量为输入预测第4个月的销售量 用2 3 4月的销售量为输入预测第5个月的销售量 如此反复直至满足预测精度要求为止 48 2 4 3BP神经网络学习算法的MATLAB实现 以每三个月的销售量经归一化处理后作为输入P 0 51520 81731 0000 0 81731 00000 7308 1 00000 73080 1390 0 73080 13900 1087 0 13900 10870 3520 0 10870 35200 0000 以第四个月的销售量归一化处理后作为目标向量T 0 73080 13900 10870 35200 00000 3761 创建一个BP神经网络 每一个输入向量的取值范围为 0 1 隐含层有5个神经 元 输出层有一个神经元 隐含层的激活函数为tansig 输出层的激活函数为 logsig 训练函数为梯度下降函数 即2 3 2节中所描述的标准学习算法net newff 01 01 01 5 1 tansig logsig traingd net trainParam epochs 15000 net trainParam goal 0 01 设置学习速率为0 1LP lr 0 1 net train net P T 49 2 4 3BP神经网络学习算法的MATLAB实现 BP网络应用于药品预测对比图由对比图可以看出预测效果与实际存在一定误差 此误差可以通过增加运行步数和提高预设误差精度业进一步缩小 50 BP神经网络的特点 非线性映射能力能学习和存贮大量输入 输出模式映射关系 而无需事先了解描述这种映射关系的数学方程 只要能提供足够多的样本模式对供网络进行学习训练 它便能完成由n维输入空间到m维输出空间的非线性映射 泛化能力当向网络输入训练时未曾见过的非样本数据时 网络也能完成由输入空间向输出空间的正确映射 这种能力称为泛化能力 容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小 51 小结 BP算法背景BP神经网络模型BP算法基本思想推导过程实现BP神经网络的MATLAB函数BP神经网络的应用实例BP神经网络与感知器神经网络的对比 52 后面内容直接删除就行资料可以编辑修改使用资料可以编辑修改使用 53 主要经营 网络软件设计 图文设计制作 发布广告等公司秉着以优质的服务对待每一位客户 做到让客户满意 54 致力于数据挖掘 合同简历 论文写作 PPT设计 计划书 策划案 学习课件 各类模板等方方面面 打造全网一站式需求 55 感谢您的观看和下载 Theusercandemonstrateonaprojectororcomputer orprintthepresentationandmakeitintoafilmtobeusedinawiderfield 56