人工神经网络的研究方法及应用人工神经网络的研究方法及应用 刘 长 安刘 长 安 引言引言 利用机器模仿人类的智能是长期以来人们认识自利用机器模仿人类的智能是长期以来人们认识自 然、改造自然和认识自身的理想。然、改造自然和认识自身的理想。 研究研究ANN目的：目的： （1）探索和模拟人的感觉、思维和行为的规律，）探索和模拟人的感觉、思维和行为的规律， 设计具有人类智能的计算机系统。设计具有人类智能的计算机系统。 （2）探讨人脑的智能活动，用物化了的智能来）探讨人脑的智能活动，用物化了的智能来 考察和研究人脑智能的物质过程及其规律考察和研究人脑智能的物质过程及其规律考察和研究人脑智能的物质过程及其规律考察和研究人脑智能的物质过程及其规律。 研究研究ANN方法方法 （1）生理结构的模拟：生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把用仿生学观点，探索人脑的生理结构，把 对人脑的微观结构及其智能行为的研究结合起对人脑的微观结构及其智能行为的研究结合起对人脑的微观结构及其智能行为的研究结合起对人脑的微观结构及其智能行为的研究结合起 来即人工神经网络（来即人工神经网络（Artificial Neural N tk简称简称ANN）方法方法Netwroks，简称简称ANN）方法方法。 （ 。 （2）宏观功能的模拟：）宏观功能的模拟： 从人的思维活动和智能行为的心理学特性从人的思维活动和智能行为的心理学特性 出发出发利用计算机系统来对人脑智能进行宏观利用计算机系统来对人脑智能进行宏观出发出发，利用计算机系统来对人脑智能进行宏观利用计算机系统来对人脑智能进行宏观 功能的模拟，即符号处理方法。功能的模拟，即符号处理方法。 ANN的研究内容的研究内容的研究内容的研究内容 （1）理论研究理论研究：ANN模型及其学习算法模型及其学习算法，试图从数试图从数（1）理论研究理论研究：ANN模型及其学习算法模型及其学习算法，试图从数试图从数 学上描述学上描述ANN的动力学过程，建立相应的的动力学过程，建立相应的ANN模模 型型在该模型的基础上在该模型的基础上对于给定的学习样本对于给定的学习样本型型，在该模型的基础上在该模型的基础上，对于给定的学习样本对于给定的学习样本， 找出一种能以较快的速度和较高的精度调整神经 ， 找出一种能以较快的速度和较高的精度调整神经 元间互连权值，使系统达到稳定状态，满足学习 要求的算法。 元间互连权值，使系统达到稳定状态，满足学习 要求的算法。 （2）实现技术的研究实现技术的研究：探讨利用电子、光学、生物：探讨利用电子、光学、生物 等技术实现神经计算机的途径等技术实现神经计算机的途径等技术实现神经计算机的途径等技术实现神经计算机的途径。 （ 。 （3）应用的研究应用的研究：探讨如何应用：探讨如何应用ANN解决实际问题，解决实际问题， 如模式识别如模式识别故障检测故障检测智能机器人等智能机器人等如模式识别如模式识别、故障检测故障检测、智能机器人等智能机器人等。 人工神经网络概述人工神经网络概述人工神经网络概述人工神经网络概述 什么是人工神经网络？什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由 具有的定义：“人工神经网络是由 具有 适应性的简单单元组成的广泛并行互连的网络，适应性的简单单元组成的广泛并行互连的网络， 它的组织能够模拟生物神经系统对真实世界物它的组织能够模拟生物神经系统对真实世界物 体所作出的交互反应。”体所作出的交互反应。” 脑神经信息活动的特征脑神经信息活动的特征脑神经信息活动的特征脑神经信息活动的特征 (1)巨量并行性。(1)巨量并行性。 (2)(2)信息处理和存储单元结合在一起信息处理和存储单元结合在一起(2)(2)信息处理和存储单元结合在一起信息处理和存储单元结合在一起。 (3)自组织自学习功能。自组织自学习功能。 ANN研究的目的和意义ANN研究的目的和意义 (1)通过揭示物理平面与认知平面之间的映射，了(1)通过揭示物理平面与认知平面之间的映射，了 解它们相互联系和相互作用的机理，从而揭示思解它们相互联系和相互作用的机理，从而揭示思 维的本质维的本质探索智能的本源探索智能的本源维的本质维的本质，探索智能的本源探索智能的本源。 (2)(2)争取构造出尽可能与人脑具有相似功能的计算争取构造出尽可能与人脑具有相似功能的计算(2)(2)争取构造出尽可能与人脑具有相似功能的计算争取构造出尽可能与人脑具有相似功能的计算 机，即ANN计算机。机，即ANN计算机。 (3)研究仿照脑神经系统的人工神经网络，将在模研究仿照脑神经系统的人工神经网络，将在模 式识别式识别组合优化和决策判断等方面取得传统计组合优化和决策判断等方面取得传统计式识别式识别、组合优化和决策判断等方面取得传统计组合优化和决策判断等方面取得传统计 算机所难以算机所难以达达到的效果到的效果。算机所难以到的效果算机所难以到的效果 神经网络研究的发展神经网络研究的发展 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家 W.Pitts在提出了一个简单的神经元模型，即MP模型。W.Pitts在提出了一个简单的神经元模型，即MP模型。 19581958年年，F RosenblattF Rosenblatt等研制出了感知机等研制出了感知机19581958年年，F F. .RosenblattRosenblatt等研制出了感知机等研制出了感知机 (Perceptron）。(Perceptron）。 低潮低潮年代初年代初) )(2)低潮低潮(70- -80年代初年代初) ): (3)第二次热潮第二次热潮 1982年，美国物理学家年，美国物理学家J.J.Hopfield提出提出Hopfield模模 型型它是它是一一个互联的非线性动力学网络他解决问题的方个互联的非线性动力学网络他解决问题的方型型，它是个互联的非线性动力学网络他解决问题的方它是个互联的非线性动力学网络他解决问题的方 法是一种反复运算的动态过程,这是符号逻辑处理方法法是一种反复运算的动态过程,这是符号逻辑处理方法 所不具备的性质所不具备的性质年首届国际年首届国际大会在圣地哥大会在圣地哥所不具备的性质所不具备的性质. . 1987年首届国际年首届国际A ANN大会在圣地大会在圣地亚亚哥哥 召开，国际A召开，国际ANN联合会成立，创办了多种A联合会成立，创办了多种ANN国际刊物。国际刊物。 神经网络基本模型神经网络基本模型神经网络基本模型神经网络基本模型 细胞体 突 轴突 树 输输 电脉冲 形成 细胞体 触 轴突 突 输 入 输 出 信息处理 形成 传输 图生物神经功能模型 信息处传输 ANN类型与功能ANN类型与功能 人工神经网络人工神经网络研究的局限性研究的局限性人工神经网络人工神经网络研究的局限性研究的局限性 （1）ANN研究受到脑科学研究成果的限制。（1）ANN研究受到脑科学研究成果的限制。 （2）ANN（2）ANN缺少缺少一一个完个完整、整、成熟的成熟的理论理论体系体系。缺少个完缺少个完成熟的体系成熟的体系 （3 3）ANNANN研究带有浓厚的策略和经验色彩研究带有浓厚的策略和经验色彩（3 3）ANNANN研究带有浓厚的策略和经验色彩研究带有浓厚的策略和经验色彩。 （ ）与传统技术的接不成熟与传统技术的接不成熟（4）ANN与传统技术的接与传统技术的接口口不成熟不成熟。 突树 电脉冲 细胞体 突 触 轴突 树 突 输 入 输 出 形成 图生物神经功能模型 信息处理传输 黑箱 般而言与经典计算方法相比并非优越 只有当常规方 黑箱 一般而言, ANN与经典计算方法相比并非优越, 只有当常规方 法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对 问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、 特征提取和预测等问题 ANN往往是最有利的工具。另一方面特征提取和预测等问题,ANN往往是最有利的工具。另方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现 出极大的灵活性和自适应性出极大的灵活性和自适应性。 神经网络在环境科学与工程中的应用神经网络在环境科学与工程中的应用 人工神经网络以其具有自学习、自组织、人神网络以其具有自学习自组织 较好的容错性和优良的非线性逼近能力，受到 众多领域学者的关注。在实际应用中，80% 90%的人工神经网络模型是采用误差反传算法 其变式的络模型简称络或其变化形式的网络模型（简称BP网络），目 前主要应用于函数逼近模式识别分类和数前主要应用于函数逼近、模式识别、分类和数 据压缩或数据挖掘。据压缩或数据挖掘。 神经网络在环境科学与工程中的应用神经网络在环境科学与工程中的应用 环境质量评价 环境质量评价 环境系统因素预测 环境系统因素预测 环境因素定量关系模拟环境因素定量关系模拟 构效分析、成因分析 污染防治系统建模 （河海大学环境科学与工程学院）.太湖生态系 统的人神经网络模拟究境科学与技术统的人工神经网络模拟研究 ，环境科学与技术，2004 年第二期 构造了具有3层节点的人工神经网络模型,将太湖2001 年512月全湖共26个采样点的实测值作为学习样本共年512月全湖共26个采样点的实测值作为学习样本,一共 有268=208组数据。从这些数据中分别随机抽取1/4的数 据各52组作为检验样本和测试样本,其余的104组(占50%) 数据作为训练样本每个样本均含有12个输入因子 分别数据作为训练样本。每个样本均含有12个输入因子,分别 是风速、风向、水温、高锰酸钾指数、浊度、 、叶绿素、透明度、5。以浮游植物 作为输出因子。用2002年8月的各点的浮游植物数据进行作为输出因子。用2002年8月的各点的浮游植物数据进行 预测比较， 汤丽妮（成都信息工程学院） 人工神经网络在生态环境质量汤丽妮（成都信息程学院） 人神经网络在生态环境质量 评价中的应用，四川环境，2003，3 BP神经网络在环境科学与工程中的应用神经网络在环境科学与工程中的应用 由于神经网络具有优良的非线性逼近能力由于BP神经网络具有优良的非线性逼近能力， 年以来已在环境科学与工程的环境质量评1994年以来，已在环境科学与工程的环境质量评 价与预测监测点的优化布置社会经济环境可价与预测、监测点的优化布置、社会经济环境可 持续发展污染物降解与释放水（处理生态）持续发展、污染物降解与释放、水（处理、生态） 系统的模拟与预测等方面获得了广泛的应用系统的模拟与预测等方面获得了广泛的应用 。 BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函 数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的， 这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数 据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能 力，即将这组权值应用于一般情形的能力。神经网络的学习也可 以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息， 因此它可以利用传统的工程技术（数值运算）和人工智能技术 （符号处理）。符号处理 多变量系统：神经网络的输入和输出变量的数目是任意的，对单 变量系统与多变量系统提供了一种通用的描述方式，不必考虑各变量系统与多变量系统提供了种通用的描述方式，不必考虑各 子系统间的解耦问题。 k c k c c1cqcj Wp1 WpjW1q W1j j c q c 输出层输出层LC Wiq Wij W11 WpqWi1 输出层输出层 C W b1bibp V V1iVn1 Vni V1p 隐含层隐含层LB V11 Vh1 Vhi Vhp V