人 工 智 能,主讲: 吴顺祥 教授 模式识别与智能系统研究所,Powerpoint,第四章 计算智能(1),神经计算 模糊计算,中南大学 智能系统与智能软件研究所,3,4.1概述,信息科学与生命科学的相互交叉、相互渗透和相互促进是现代科学技术发展的一个显著特点。 计算智能涉及神经网络、模糊逻辑、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势。,中南大学 智能系统与智能软件研究所,4,什么是计算智能,人工神经网络（ANN）研究自1943 年就开始了，期间几起几落，波浪式向前发展。而在20世纪80年代，由于Hopfield网络的促进和反向传播网络（backpropagation ,BP) 训练多层感知器来推广的。把神经网络（NN）归类于人工智能（AI）可能不大合适，而归类于计算智能（CI）更能说明问题实质。进化计算、人工生命和模糊逻辑系统的某些课题，也都归类于计算智能。 计算智能的定义最早由贝兹德克（Bezdek）1992年提出的，他认为，计算智能取决于制造者（manufacturers）提供的数值数据，不依赖于知识；另一方面，人工智能应用知识精品（knowledge tidbits）。所以，他认为，人工神经网络应当称为计算神经网络。,4.1 概述,中南大学 智能系统与智能软件研究所,5,(Marks) 在1993年提到了计算智能和人工智能的区别，而贝兹德克则关心模式识别（PR）与生物神经网络（BNN）、人工神经网络（ANN）和计算神经网络（CNN）的关系，以及模式识别与其它智能的关系。忽视ANN与CNN的差别可能导致对模式识别中神经网络模型的混淆、误解、误表示和误用。 贝兹德克对这些相关术语给予一定的符号和简要说明或定义。 他给出有趣的ABC： AArtificial：表示人工的（非生物的），即人造的 BBiological：表示物理的化学的（？）生物的 CComputational， 表示数学计算机,中南大学 智能系统与智能软件研究所,6,下图4.1表示ABC及其与神经网络（NN）、模式识别（PR）和智能（I）之间的关系。它是由贝兹德克于1994年提出的。图中间部分有9个节点，表示九个研究领域或学科。图中，A，B，C三者对应三个不同的系统复杂性级别，其复杂性自左向右及自底向上逐步提高。而节点间的距离则衡量领域间的差异。符号表示“适当的子集”。,中南大学 智能系统与智能软件研究所,7,计算智能与人工智能的区别和关系,输入,人类知识 ()传感输入,知识 ()传感数据,计算 ()传感器,C数值的,A符号的,B生物的,输入,复杂性,复杂性,BNN,BPR,BI,ANN,APR,AI,CNN,CPR,CI,4.1 概述,中南大学 智能系统与智能软件研究所,8,ABC及其相关领域的定义,中南大学 智能系统与智能软件研究所,9,由上图可见，计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降至低层而已。中层系统含有知识（精品），低层系统则没有。 当一个系统只涉及数值（低层）数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出： （1）计算适应性； （2）计算容错性； （3）接近人的速度； （4）误差率与人相近， 则该系统就是计算智能系统。 当一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智能系统。,4.1 概述,中南大学 智能系统与智能软件研究所,10,本节将介绍人工神经网络的由来、特性、结构、模型和算法；然后讨论神经网络的表示和推理。这些内容是神经网络的基础知识。神经计算是以神经网络为基础的计算。,4.2 神经计算,中南大学 智能系统与智能软件研究所,11,概述,什么叫人工神经网络 采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。 为什么要研究神经网络 用计算机代替人的脑力劳动。 计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。 长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。,中南大学 智能系统与智能软件研究所,12,概述,人工智能与神经网络 共同之处：研究怎样使用计算机来模仿人脑工作过程。学习实践再学习再实践 。 不同之处： 人工智能研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题。 神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）,中南大学 智能系统与智能软件研究所,13,概述,例如： 人工智能专家系统是制造一个专家，几十年难以培养的专家。 神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程。 同样是模仿人脑，但所考虑的角度不同。成年人和婴儿。学习过程不一样。一个是总结出常人都不懂得规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话。,中南大学 智能系统与智能软件研究所,14,概述,中南大学 智能系统与智能软件研究所,15,1960年威德罗和霍夫率先把神经网络用于自动控制研究。 60年代末期至80年代中期，神经网络控制与整个神经网络研究一样，处于低潮。 80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制的研究也十分活跃。这方面的研究进展主要在神经网络自适应控制和模糊神经网络控制及其在机器人控制中的应用上。,4.2.1 人工神经网络研究的进展,中南大学 智能系统与智能软件研究所,16,人工神经网络的特性,并行分布处理：神经网络具有高度的并行结构和并行实现能力，因而具有较好的耐故障能力和较快的总体处理能力。 非线性映射：其具有固有的非线性特性，这源于它近似任意非线性映射(变换)能力。 通过训练进行学习：神经网络通过研究系统过去的数据记录进行巡逻学习。 适应与集成：能适应在线运行，并可以同时进行定量和定性操作。 硬件实现：其不仅可以通过软件而且还可以通过硬件实现并行处理。,4.2 神经计算,中南大学 智能系统与智能软件研究所,17,4.2.2 人工神经网络的结构,4.2 神经计算,神经元及其特性,神经网络的结构是由基本处理单元及其互连方法决定的。连接机制结构的基本处理单元与神经生理学类比往往称为神经元。每个构造起网络的神经元模型模拟一个生物神经元。 图4.2 就是一个 神经元模型的视图。,中南大学 智能系统与智能软件研究所,18,4.2 神经计算,图4.2 神经元模型,中南大学 智能系统与智能软件研究所,19,图4.2中的神经元单元由多个输入xi，i=1,2,.,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为 （4.1） 式中，j为神经元单元的偏置，wji为连接权系数。 n为输入信号数目，yj为神经元输出，t为时间，f( )为输出变换函数，又称激励函数，往往采用0和1二值函数或形函数，见图4.3，这三种函数都是连续和非线性的。,4.2 神经计算,中南大学 智能系统与智能软件研究所,20,图4.3 神经元中的某些变换（激发）函数,(a) 二值函数(b) S形函数 (c) 双曲正切函数,4.2 神经计算,中南大学 智能系统与智能软件研究所,21,人工神经网络的基本特性和结构,人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processing element)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。,4.2 神经计算,中南大学 智能系统与智能软件研究所,22,严格来说，人工神经网络是具有下列特性的有向图： 对于每个节点 i 存在一个状态变量xi ； 从节点 j 至节点 i ，存在一个连接权系统数wij； 对于每个节点 i ，存在一个阈值 i； 对于每个节点 i ，定义一个变换函数 对于最一般的情况，此函数取 形式。,中南大学 智能系统与智能软件研究所,23,人工神经网络的结构基本上分为两类：递归（反馈）网络和前馈网络。 （）递归网络 在递归网络中，多个神经元互连以组织一个互连神经网络，如图4.4所示。有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。Hopfield网络，Elmman网络和Jordan网络是递归网络有代表性的例子。递归网络又叫做反馈网络。,中南大学 智能系统与智能软件研究所,24,递归（反馈）网络:在递归网络中，多个神经元互连以组织一个互连神经网络。 图4.4中， 表示节点的状态， 为节点的输入（初始）值， 为收敛后的输出值，i=1,2,.,n。,4.2 神经计算,中南大学 智能系统与智能软件研究所,25,() 前馈网络 前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图4.5所示。图中，实线指明实际信号流通而虚线表示反向传播。前馈网络的例子有多层感知器()、学习矢量量化()网络、小脑模型联接控制()网络和数据处理方法()网络等。,中南大学 智能系统与智能软件研究所,26,前馈网络:前馈网络具有递阶分层结构，由同层神经元间不存在互连的层级组成，如图4.5。,4.2 神经计算,中南大学 智能系统与智能软件研究所,27,人工神经网络的主要学习算法,有师学习算法：能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。 无师学习算法：不需要知道期望输出。 强化学习算法：采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。,4.2 神经计算,中南大学 智能系统与智能软件研究所,28,迄今为止，有30多种人工神经网络模型被开发和应用。根据伊林沃思(W.T.Illingworth) 提供的综合资料，最典型的模型（算法）及其学习规则和应用领域如下表所示。,人工神经网络的典型模型,中南大学 智能系统与智能软件研究所,29,4.2 神经计算,中南大学 智能系统与智能软件研究所,30,续前表：,4.2 神经计算,中南大学 智能系统与智能软件研究所,31,4.2.4 基于神经网络的知识表示与推理,基于神经网络的知识表示 基于神经网络系统中知识的表示方法与传统人工智能系统中所用的方法（如产生式、框架、语义网络等）完全不同，传统人工智能系统中所用的方法是知识的显式表示，而神经网络中的知识表示是一种隐式的表示方法。在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。,4.2 神经计算,中南大学 智能系统与智能软件研究所,32,例1：对图4.6所示的异或逻辑的神经网络来说，其邻接矩阵为： 图4.6 异或逻辑的神经网络表示,中南大学 智能系统与智能软件研究所,33,如果用产生式规则描述，则该网络代表下述四条规则： IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0,中南大学 智能系统与智能软件研究所,34,例2： 假设系统的诊断模型只有六种症状、两种疾病、三种治疗方案。对网络的训练样本是选择一批合适的病人并从病例中采集如下信息: (1) 症状：对每一症状只采集有、无及没有记录这三种信息。 （2）疾病： 对每一疾病也只采集有、无及没有记录这三种信息。 （3）治疗方案： 对每一治疗方案只采集是否采用这两种信息。 其中，对“有”、“无”、“没有记录”分别采用+1，-1，0表示。这样对每个病人就可以构成一个训练样本了。,中南大学 智能系统与智能软件研究所,35,假设根据症状、疾病与治疗