人工神经网络理论与应用第七章 神经网络基础知识神经网络基础知识7. 1 生物神经元及人工神经元的组成 7. 2 人工神经网络的模型7 .2 .1 人工神经元的模型7 .2 .2 常用的激活转移函数7 .2 .3 MP模型神经元2.1 生物神经元及人工神经元的组成神经元也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分：细胞体、树突和轴突，见图2.1（a）。(a) 简单神经元网络图 (b) 简化后的网络示意图(1) 细胞体；(2) 树突；(3) 轴突；(4) 突触图7. 1 简单神经元网络及其简化结构图神经元结构与功能 细胞体由细胞核、细胞质和细胞膜等组成，其直 径大约为0.5-100m，大小不等。细胞体是神经 元的主体，用于处理由树突接受的其它神经元传 来的信号； 轴突是由细胞体向外延伸出的所有纤维中最长的 一条分枝，用来向外传递神经元产生的输出电信 号。每个神经元都有一条轴突，其最大长度可达 1m以上。在轴突的末端形成了许多很细的分枝， 这些分支叫神经末梢。每一条神经末梢可以与其 它神经元形成功能性接触，该接触部位称为突触 。所谓功能性接触，是指非永久性的接触，这正 是神经元之间传递信息的奥秘之处。神经元结构与功能 树突是指由细胞体向外延伸的除轴突以外的 其它所有分支。树突的长度一般较短，但数 量很多，它是神经元的输入端，用于接受从 其它神经元的突触传来的信号。 神经元中的细胞体相当于一个初等处理器， 它对来自其它各个神经元的信号进行总体求 和，并产生一个神经输出信号。 细胞膜内外的电位之差被称为膜电位。在无 信号输入时的膜电位称为静止膜电位。当一 个神经元的所有输入总效应达到某个阈值电 位时，该细胞变为活性细胞。生物神经元的功能与特征 (1)时空整合功能 神经元对不同时间通过同一突触传入的神经 冲动，具有时间整合功能。对于同一时间通过不 同突触传入的神经冲动，具有空间整合功能。两 种功能相互结合，使生物神经元对由突触传入的 神经冲动具有时空整合的功能。 (2)兴奋与抑制状态 神经元具有兴奋和抑制两种常规的工作状态 。当传入冲动的时空整合结果使细胞膜电位升高 ，超过动作电位的阈值时，细胞进入兴奋状态， 产生神经冲动。相反，当传入冲动的时空整合结 果使细胞膜电位低于动作电位的阈值时，细胞进 入抑制状态，无神经冲动输出。生物神经元的功能与特征 (3) 脉冲与电位转换 突触界面具有脉冲/电位信号转化功能。沿神经纤维传递 的信号为离散的电脉冲信号，而细胞膜电位的变化为连续的 电位信号。这种在突触接口处进行的“数/模”转换，是通过神 经介质以量子化学方式实现的如下过程： 电脉冲-神经化 学物质-膜电位 (4) 神经纤维传导速率 神经冲动沿神经纤维传导的速度在1-150m/s之间。其 速度差异与纤维的粗细、髓鞘的有无有关。一般来说，有髓 鞘的纤维，其传导速度在100m/s以上，无髓鞘的纤维，其传 导速度可低至每秒数米。 (5) 突触延时和不应期 突触对相邻两次神经冲动的响应需要有一定的时间间隔 ，在这个时间间隔内不响应激励，也不传递神经冲动，这个 时间间隔称为不应期。人脑神经系统的结构与特征神经生理学的研究结果表明，人脑的神经系统是一个由大量生物神经 元并行互连所形成的一个网络系统。每个人的大脑大约有1011-1012 个神经元，每个神经元大约有103-104个突触，即与其它103-104个 神经元相连。(1)记忆和存储功能人脑神经系统的记忆和处理功能是有机的结合在一起的。神经元既有 存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地 址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是 当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最 严重部分的那些信息，而不会丢失全部存储信息。(2)高度并行性（为什么计算机无法模拟更多的神经元，如果有100 个神经元，两两互连，则会出现10099/2=5000个N元一次方程。如 何计算如此复杂的方程组？）提供了非常巨大的存储容量和并行度。 例如，人可以非常迅速地识别出一幅十分复杂的图像。人脑神经系统的结构与特征 (3) 分布式功能 人们通过对脑损坏病人所做的神经心理学研究，没 有发现大脑中的哪一部分可以决定其余所有各部分的活 动，也没有发现在大脑中存在有用于驱动和管理整个智 能处理过程的任何中央控制部分。人类大脑的各个部分 是协同工作、相互影响的，并没有哪一部分神经元能对 智能活动的整个过程负有特别重要的责任。可见，在大 脑中，不仅知识的存储是分散的，而且其控制和决策也 是分散的。因此，大脑是一种分布式系统。 (4) 容错功能 容错性是指根据不完全的、有错误的信息仍能做出 正确、完整结论的能力。大脑的容错性是非常强的。例 如，我们往往能够仅由某个人的一双眼睛、一个背影、 一个动作或一句话的音调，就能辨认出来这个人是谁。人脑神经系统的结构与特征 (5) 联想功能 人脑不仅具有很强的容错功能，还有 联想功能。善于将不同领域的知识结合起 来灵活运用，善于概括、类比和推理。例 如，一个人能很快认出多年不见、面貌变 化较大的老朋友。 (6) 自组织和自学习功能 人脑能够通过内部自组织、自学习能 力不断适应外界环境，从而可以有效地处 理各种模拟的、模糊的或随机的问题。 人工神经元的主要结构单元是信号的输入、综合处理和输出 输出信号强度大小反映了该神经元对相邻神经元影响的强弱 人工神经元之间通过互相联接形成网络，称为人工神经网络 神经元之间相互联接的方式称为联接模式 相互之间的联接强度由联接权值体现。v 在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。目前多数人工神经网络的构造大体上都采用如下的一些原则：v 由一定数量的基本神经元分层联接；v 每个神经元的输入、输出信号以及综 合处理内容都比较简单；v 网络的学习和知识存储体现在各神经元之间的联接强度上。7. 2 人工神经网络的模型7. 2. 1 人工神经元的模型神经元是人工神经网络的基本处理单元，它一般是一个多输入/单输出的非线性元件。神经元输出除受输入信号的影响外，同时也受到神经元内部因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差，有时也称为阈值或门限值。神经元的输出矢量可以表示为：A = f ( W*P + b ) = f ( wj pj + b ) (7.2 ) 可以看出偏差被简单地加在W*P上作为激活函数的另一个输入分量。实际上偏差也是一个权值，只是它具有固定常数为1的输入。在网络的设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动，从而增加了解决问题的可能性。7. 2. 2 激活转移函数激活转移函数（Activation transfer function）简称激活函数，它是一个神经元及神经网络的核心之一。神经网络解决问题 的能力与功效除了与网络结构有关外，在很 大程度上取决于网络激活函数。激活函数的基本作用是：控制输入对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。下面是几种常用的激活函数：（l）阀值型（硬限制型）具有此激活函数的神经元的输入/输出关系为：(a) 没有偏差的阈值型激活函数 (b) 带有偏差的阈值型激活函数 图7. 3 阈值型激活函数 (7.3 )（2）线性型具有此激活函数的神经元的输入/输出关系为：(a) 没有偏差的线性激活函数 (b) 带有偏差的线性激活函数 图7. 4 线性型激活函数A = f (W *P + b ) = W * P + b ( 7.4 )（3）S型(Sigmoid)对数S型激活函数见图7.5(a)，其神经元的输入/输出关系为：(a) 带有偏差的对数S型激活函数 (b) 带有偏差的双曲正切S型激活函数 图7. 5 S型激活函数(7.5)（3）S型(Sigmoid)双曲正切S型激活函数见图7.5(b)，其神经元的输入/输出关系为：(a) 带有偏差的对数S型激活函数 (b) 带有偏差的双曲正切S型激活函数图7. 5 S型激活函数(7.6)一般地，称一个神 经网络是线性或非线性 是由网络神经元中所具 有的激活函数的线性或 非线性来决定的。 人工神经网络 人工神经网络是对人类神经系统的一种模拟。尽管 人类神经系统规模宏大、结构复杂、功能神奇，但 其最基本的处理单元却只有神经元。人工神经系统 的功能实际上是通过大量神经元的广泛互连，以规 模宏伟的并行运算来实现的。 基于对人类生物系统的这一认识，人们也试图通过 对人工神经元的广泛互连来模拟生物神经系统的结 构和功能。人工神经元之间通过互连形成的网络称 为人工神经网络。在人工神经网络中，神经元之间 互连的方式称为连接模式或连接模型。它不仅决定 了神经元网络的互连结构，同时也决定了神经网络 的信号处理方式。人工神经网络的分类 目前，已有的人工神经网络模型至少有 几十种，其分类方法也有多种。例如，若按 网络拓扑结构，可分为无反馈网络与有反馈 网络；若按网络的学习方法，可分为有教师 的学习网络和无教师的学习网络；若按网络 的性能，可分为连续型网络与离散型网络， 或分为确定性网络与随机型网络；若按突触 连接的性质，可分为一阶线性关联网络与高 阶非线性关联网络。人工神经网络的局限性 人工神经网络是一个新兴学科，因此还存在 许多问题。其主要表现有： (1) 受到脑科学研究的限制：由于生理实验 的困难性，因此目前人类对思维和记忆机制 的认识还很肤浅，还有很多问题需要解决； (2) 还没有完整成熟的理论体系； (3) 还带有浓厚的策略和经验色彩； (4) 与传统技术的接口不成熟。 上述问题的存在，制约了人工神经网络研究 的发展。7. 2. 3 MP神经元模型MP神经元模型是由美国心理学家 McClloch和数学家Pitts共同提出的，因此，常 称为MP模型。 MP神经元模型是典型的阈值型 神经元，见图7.6，它相当于一个多输入单输出 的阈值器件。w1 w2wrp1p2pr b图7.6 MP模型神经元如图(7.6)所示，假定p1，p2，pn表示神经元 的n个输入；wi表示神经元的突触连接强度，其值称 为权值；n 表示神经元的输入总和，f (n) 即为激活函 数；a 表示神经元的输出，b 表示神经元的阈值，那 么MP模型神经元的输出可描述为(7.7)式所示： w1 w2wrp1p2pr b图7.6 MP模型神经元(7.7)MP模型神经元是二值型神经元，其输出状态取值 为1或0，分别代表神经元的兴奋和抑制状态。如果 n 0，即神经元输入加权总和超过某个阈值，那么该神 经元兴奋，状态为1；如果n 0，那么该神经元受到抑 制，状态为0。通常，将这个规定称为MP模型神经元 的点火规则。用一数学表达式表示为：对于 MP模型神经元，权值w在（ 1， 1）区间 连续取值。取负