人工神经网络Artificial Neural NetworksDate1蒋宗礼 软件学科部 联系电话：67392508 Email：jiangzlbjpu.edu.cn 办公地点：信息北楼214Date2教材书名：人工神经网络导论 出版社：高等教育出版社 出版日期：2001年8月定价：12.4元 作者：蒋宗礼Date3主要参考书目1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold， 1989 2、胡守仁、余少波、戴葵，神经网络导论 ，国防科技大学出版社，1993年10月 3、杨行峻、郑君里，人工神经网络，高等 教育出版社，1992年9月 4、闻新、周露、王丹力、熊晓英，MATLAB 神经网络应用设计，科学出版社，2001.5. Date4课程目的和基本要求 作为人工神经网络的入门课程，用于将学生 引入人工神经网络及其应用的研究领域。 介绍人工神经网络及其基本网络模型，使学 生 了解智能系统描述的基本模型 掌握人工神经网络的基本概念、单层网、多 层网、循环网等各种基本网络模型的结构、特 点、典型训练算法、运行方式、典型问题 掌握软件实现方法。Date5课程目的和基本要求了解人工神经网络的有关研究思想，从中学 习开拓者们的部分问题求解方法。 通过实验进一步体会有关模型的用法和性能 ，获取一些初步的经验。 查阅适当的参考文献，将所学的知识与自己 未来研究课题（包括研究生论文阶段的研究 课题）相结合起来，达到既丰富学习内容， 又有一定的研究和应用的目的。Date6主要内容 智能及其实现 ANN基础 Perceptron BP CPN 统计方法 Hopfield网与BAM ARTDate7主要内容第一章：引论智能的概念、智能系统的特点及其描述基 本模型，物理符号系统与连接主义的观点及 其比较；人工神经网络的特点、发展历史。 Date8主要内容第二章 人工神经网络基础本章在介绍了基本神经元后，将概要介绍 人工神经网络的一般特性。主要包括，生物 神经网络模型，人工神经元模型与典型的激 励函数；人工神经网络的基本拓扑特性，存 储类型（CAMLTM，AMSTM）及 映象，Supervised训练与Unsupervised训练。Date9主要内容第三章 感知器感知器与人工神经网络的早期发展；单层 网能解决线性可分问题，而无法解决线形不 可分问题，要想解决这一问题，必须引入多 层网；Hebb学习律，Delta规则，感知器的训 练算法。 实验：实现一个感知器。 Date10主要内容第四章 向后传播BP（Backpropagation）网络的构成及其训 练过程；隐藏层权调整方法的直观分析，BP 训练算法中使用的Delta规则（最速下降法） 的理论推导；算法的收敛速度及其改进讨论 ；BP网络中的几个重要问题。 实验：实现BP算法。 Date11主要内容第五章 对传网生物神经系统与异构网的引入；对传网的网 络结构，Kohonen层与Grossberg层的正常运 行，对传网的输入向量的预处理，Kohonen 层的训练算法及其权矩阵的初始化方法； Grossberg层的训练；完整的对传网。 实验：实现基本的对传网。 Date12主要内容第六章 统计方法统计方法是为了解决局部极小点问题而引入 的，统计网络的基本训练算法，模拟退火算 法与收敛分析，Cauchy训练，人工热处理与 临界温度在训练中的使用，BP算法与Cauchy 训练相结合。 实验：实现模拟退火算法。 Date13主要内容第七章 循环网络循环网络的组织，稳定性分析；相联存储； 统计Hopfield网与Boltzmann机；Hopfield网 用于解决TSP问题。BAM(Bidirectional Associative Memory) 用于实现双联存储；基本双联存储网络的结 构及训练；其他的几种相联存储网络。 实验：实现一个Hopfield网。 Date14主要内容第八章 自适应共振理论 人脑的稳定性与可塑性问题；ART模型的 总体结构与分块描述；比较层与识别层之间 的两个联接矩阵的初始化，识别过程与比较 过程，查找的实现；训练讨论。 Date15第1章 引言 主要内容： 智能与人工智能； ANN的特点； 历史回顾与展望 重点： 智能的本质； ANN是一个非线性大规模并行处理系统 难点：对智能的刻画 Date16第1章 引言1.1 人工神经网络的提出 1.2 人工神经网络的特点 1.3 历史回顾Date17第1章 引言人类对人工智能的研究可以分成两种方式对 应着两种不同的技术： 传统的人工智能技术心理的角度模拟 基于人工神经网络的技术生理的角度模 拟Date181.1 人工神经网络的提出 人工神经网络（Artificial Neural Networks ，简记作ANN），是对人类大脑系统的一阶 特性的一种描述。简单地讲，它是一个数学 模型，可以用电子线路来实现，也可以用计 算机程序来模拟，是人工智能研究的一种方 法。 Date191.1 人工神经网络的提出 1.1.1 智能与人工智能 一、 智能的含义 智能是个体有目的的行为，合理的思维，以 及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问 题的能力。 人类个体的智能是一种综合能力。Date201.1 人工神经网络的提出 智能可以包含8个方面 感知与认识客观事物、客观世界和自我的能力 感知是智能的基础最基本的能力 通过学习取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。 理解知识，运用知识和经验分析、解决问题的能 力 这一能力可以算作是智能的高级形式。是人类对世 界进行适当的改造，推动社会不断发展的基本能力。Date211.1 人工神经网络的提出 联想、推理、判断、决策语言的能力 这是智能的高级形式的又一方面。 预测和认识 “主动”和“被动”之分。联想、推理、判断、 决策的能力是“主动”的基础。 运用进行抽象、概括的能力 上述这5种能力，被认为是人类智能最为基 本的能力 Date221.1 人工神经网络的提出作为5种能力综合表现形式的3种能力 发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的 能力 预测、洞察事物发展、变化的能力 Date231.1 人工神经网络的提出 二、人工智能 人工智能：研究如何使类似计算机这样的设备去 模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己 三大学术流派 符号主义（或叫做符号/逻辑主义）学派 联接主义（或者叫做PDP）学派 进化主义（或者叫做行动/响应）学派Date241.1 人工神经网络的提出 1.1.2 物理符号系统 人脑的反映 形式化现实 信息 数据物理系统 物理符号系统表现智能Date251.1 人工神经网络的提出Newell和Simon假说 ：一个物理系统表现智 能行为的充要条件是它有一个物理符号系统 概念：物理符号系统需要有一组称为符号的 实体组成，它们都是物理模型，可以在另一 类称为符号结构的实体中作为成分出现，以 构成更高级别的系统 Date261.1 人工神经网络的提出 困难： 抽象舍弃一些特性，同时保留一些特性 形式化处理用物理符号及相应规则表达 物理系统的存在和运行。 局限： 对全局性判断、模糊信息处理、多粒度的视 觉信息处理等是非常困难的。Date271.1 人工神经网络的提出1.1.3 联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成 的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练 Date281.1 人工神经网络的提出1.1.4 两种模型的比较心理过程 逻辑思维 高级形式（思维的表象）生理过程 形象思维 低级形式（思维的根本） 仿生人工神经网络 联结主义观点物理符号系统Date291.1 人工神经网络的提出物理符号系统和人工神经网络系统的差别 项目物理符号系统人工神经网络处理方式逻辑运算模拟运算执行方式串行并行动作离散连续存储局部集中全局分布Date301.1 人工神经网络的提出两种人工智能技术的比较项目传统的AI技术 ANN技术 基本实现 方式 串行处理；由程序实现 控制 并行处理；对样本数据进行多目标学习； 通过人工神经元之间的相互作用实现控制 基本开发 方法 设计规则、框架、程序 ；用样本数据进行调试 （由人根据已知的环境 去构造一个模型） 定义人工神经网络的结构原型，通过样本 数据，依据基本的学习算法完成学习 自动从样本数据中抽取内涵（自动适应应 用环境） 适应领域 精确计算：符号处理， 数值计算非精确计算：模拟处理，感觉，大规模数 据并行处理 模拟对象 左脑（逻辑思维）右脑（形象思维）Date311.2 人工神经网络的特点信息的分布表示 运算的全局并行和局部操作 处理的非线性 Date321.2.1 人工神经网络的概念 1、定义 1）HechtNielsen（1988年） 人工神经网络是一个并行、分布处理结构，它 由处理单元及其称为联接的无向讯号通道互连而 成。这些处理单元（PEProcessing Element） 具有局部内存，并可以完成局部操作。每个处理 单元有一个单一的输出联接，这个输出可以根据 需要被分枝成希望个数的许多并行联接，且这些 并行联接都输出相同的信号，即相应处理单元的 信号，信号的大小不因分支的多少而变化。Date331.2.1 人工神经网络的概念 （1）HechtNielsen（1988年）（续） 处理单元的输出信号可以是任何需要 的数学模型，每个处理单元中进行的操 作必须是完全局部的。也就是说，它必 须仅仅依赖于经过输入联接到达处理单 元的所有输入信号的当前值和存储在处 理单元局部内存中的值。Date341.2.1 人工神经网络的概念 强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝， 且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作 Date351.2.1 人工神经网络的概念 （2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）； 2） 处理单元的激活状态（ai）； 3） 每个处理单元的输出函数（fi）； 4） 处理单元之间的联接模式； 5） 传递规则（wijoi）； 6） 把处理单元的输入及当前状态结合起来产生 激活值的激活规则（Fi）； 7） 通过经验修改联接强度的学习规则； 8） 系统运行的环境（样本集合）。 Date361.2.1 人工神经网络的概念 （3） Simpson（1987年）人工神经网络是一个非线性的有向图，图中 含有可以通过改变权大小来存放模式的加权 边，并且可以从不完整的或未知的输入找到 模式。 Date371.2.1 人工神经网络的概念 2、关键点 （1） 信息的分布表示 （2） 运算的全局并行与局部操作 （3） 处理的非线性特征 3、对大脑基本特征的模拟 1） 形式上：神经元及其联接；BN对AN 2） 表现特征：信息的存储与处理Date381.2.1 人工神经网络的概念 4、别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应 网（Adaptiv