,Artificial Neural Network人工神经网络,一、主要内容,人工神经网络简介 人工神经网络发展历史 人工神经网络模型 人工神经网络的分类及学习规则 人工神经网络的信息处理能力 人工神经网络的应用 人工智能与人工神经网络,1.1人工神经网络简介,智能 智能就是智慧和能力，是个体有目的的行为、合理的思维以及有效的适应环境的综合性能力。 经过数万年的演化，大自然中的各种生物均具有智能。 作为万物之灵的人，不仅具有智能，而且还能够智慧地制造各种工具来延伸和拓展自身的能力。,沙 蚁,人类不能感受到红外线，但响尾蛇的红外探测器可以探测到几米外的老鼠,智能？,人工智能,人工智能,通过对人类智力活动奥秘的探索与记忆思维机理的研究，来开发人类智力活动的潜能、探讨用各种机器模拟人类智能的途径，使人类的智能得以物化与延伸，产生了一门学科，即所谓的人工智能。 人工智能（Artificial Intelligence，AI） 在20世纪90年代，人工智能的符号主义、连接主义和行为主义三种方法并存。 连接主义：人工神经网络,计算智能,近年来，借鉴仿生学思想，基于生物体系的生物进化、细胞免疫、神经细胞网络等某些机制，用数学语言抽象描述的计算方法，来模仿生物体系和人类的智能机制，产生了所谓的计算智能 计算智能（Computational Intelligence, CI） 软计算（Soft Computing, SC） 人工神经网络、模糊集理论（Fuzzy Set, FS）、进化计算（Evolutionary Computation, EC）,有关智能的研究基础上出现了诸如：智能设计、智能制造、智能检测、智能监控、智能控制、智能交通等等应用智能的研究方向。 智能无处不在,I believe that understanding intelligence involves understanding how knowledge is acquired, represented, and stored; how intelligent behavior is generated and learned; how motives, and emotions, and priorities are developed and used; how sensory signals are transformed into symbols; how symbols are manipulated to perform logic, to reason about the past, and plan for the future; and how the mechanisms of intelligence produce the phenomena of illusion, belief, hope, fear, and dreams-and yes even kindness and love. To understand these functions at a fundamental level, I believe, would be a scientific achievement on the scale of nuclear physics, relativity, and molecular genetics. James Albus, Response to Henry Hexmoor, from URL:http:/tommy.jsc.nasa.gov/er/er6/mrl/papers/symposium/albus.txt February 13, 1995,“我认为，理解智能包括：知识如何获取、表达和存储；智能行为如何产生和学习；动机、情感和优先权如何发展和运用；传感器信号如何转换成各种符号；怎样利用各种符号执行逻辑运算、对过去进行推理及对未来进行规划；智能机制如何产生幻觉、信念、希望、畏惧、梦幻甚至善良和爱情等现象。我相信，对上述内容有一个根本的理解将会成为与拥有原子物理、相对论和分子遗传学等级相当的科学成就。”,智能信息处理,人类在不断地进步，社会在不断地发展，这一方面受人的好奇心驱动，人具有探索自然规律、了解未知世界、探索自身奥妙的内动力；另一方面人具有生存和提高生活质量的需求。 受这两方面原动力的驱动，人类不断地研究新的方法和技术，不断地研制各种工具、仪器和机器，来延伸、拓展和增强自身的各种能力。,智能信息处理,人类所处的客观环境、所面对的客观世界是变化的、发展的，是浩瀚无垠的； 人类的知识虽然在不断丰富、不断更新，但是相对客观环境、客观世界，始终是不完全的、不可靠的、不精确的、不一致的和不确定的； 人类正是用这不精确的、不完美的知识，不断地、逐步地了解了客观世界，提高了生活质量。,智能信息处理,人工智能、人工神经网络、进化计算、模糊系统理论等等都是人类在对客观世界、人类自身现有认识的基础上所产生的新的方法和理论，是人类进一步探索自然规律、了解未知世界、探索自身奥妙，提高生活质量的各种工具。,智能信息处理,智能信息处理就是将不完全的、不可靠的、不精确的、不一致的和不确定的知识和信息逐步、逐步变得完全、可靠、精确、一致和确定的过程和方法，就是利用对不精确性、不确定性的容忍来达到问题的可处理性和鲁棒性。 智能信息处理的对象及方法均具有多样性、复杂性和综合性的特点。智能信息处理涉及到信息科学的多个领域，是现代信号处理、人工神经网络、模糊系统理论、进化计算，包括人工智能等等理论和方法的综合应用。,人工神经网络,亦称为神经网络（Neural Networks, NN），是由大量处理单元（神经元Neurons）广泛互连而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。 人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、物理学、计算机科学及工程等学科的一种技术。,是由简单的处理单元所组成的大量并行分布的处理机，这种处理机具有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个方面： 一是通过学习过程利用神经网络从外部环境中获取知识； 二是内部神经元（突触权值）用来存储获取的知识信息。,人工神经网络,神经网络 与 电子计算机,图灵：英国数学家。1912年6月23日出生于伦敦 Westminster区，1931年进入剑桥大学Kings College攻读数学，毕业学位考试第一，获Wrangler荣誉称号。学位论文“The Central Limit Theorem of Probability”获“Smith Prize”。毕业后到美国普林斯顿大学攻读博士学位，1936年发表了著名论文“On Computable Numbers with an Application to the Entscheidungs Problem”，该文回答了“计算机”到底是怎样的，如何进行计算和工作，提出了计算模型“图灵机”( Turing Machine)。,Alan Mathison Turing (1912 1954),1938年获博士学位，博士论文“Systems of Logic Based on Ordinals”。1939年在英国外交部科研机构工作，二战期间用继电器做成“Bombe”，协助军方破解德国的著名密码系统Enigma，战后被受勋(Officer Order of the British Empire)。战后到英国国家物理实验室(National Physical Lab., NPL)，设计和建造电子计算机(Automatic Computing Engine, ACE)。1948年离开NPL，到曼彻斯特大学新成立的Royal Society Computing Lab.1948年6月开发出被称为世界上第一台存储程序式计算机Mark I。,1950年10月发表论文“Computing Machinery and Intelligence” 认为计算机可以具有智能，并提出了一种用于判定机器是否具有智能的试验方法，即图灵试验(Turing Test)。1951年当选英国皇家学会院士。1952年图灵被法院指控行为“极端不当”。1954年6月7日，图灵服食浸过氰化物溶液的苹果“自杀”。 享年42岁。,Thinking is computing,1966年美国计算机协会设立计算机界的第一奖项 “图灵奖” 被称为“计算机界的诺贝尔奖”,ACM: Association for Computing Machinery IEEE Computer Society,John von Neumann (1903-1957),20世纪最杰出的数学家之一，于1945年提出了“程序内存式”计算机的设计思想。这一卓越的思想为电子计算机的逻辑结构设计奠定了基础，已成为计算机设计的基本原则。由于他在计算机逻辑结构设计上的伟大贡献，他被誉为“计算机之父”。 诺伊曼于1903年出生于匈牙利的布达佩斯。他是一个数字神童，11岁时已显示出数学天赋。12岁的诺伊曼就对集合论，泛函分析等深奥的数学领域了如指掌。,青年时期，诺伊曼师从于著名数学家希尔伯特。在获得数学博士之后，不满30岁成为美国普林斯顿大学的第一批终身教授。诺伊曼不仅是个数学天才，在其他领域也大有建树。他精通七种语言，在化学方面也有相当的造诣，更为难得的是，他并不仅仅局限于纯数学上的研究，而是把数学应用到其他学科中去。对经典力学、量子力学和流体力学的数学基础进行过深入的研究，并获得重大成果，诺伊曼具备了坚实的数理基础，和广博的知识，为他后来从事计算机逻辑设计提供了坚强的后盾。,1944年诺伊曼参加原子弹的研制工作，该工作涉及到极为困难的计算。他所在的洛斯阿拉莫斯实验室为此聘用了一百多名女计算员，利用台式计算机从早到晚计算，还是远远不能满足需要。无穷无尽的数字和逻辑指令如同沙漠一样把人的智慧和精力吸尽。被计算机所困扰的诺伊曼在一次极为偶然的机会中知道了ENIAC计算机的研制计划，从此他投身到计算机研制这一宏伟的事业中，建立了一生中最大的丰功伟绩。,1944年夏的一天，正在火车站候车的诺伊曼巧遇戈尔斯坦，并同他进行了短暂的交谈。戈尔斯坦是美国弹道实验室的军方负责人，他正参与ENIAC计算机的研制工作。在交谈在，戈尔斯坦告诉了诺伊曼有关ENIAC的研制情况。具有远见卓识的诺伊曼为这一研制计划所吸引，他意识到了这项工作的深远意义。几天之后，诺伊曼专程来到莫尔学院，参观了尚未竣工的这台庞大的机器，并以其敏锐的眼光，一下子抓住了计算机的灵魂逻辑结构问题，令ENIAC的研制们敬佩不已。,因实际工作中对计算的需要以及把数学应用到其他科学问题的强烈愿望，使诺伊曼迅速决定投身到计算机研制者的行列。对业已功成名就的诺伊曼来说，这样做需要极大的勇气，因为这是一个成败未卜的新征途，一旦失败，会影响他已取得的名誉和地位。诺伊曼却以对新事物前途的洞察力，毅然决然地向此征途迈出了第一步，于1944年8月加入莫尔计算机研制小组，为计算机研制翻开了辉煌的一页。,诺伊曼以其非凡的分析、综合能力及雄厚的数理基础，集众人之长，提出了一系列优秀的设计思想，在他和莫尔小组其他成员的共同努力下，只经历了短短的十个月，人类在数千年中积累起来的科学技术文明，终于结出了最激动人心的智慧之花一个全新的存储程序通用电子计算机方案（EDVAC方案）诞生了。,诺伊曼以“关于EDVAC的报告草案”为题，起草了长达101页的总结报告。报告广泛而具体地介绍了制造电子计算机和程序设计的新思想。报告明确规定，EDVAC计算机由计算器、逻辑控制装置、存储器、输入和输出五大部分组成，并阐述了这五大部分的职能和相互关系。这份报告是计算机发展史上一个划时代的文献，它向世界宣告：电子计算机的时