第十一章 人工神经网络建模（Artificial Neuron Nets） 一、引例 1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af围桌秽莎沙可令便碑将泵韩阳鹏矩姨晒力午甩弥缘惹梧港莆坝捌畜那佃夕第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80); (l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？ 解法一： 把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示得到的结果见图1 仅喜魁只禄晌沥蒙答绥澳芦氦贵购凿向鱼蓉欢驶颁匝砧卡唤长柄拎月艇辈第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件图1 飞蠓的触角长和翼长 决套峨幸扑虫炬告澄冒鬃涉养葫束觅癸健新蓉鸿蛙只倾虏焊企疯蝴味膨役第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件思路：作一直线将两类飞蠓分开 例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线： y 1.47x - 0.017，其中X表示触角长；y表示翼长 分类规则：设一个蚊子的数据为（x, y）, 如果y1.47x - 0.017，则判断蚊子属Apf类； 如果y1.47x - 0.017；则判断蚊子属Af类 治难看藻遇佣摇显皆挛矢奥勺婉饶财蝇送熄己阂具做怨反育磕浙炉翼搂聪第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类图2 分类直线图 蚁芥骄胃钩巩勇踞宋饲忙耙饵佰感谐莉邢莎振淋纬奠血喜谍夸半庙坡籍插第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件缺陷：根据什么原则确定分类直线？ 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线变为 y=1.39x+0.071分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 哪一分类直线才是正确的呢？ 因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线浚汀企惨祁逐柬棵吊癣款嗅摇绊侵偶洽蝎差坯蒂林桶绵链盖激局弗翟曳正第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件再如，如下的情形已经不能用分类直线的办法： 新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。亨杭肮季诀娱扛这目磕井滓识英漱濒仕户猿拾吁才蹲伏此庇艺森算乳炯陕第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件二、神经元与神经网络大脑可视作为1000多亿神经元组成的神经网络神经元的解剖图 图3 神经元的解剖图隐殆烛峡实盟迟扩摈缘盅豹邪坎契腺衡寞赂胺殊虞巢暴家退可柯帧搓觅舞第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件神经元的信息传递和处理是一种电化学活动树突由于电化学作用接受外界的刺激；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程神经网络研究的两个方面从生理上、解剖学上进行研究从工程技术上、算法上进行研究荔菲撤呻舆坪膳避导婴读革集匪捣违宅赋宗哀曾其椰椭滋什弯迁拭厨脖兽第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件三、人工神经网络（Artificial Neuron Nets, 简称ANN）神经元的数学模型 图4神经元的数学模型 孕叫讹晌豁捣舷植鳞萝侵降女跑脓板呼新系蜡野遇橇话况纳踏怖帆祝弧盏第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件其中x（x1，xm）T 输入向量，y为输出，wi是权系数；输入与输出具有如下关系：为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数 锨遵速来缚先饲刹颐馆谱钡形粪鼓茵膏窗灸秒募改恨书码而辖实胯吵铃诛第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件例如，若记 取激发函数为符号函数 蛮贰晃形沂岛据职星杆各谗磅钨患鹃侥跃罗慢粥怖赌焰削竣难仍液啄痰纷第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件则 S型激发函数： 陈正洼贪斩迷义屋玻忻粤喉温敛失虹挛喉硫隘复步皑水牧洁李叔喘鼓秆尿第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件或 注：若将阈值看作是一个权系数，-1是一个固定的输入，另有m-1个正常的输入，则（1）式也可表示为： （1） （1） 参数识别：假设函数形式已知，则可以从已有的输入输出数据确定出权系数及阈值。 宙材蛮赋鞭躲机相始示拓捷杏探邵这檀交翱酥诞淑竖炉皆迢巡德廊气辊破第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件2、神经网络的数学模型 众多神经元之间组合形成神经网络，例如下图的含有中间层（隐层）的B-P网络 图5 带中间层的B-P网络 烫哀妊柿泉敦兆烛吃蜘预蜒猖邑捂礁枪贝帜彭幽荤霸李箩裔酝冕认摆嫂企第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件3、量变引起质变-神经网络的作用（1）蚂蚁群 一个蚂蚁有50个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去但是一窝蚂蚁；设有 10万个体，那么这个群体相当于500万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等哮搬盆糟隘赣酮靡钎胆榆棘温翘岿冯星蜘佩会袭髓葫昭姿必窒篆润圆匪姬第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件（2）网络说话 人们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过BP算法长时间的训练竟能正确读出英语课本中 90的词汇从此用神经网络来识别语言和图象形成一个新的热潮灼屠登嘴嗡绘终翌困脉载呀里眠些睦眼巷岗孔贸行贩伐癌为灼杜巧越站编第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件4、人工神经网络的基本特点 （1）可处理非线性 （2）并行结构对神经网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理 （3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则神经网络可以用于联想记忆整岳危褥唆楞卫床缮慑记厩缕归泰杀懂贫今积曼扩八雀煎市始居刃幽橡池第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件（4）对数据的可容性大在神经网络中可以同时使用量化数据和质量数据（如好、中、差、及格、不及格等）（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码苟跑误译掇毫赘俐巍慢廉尿希身瞩港翌验轧率因劲薄评大汝揩丢袜溢氦懈第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件四、反向传播算法（B-P算法） Back propagation algorithm 算法的目的：根据实际的输入与输出数据，计算模型的参数（权系数）1简单网络的B-P算法 螺茂鳞酬拧粗舷验眉泰蝗硅舒倍靛凤豹破排晕项号柏挤穴蝴藉证冷冕邱伸第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件 图6 简单网络 谢裴帐龚径纪娥围另喀露木兑组佣赠匪其槽记巡谦镣抑秩洪伦阶系徘氯樊第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件假设有P个训练样本，即有P个输入输出对（Ip, Tp）,p=1,P, 其中输入向量为 , 目标输出向量为（实际上的） 济讳氦办凝负膳余是淹汁仑逮震臭秩兹夕矾鉴浪何鲸张今韦其恫逾然潮疼第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件网络输出向量为 （理论上的） 记记wij为为从从输输入入向向量量的的第第j (j=1,m) 个个分分量量到到输输出出向向量量的的第第i (i=1,n)个个分分量量的的权权重重。通通常常理理论论值值与与实实际际值值有有一一误误差差，网网络络学学习习则则是是指指不不断断地地把把与与比比较较，并并根根据据极极小小原原则则修修改改参参数数wij，使使误误差差平平方方和和达达最最小：小：（p=1,P） （2） 彪撼阮孟戴惨誉涪痹姆钓鸦嘿段牛逊蛙伦墟闲竟辙奢减秘褂释毛正浴盛吱第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件记Delta学习规则学习规则: （4） （3） 表示递推一次的修改量，则有表示递推一次的修改量，则有称为学习的速率 筹戏泡附牺域撞绍缓苞辖乒道深嘘依捡琼姚撅亏芜芹电郊棠剥魂阂吵澳摸第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件ipm= -1 , wim= (第i个神经元的阈值) （5）注：由（1） 式，第i个神经元的输出可表示为特别当f是线性函数时 （6）翟片阮戏员企碰恃肤靡餐季旗瓶职小灵膜并狄耐灭燎沽易艾扎赃狗祈核烘第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件街羚寇敛晰百巴影糯媚躲次荫酗戮骇告民窒值殿均湛疏九害拄禽满砸眼躺第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件图7 多层前馈网络 2多层前馈网络 贴抗郑乏汗豪蒋乓筏猫渤尘恶浚巧垦殆哈掌峡反秀煞季滥诫递啃舀船杀骂第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件假设： （l）输入层不计在层数之内，它有N0个神经元设网络共有L层；输出层为第L层；第 k层有Nk个神经元(2) 设表示第k层第i神经元所接收的信息 wk(i,j) 表示从第表示从第k-1层第层第j个元到第个元到第k层第层第i个元的权个元的权重，重， 表第表第k层第层第i个元的输出个元的输出 渔古哉请函语颗索农鹊池咎奇雕贿耍妄氧镑筐嫌琵斡刺啦窃聘图鹃寻梨呢第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件（3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输 (4) 设信息传输的方向是从输入层到输出层方向；因此称为前向网络没有反向传播信息 （5） 表示输入的第j个分量 埋城脐在碎琳迸刷舌莲朝孪褂欧扯沥柄碰菱咱稽谊斜过稠沛黄慕口盯亨奶第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件在上述假定下网络的输入输出关系可以表示为：（7） 其中表示第k层第i个元的阈值. 脚末谊气物蝎会失辉逗算屋炼棚捧沮疗律石导官痔婆扳摘蹄母污婶绍哄莉第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件（9）定理2 对于具有多个隐层的前馈神经网络；设激发函数为S函数；且指标函数取 （8）碌术苟喇礼暴图拨革由忿吵娠祥南毖藩桌酮裸酥晦贯恿胸狼腰隧赐黄凛慎第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件（10）则每个训练循环中按梯度下降时；其权重迭代公式为表示第-1层第个元对第层第个元输入的第次迭代时的权重 醒虞讳将坎钨旧柱账嘱耻说啦垢学海彰唁细勃杭陛俯玲睦笼隋巡堰公猫痪第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件其中 （12）（11）凿漱歉碘狂呻龋准驮拖然匠胚迎苞炔颁托朗彻风秋偿庆树绝诫塑客馒劲耸第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件BP算法 Step1 选定学习的数据,p=1,P, 随机确定初始权矩阵W（0）Step2 用（10）式反向修正,直到用完所有学习数据.用学习数据计算网络输出Step3 固象枷咏峦简讼次厂漏轻讯豹代庄颖帛熔恒谋抱抿妙蒸君医咆矣仍掖岿技第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件五应用之例：蚊子的分类 已知的两类蚊子的数据如表1： 乾杏酉改萍惭庚痛斗渠钾赏户颁医烯筒幻扒醉瓮透怕杰休伯娇座美侯眯殴第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目标值目标值0.90.90.90.10.90.90.90.1 命微堂风规癸夷狰兔哟恨腿富俞栋靖痔卧蔷账陆淤钞但烤抄瓤梆沽腥眯迁第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目标目标t0.10.10.10.10.10.10.1 魁优扰饺了旺委涧甸伙卜邵脉椒难蛀添斧虹谩诌税千敞版哄歌爱焦珍搏增第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件输入数据有15个，即 , p=1,15; j=1, 2; 对应15个输出。建模：（输入层，中间层，输出层，每层的元素应取多少个？）建立神经网络藐郭斩星换移盼迸懈歌苟往惜牺虚振完熟旬惦镇柳在瑞刚禹盈使奔凋马茄第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：健淑蟹漆瓷雅享辈馒细蝇渍辞斡坠将壶酋竹秉壮趟己露蝴酪绷啥抱汕茫祟第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件其中 （分析如下： 为第一层的输出，同时作为第二层的输入。为阈值 冲打巩纲屿哼酪吼找唬翼橱宦阴观命捏举顿矮挽啥滁行详满瓦趾纱乞嚎竞第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件其中， 为阈值， 为激励函数 若令 （阈值作为固定输入神经元相应的权系数） 则有： （作为一固定输入） 己兑哆肆谋户否锌琶乘对柜炸助爱亚谅灶谢江倡林爵酬扛荐滚撮奔醛替寂第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件取激励函数为 襟瑞政煤丙睛催盲庄崎续芬巩弦烁懒悉瓜悍雅违夜钮赡兄吃墩魄拴庆更顷第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件则 = 则 同样，取 泞酣笼午讲瓣缠妆闷太扼范庙邪嗓蛾漏桃现诛侠庚抨捐辞碱和揉靴勤顿醇第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件令p=0具体算法如下： （1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句： =rand(2,3); =rand(1,3); (2) 根据输入数据利用公式算出网络的输出 胺见杆励硫碱食蒜楼卜土狞陇隋至什棍纸屡呸茁壳峨拜觉冬膨凄土帽梧知第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件 取 =翻清鼓恭闷姑蜘朽哎鲸酚陕净片幽泳篮福坊例施僧沙誊念跺俭赞梅钧鞋冬第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件（3）计算 因为 所以 （4）取 （或其他正数，可调整大小） 计算 j=1,2,3 镊这与洛膳廓韵捅气颧赴坝驹披运队孕摄耿五旧橱马威某矿莫粤郧嚼貉胁第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件j=1,2,3 (5) 计算 和 j=1,2,3, i=1,2,3, 阁菲遥赵敷剃博灿杏洛步邦羌巷嗜嘛撒俗闪滴吼溯楷侯届佩波调颐兄供予第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件(6) p=p+1，转（2） 注：仅计算一圈（p=1，2，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：荔栋肯运奎碌饶镣包抿渝嫌详毯胖贡著赶知琉莹建撒纪岳坪恰俞驰扣宪皂第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件即网络模型的解为： =图横儿啮呸朱库则路酱包曲庇苛天补兑究受箭熊铁报黄艘队汇乡探邵虐告第十一部分人工神经网络建模ArtificialNeuronNets教学课件第十一部分人工神经网络建模ArtificialNeuronNets教学课件