,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,大数据,刘鹏 主编 张燕 张重生 张志立 副主编,BIG DATA,刘 鹏,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,3,6.5 手写体数字识别项目实例,6.6 深度学习应用,习题,6.1概述,第六章 深度学习,of,65,4,深度学习（Deep Learning）的概念是由Hinton、Yoshua Bengio和Yann Lecun等人提出的，涉及神经网络、图建模、人工智能、模式识别、最优化理论和信号处理等领域。由于深度学习在各类竞赛中，相对于传统方法有着显著的性能提升，越来越多的学术机构和企业把目光转向了深度学习领域。例如： 2010年美国国防部DARPA首次资助深度学习项目； 2012年11月，微软在天津展示了全自动同声传译系统，用英文演讲，采用深度学习作为支撑，后台计算机自动完成了语音识别、中英机器翻译和中文语音合成； 2013年1月，百度创始人宣布成立百度研究院，其中第一个成立的就是“深度学习研究所”； 2013年4月，麻省理工学院技术评论杂志将深度学习列为2013年十大突破性技术之首。,6.1概述,第六章 深度学习,6.1.1人工智能简史,of,65,5,发展历程 三个阶段,20世纪40年代中期到50年代末期被称为人工智能的启蒙探索阶段。,20世纪60年代初期到80年代末期被称为人工智能的发展阶段。,20世纪90年代初期到现在被称为人工智能的繁荣阶段。,6.1概述,第六章 深度学习,of,65,6,（1）20世纪40年代中期到50年代末期,人工智能的启蒙探索阶段,6.1概述,第六章 深度学习,of,65,7,（2）20世纪60年代初期到80年代末期,人工智能的发展阶段,6.1概述,第六章 深度学习,of,65,8,（3）20世纪90年代初期至今,人工智能的繁荣阶段,6.1概述,第六章 深度学习,6.1.2大数据与深度学习,of,65,9,2006年Hinton等人提出深度学习的概念，该方法基于深度置信网络提出非监督逐层训练的算法，为解决深层结构相关的优化难题带来了希望，掀起了深度学习在学术界和工业界的浪潮。 随着CPU和GPU计算能力的大幅提升，深度学习拥有了的更高效的硬件平台作为支撑。大数据时代的海量数据解决了早期神经网络由于训练样本不足出现的过拟合、泛化能力差等问题。因此，大数据需要深度学习，深度学习的发展又需要大数据的支撑。 在未来几年，深度学习将会被广泛应用于大数据的预测，而不是停留在浅层模型上，这将推动“大数据+深度模型”时代的来临，以及人工智能和人机交互的前进步伐。,6.1概述,第六章 深度学习,6.1.3人工智能的未来,of,34,10,人工智能一直处于计算机技术的前沿，计算机技术的发展方向将很大程度上依赖人工智能理论方面的研究和发现。人工智能对现代社会已经产生了巨大的影响，在工业领域尤其是制造业，已经成功地使用了人工智能技术，例如，智能设计、在线分析、仿真、虚拟制造、智能调度和规划等。在金融业，股票商利用人工智能系统进行分析、判断和决策，信用卡欺诈检测系统也得到了普遍应用；在传媒领域，新华网推出了自主研发的第一代生物传感智能机器人“Star”。人工智能还对人们的日常生活产生了影响，Siri、实时在线地图、语音搜索等一系列智能产品已经给我们的生活带来了极大的方便。,6.1概述,第六章 深度学习,of,65,11,未来应该是一个人工智能的世界。一朵花可能拥有智能，根据主人的心情来开放；每个人都有一个智能伴侣，让我们更加理性地购物；甚至还能帮助信徒决定他们的人生信仰等。未来的人工智能将很多领域代替人类，并能服务我们人类自身，处理我们日常的生活。,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,12,6.6 深度学习应用,习题,6.5 手写体数字识别项目实例,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.1探秘大脑的工作原理,of,65,13,大脑是人类活动的“信息处理中心”，支配着人类大多数的生命活动。大脑中存在着无数神经元，是大脑处理信息的基本单元。神经元之间相互连接，构成神经网络，不同区域的神经网络负责不同的功能，各区域相互协作，完成大脑的所有处理活动。 当外界信息通过感官系统，传到大脑时，大脑对其做一个简单的模式分析和识别，再将其交给对应的处理区域。 在学习过程中，大脑接收的信息越多，各个区域存储的模式以及模式之间的联系也就越多。如此积累下去，大脑逐渐理解模式分类的规则以及模式之间的联系，最终形成我们对世界各种事物的认知。,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.2人脑神经元结构,of,65,14,神经元结构示意图,树突是神经元两端呈树枝状的突起，是接收其他神经元信息的入口。 轴突是神经元中一个细长的突起，每个神经元只有一个。 突触是两个神经元传递冲动相互接触的地方。与其他神经元的树突相连，当兴奋达到一定阈值时，突触前膜向突触间隙释放神经传递的化学物质，实现神经元之间的信息传递。 人工神经网络中的神经元模仿了生物神经元的这一特性，利用激活函数将输入结果映射到一定范围内，若映射后的结果大于阈值，则神经元被激活。,生物神经元又叫神经细胞，是一个长突起的细胞，主要由细胞体、树突、轴突、突触构成。,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.3人脑神经网络,of,65,15,人类的大脑并不是一开始就能处理一些复杂的问题，而是由外界刺激决定了神经网络的生长，各种信息刺激了脑部发育，脑内的神经元之间不断重组，连接，形成更复杂的神经网络，使个体渐渐具有其他的活动能力。,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,16,1、感知器是一种权衡依据做出的决策方法，随着权重和阈值的变化，可以得到不同的决策模型。,Rosenblatt提出了一个简单算法来计算输出：通过带权重 的连接，表示相应输入对输出的重要性，神经元的输出由加权和 和阈值 决定，具体的表达形式如下：,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,17,2、神经元是构成神经网络的基本单元，通过调整内部节点之间的相互连接关系，达到处理信息的目的。,神经元使用一个非线性的激活函数，得到一个输出，以最简单的两层神经网络为例。这个神经网络有3个神经元： ，+1表示偏置节点的运算，则相应的输出为：,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,18,（1）阶跃函数： ，函数图像如图所示：,阶跃函数示意图,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,19,（2）Sigmoid函数： ，Sigmod函数是一个输出在（0,1）的开区间的有界函数，函数图像如图所示。,双曲线正切函数示意图,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,20,（3）双曲线正切函数： ，双曲正切函数是一个输出在（-1,1）开区间有界函数，函数图像如图所示。,Sigmoid函数示意图,6.2人脑神经系统与深度学习,第六章 深度学习,6.2.4人工神经网络,of,65,21,Rectifier函数示意图,（4）Rectifier函数： ，函数图像如图所示。其中，当激活函数为阶跃函数时，神经元模型就是感知器。,6.2人脑神经系统与深度学习,第六章 深度学习,3、神经网络的架构,of,65,22,一般的神经网络是层级结构，每层神经元与下一层神经元相互连接，同层神经元及跨层神经元之间相互无连接，每一层神经元的输出作为下一层神经元的输入，这种网络被称为前馈神经网络。,最左边的一层（第一层）称为输入层，其中的神经元称为输入神经元。最右边的一层（最后一层）称为输出层，其中的神经元称为输出神经元。中间一层则被称为隐藏层，既不是输入层也不是输出层。本例讨论的是只有一个输出和一个隐藏层。但是，在实际中神经网络可以有多个输出和多个隐藏层。这种多层网络有时被称为多层感知器。,三层神经网络示意图,6.2人脑神经系统与深度学习,第六章 深度学习,of,65,23,多层神经网络中除了输入层，每个神经元都是一个多输入单输出信息处理单元。如图所示，它表示了一个多层神经网络，需要注意，网络中所有连接都有对应的权重和偏置。但是图中只标记了三个权重 w1，w2， w3 。,多层神经网络示意图,6.2人脑神经系统与深度学习,第六章 深度学习,4、误差逆传播算法,of,65,24,多层网络的学习能力比单层感知机强得多，如果想要训练多层网络，误差逆传播（简称BP）是迄今为止最杰出的神经网络学习算法。BP是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。,梯度下降示意图,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,65,25,6.5 手写体数字识别项目实例,6.6 深度学习应用,习题,6.3深度神经网络,第六章 深度学习,6.3.1整体架构,of,65,26,深度神经网络发展到今天，学术界已经提出了多种网络模型，其中影响力较大的有以下几种：,卷积神经 网络,包含三种类型的层，分别是卷积层、下采样层及全连接层。通过卷积核与上一层输出进行卷积作为卷积层的输出，这样可以达到权值共享的目的；下采样是在卷积层的基础上，在一个固定区域中采样一个点，使得整个网络具有一定的缩放、平移及形变不变性。,深度置信 网络,由若干层受限玻尔兹曼机及一个反向传播网络组成。深度置信网络的训练过程分为两步，首先利用贪婪算法无监督地训练每一层受限玻尔兹曼机，然后将上一步训练得到的数据作为网络初始值，利用BP算法有监督地训练整个网络。,循环神经 网络,该网络与传统前馈网络的区别在于，隐层的输入不仅包括输入层的数据，还包括前一时刻的隐层数据。这种结构的网络能有效处理序列数据，如自然语言处理。,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,27,三个主要特点,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,28,局部感受区域,从大脑进行人脸识别的过程图可以看出，最底层是摄入的原始信息像素，往上逐渐组织形成一些边缘特征，再向上，边缘特征组合形成更有表现力的物体局部特征，如眼睛、耳朵等，到了最顶层，不同的高级特征组合起来，形成最终完整的人脸图像。,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,29,权值 共享,局部连接的卷积核会对全部图像数据进行滑动扫描，使得卷积层训练参数的数量急剧减少，提高了网络的泛化能力。此外，权值共享意味着一个卷积层中的神经元均在检测同一种特征，与所处位置无关，所以，具有平移不变性。,6.3深度神经网络,第六章 深度学习,6.3.2卷积神经网络,of,65,30,降采样,一般的做法是将前一层的局部区域值映射为单个数值，与卷积层不同的是，降采样区域一般不存在重叠现象。降采样简化了卷积层的输出信息，进一步减少了训练参数的数量，增强了网络的泛化能力。,6.3深度神经网络,第六章 深度学习,6.3.3深度置信网络,of,65,31,深度置信网络打破了深度神经网络难以训练的观点。,深度置信网络是一种生成模型，和传统神经网络相似，网络中存在若干隐藏层，并且同一隐藏层内的神经元没有连接，隐藏层间的神经元全连接。最上面两层间为无向连接，其中包含标签神经元，称为联合记忆层