DRAFT编译时间：2015-12-1122:00神经网络与深度学习讲义Notes on Artificial NeuralNetworks and Deep Learning邱锡鹏 xpqiufudan.edu.cn2015年12月11日DRAFT编译时间：2015-12-1122:00目录第一章绪论11.1总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2第二章数学基础32.1向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32.1.1向量的模. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32.1.2向量的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32.2矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42.3矩阵的基本运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42.3.1常见的矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52.3.2矩阵的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .52.4导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62.4.1常见的向量导数. . . . . . . . . . . . . . . . . . . . . . . . . . . .62.4.2导数法则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62.5常用函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72.5.1logistic函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72.5.2softmax函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72.6总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9第三章机器学习概述103.1机器学习概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10DRAFT编译时间：2015-12-1122:00II目录3.1.1损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .123.1.2机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . . . .133.1.3机器学习中的一些概念 . . . . . . . . . . . . . . . . . . . . . . . . .143.1.4参数学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .163.2线性回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183.3线性分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .203.3.1两类分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .203.3.2多类线性分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223.4评价方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .263.5总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27第四章感知器284.1两类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .294.1.1感知器学习算法. . . . . . . . . . . . . . . . . . . . . . . . . . . .294.1.2收敛性证明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .304.2多类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .324.2.1多类感知器的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . .344.3投票感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .354.4总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36第五章人工神经网络385.1神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .395.1.1激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .395.2前馈神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .415.2.1前馈计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .415.3反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .425.4梯度消失问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .455.5训练方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .465.6经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46邱锡鹏：神经网络与深度学习讲义http:/nlp.fudan.edu.cn/dl-book/DRAFT编译时间：2015-12-1122:00目录III5.7总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47第六章卷积神经网络486.1卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .486.1.1一维场合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .486.1.2两维场合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .496.2卷积层：用卷积来代替全连接 . . . . . . . . . . . . . . . . . . . . . . . . .496.3子采样层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .526.4卷积神经网络示例：LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . .536.5梯度计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .546.5.1卷积层的梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .556.5.2子采样层的梯度. . . . . . . . . . . . . . . . . . . . . . . . . . . .566.6总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56第七章循环神经网络577.1简单循环网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .587.1.1梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .597.1.2改进方案. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .607.2长短时记忆神经网络：LSTM . . . . . . . . . . . . . . . . . . . . . . . . .617.3门限循环单元：GRU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .617.4总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62参考文献63索引65邱锡鹏：神经网络与深度学习讲义http:/nlp.fudan.edu.cn/dl-book/DRAFT编译时间：2015-12-1122:00第一章绪论一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的。 Alan Turing 1950， 机器能思维吗？ 让机器具备智能是人们长期追求的目标， 但是关于智能的定义也十分模糊。 Alan Tur-ing在