2024/7/281第第5章章 信号和权值向量空间信号和权值向量空间5.1目标目标 从前面两章可以看出：将神经网络的输入，输出以及权值矩阵的行作为向量看待是非常有好处的。这一章将详细研究这些向量空间，并且复习一些对分析神经网络十分有用的向量空间性质。这里首先将从一般的定义开始，并将这些定义应用于特定的神经网络问题中。2024/7/2825.2 理论和实例理论和实例线性代数是理解神经网络所必需的数学知识的核心。本章将复习在神经网络中有关向量空间的一些基本概念（比如内积、正交性）。2024/7/2835.2.1线性向量空间线性向量空间定义：一个线性向量空间X是一组定义在标量域F上且满足如下条件的元素集合（向量）：1.一个称为向量加的操作定义为：如果 （x是X的一个元素）和 那么2.x+y=y+x 。 3.(x+y) +z= x+ (y+z)4.存在唯一一个称为零向量的向量 ，有：x+0=x2024/7/2845.对于每一个向量 ，在X中只有唯一一个被称为-x的向量，满足x+(-x)=0 。 6.一个称为向量乘的操作定义为：对所有 的标量，以及所有的向量 ，有 。7.对于任意的 和标量1，有1x=x 8.对于任意两个标量 和 ，以及任意的 ，有 。9. 10. 2024/7/2852024/7/286二维欧基里德空间 及其子集如图5-1所示的二维欧基里德空间 ，全部满足上述10个条件。 的子集，如图5-2方框内的区域X，不属于向量空间。 的子集，如图5-3中的直线X。可以证明直线上所有的点均满足上述的10个条件。但是，如果直线不经过坐标轴的原点，那么至少这种直线不能满足第4个条件。2024/7/287例：请证明一条经过原点的直线上点的集合构成了一个向量空间。2024/7/288除了标准的欧基里德空间之外，还有许多其他的集合同样满足向量空间的10个条件。例如最高阶数小于或者等于2的多项式集合P2。此集合的两个元素是： 2024/7/289多项式集合P2是否满足是向量空间呢？若将两个阶数小于或等于2的多项式相加，其结果仍然是一个阶数小于或等于2的多项式，集合P2 满足条件1。将一个标量和一个多项式相乘，不会改变其阶数，集合P2 满足条件6。显然，验证集合P2 满足上述的10个条件并不是一件难事。2024/7/28105.2.2 线性无关线性无关线性相关线性相关如果对n个向量 而言，存在n个标量 这n个标量中，至少有一个是非零的，满足 （5.4）那么 是线性相关的。线性无关线性无关如果对n个向量 ，当且仅当每个 等于零的情况下，上式才成立，那么称 是线性无关的。2024/7/2811线性无关的实例，比如第三章中的模式识别问题。两个标准模式（橘子和苹果）由如下两个向量表示：2024/7/2812在式（5.6）只有当 时成立。所以线性无关。再考虑阶数小于等于2的多项式空间 中的向量。设该空间中的三个向量分别是：如果令 ，那么所以，这三个向量线性相关。2024/7/28135.2.3生成空间生成空间2024/7/2814维数：一个向量空间的维数是由生成该空间所需要的最少向量个数决定的。基集：X的基集是由生成X的线性无关的向量所组成的集合。任何基集包含了生成空间所需要的最少个数的向量。以线性空间P2为例，该空间的一个可能的基是任何一个阶数小于或等于2的多项式都可以通过这三个向量的线性组合表示。但请注意，P2中的任意三个线性无关的向量都可以组成该空间的一个基。比如该空间的基也可以是：2024/7/28155.2.4内积内积内积是许多神经网络操作的基础。这里将给出内积的一般定义。2024/7/2816上述对于内积的定义并不是唯一的内积形式。比如，对定义在0，1区间内所有连续函数的集合C 0，1而言，下面给出的标量函数（5.12）就是它的一种内积形式。2024/7/28175.2.5 范数范数范数是一个基于向量长度概念的操作。如果一个标量函数 满足以下一些性质，则称其为范数： 实际上，有很多函数都可以满足上述条件。一个普通的范数是基于内积按如下方式定义的：2024/7/28182024/7/28195.2.6 正交性正交性2024/7/2820Gram-Schmidt正交化方法线性无关和正交性是相互联系的。可以将线性无关向量集合转换为一个正交向量集合，而且两者所生成的向量空间是相同的。这个标准的转换过程被称为Gram-Schmidt正交化方法。2024/7/28212024/7/28222024/7/28232024/7/28245.2.7 向量展开式向量展开式2024/7/28252024/7/28262024/7/28272024/7/28282024/7/28292024/7/28302024/7/28312024/7/28322024/7/2833