矩阵的分解汇总矩阵的分解汇总1目录目录n n三角分解(LU分解)n nCholesky分解n n满秩分解n n矩阵的QR分解n n矩阵的奇异值分解n n矩阵的谱分解 2三角分解三角分解(LU分解分解)n n矩阵的三角分解主要是用来解方程组Ax=b.n n 如果A=LU,其中L为下三角，U为上三角，则方程组Axb等价于Ly=b,Ux=y.3n n若下三角矩阵L是单位下三角矩阵，称ALU为Doolittle分解；n n若上三角矩阵U是单位上三角矩阵，称A=LU为Crout分解n n矩阵分解A=LDU，其中，L为单位下三角矩阵，U为单位上三角矩阵。4Cholesky分解分解n nA是实的对称正定矩阵（或者复Hermite正定矩阵），n n则存在唯一的下三角阵G，使得A=GGT,其中，G的对角元全正。这种分解称为矩阵A的Cholesky分解。5678满秩分解满秩分解91011121314n n在求矩阵的满秩分解的过程中，要求矩阵的逆，这比较麻烦n n我们将介绍矩阵的Hermit标准形，用它来求矩阵的满秩分解比较方便。15矩阵的矩阵的Hermite标准形标准形1617181920212223242526矩阵的矩阵的QR分解分解n n矩阵QR分解在求解最小二乘问题、特征值问题等方面具有很重要的运用。n nQR分解也叫正交三角分解。n n本节我们介绍三种求QR分解的方法Schmidt正交化方法、Householder 变换法、Givens变换法。27矩阵的正交三角分解（矩阵的正交三角分解（QR分解）分解）2829Householder变换求变换求QR分解分解n n我们先介绍Householder变换的性质n n如何利用Householder变换求矩阵的QR分解30Householder变换变换3132333435363738394041424344Givens变换与正交三角分解变换与正交三角分解45464748495051525354555657Schmidt正交化方法求正交化方法求QR分解分解58596061626364656667686970717273Schur分解与正规矩阵 SchurSchur定理：设数定理：设数 A A为为n n阶方阵阶方阵 ，则存在正交，则存在正交矩阵（酉矩阵）矩阵（酉矩阵）Q Q，使，使7475n n我们已经知道，对称矩阵可以正交相似对角化n n由Schur定理，对于一般矩阵，正交相似变换后能化成上三角矩阵n n对于什么样的矩阵，能够正交相似于一个对角矩阵了？76正规矩阵正规矩阵n nn阶方阵A ，若满足AAH=AHA ，则A为正规矩阵。（实矩阵：AH=AT，）n n显然，实对称矩阵、实反对称矩阵、正交矩阵均为正规矩阵；n n 复Hermite矩阵、反Hermite矩阵、酉矩阵均为正规矩阵。77定理：定理：n n阶方阵阶方阵A A，正交（酉）相似于对角阵的充要条，正交（酉）相似于对角阵的充要条件是：件是： A A为正规阵。为正规阵。 证明证明 由由SchurSchur引理：存在正交（酉）矩阵引理：存在正交（酉）矩阵U U使得使得 7879充分性充分性: :已知已知A A为正规阵，即为正规阵，即A AH HA=AAA=AAH H，8081828384必要性：已知存在正交（酉）矩阵必要性：已知存在正交（酉）矩阵U U使使 8586说明：（说明：（1 1）不能酉对角化的矩阵仍有可能采用其）不能酉对角化的矩阵仍有可能采用其它可逆变换将其对角化，例如它可逆变换将其对角化，例如A A不是正规矩阵不是正规矩阵 A A具有两个不同的特征值具有两个不同的特征值1 1，3 3 ，所以可以相似变换对角，所以可以相似变换对角化。但不能正交相似对角化。化。但不能正交相似对角化。87（2 2）实正规矩阵一般不能通过正交相似变换对角化。）实正规矩阵一般不能通过正交相似变换对角化。（若特征值全为实数，则可正交相似对角化）（若特征值全为实数，则可正交相似对角化）特征值为特征值为 1 12i,1-2i,1-2i2iA A是实正规矩阵，但不可能正交对角化，但是实正规矩阵，但不可能正交对角化，但可以酉相似对角化可以酉相似对角化 88（3 3）实对称矩阵可以通过正交相似变换对角化。）实对称矩阵可以通过正交相似变换对角化。（4 4）实对称矩阵，复）实对称矩阵，复HermiteHermite矩阵的特征值都是实的。矩阵的特征值都是实的。899091n n实对称矩阵的谱分解和实对称矩阵的谱分解和HermiteHermite矩阵的矩阵的谱分解最常用。谱分解最常用。92矩阵的奇异值分解矩阵的奇异值分解n n奇异值分解在最佳逼近、最优化、广义逆、特征值问题的计算等方面具有广泛的应用。n n矩阵的奇异值分解（Singular Value Decomposition）也叫矩阵的SVD分解n n只有方阵才有特征值的概念，对于长方形阵，我们引入奇异值的概念。939495(2)的证明是后面一个引理的直接推论。的证明是后面一个引理的直接推论。96979899100101102矩阵的奇异值分解定理矩阵的奇异值分解定理103104105106107108109110111112113114115n n对称矩阵的特征值与奇异值有什么关系？n n反对称矩阵的特征值与奇异值有什么关系？n n正交矩阵的特征值与奇异值有什么关系？n n正规矩阵的特征值与奇异值有什么关系？n n一般方阵的特征值与奇异值有什么关系？116 矩阵谱分解主要内容：主要内容：一、单纯形矩阵的谱分解一、单纯形矩阵的谱分解二、二、正规矩阵与酉对角化正规矩阵与酉对角化三、正规矩阵的谱分解三、正规矩阵的谱分解117左特征向量左特征向量n n给定给定给定给定n n阶矩阵阶矩阵阶矩阵阶矩阵A A， 是是是是A A的特征值。由于的特征值。由于的特征值。由于的特征值。由于A AT T与与与与A A有相同的有相同的有相同的有相同的特征值，设特征值，设特征值，设特征值，设Y Y是是是是A AT T的属于的属于的属于的属于 的特征向量，则的特征向量，则的特征向量，则的特征向量，则称称YT是是A的属于的属于 的的左特征向量左特征向量，也称也称A的属于的属于 的特征向量为右特征向量的特征向量为右特征向量.两端取转置得：两端取转置得：一、单纯形矩阵的谱分解一、单纯形矩阵的谱分解118设设A是是 n阶单纯矩阵，阶单纯矩阵， 1, 2, , n 是是A 的的n个不个不同特征值，同特征值，x1,x2, ,xn是是A的的n个线性无关的个线性无关的特征特征向量，向量，P=(x1,x2, ,xn),则则:这表明这表明AT也与对角矩阵相似，故也与对角矩阵相似，故AT也是单纯矩阵也是单纯矩阵其中其中性质性质:单纯矩阵不同特征值的左右特征向量是正交的单纯矩阵不同特征值的左右特征向量是正交的以矩阵特征值的代数重复度都为以矩阵特征值的代数重复度都为1为例加以证明为例加以证明:119设设y y1 1, ,y y2 2, , ,y yn n是是A AT T的的n n个线性无关的个线性无关的特征向量特征向量. .则则( y1,y2, ,yn ) = (PT )-1 = (P-1 ) T从而从而120即：即：121对于单纯矩阵对于单纯矩阵A A（矩阵特征值的代数重复度都为矩阵特征值的代数重复度都为1），-矩阵矩阵A A的谱分解的谱分解即单纯矩阵即单纯矩阵A分解成分解成n个矩阵个矩阵Ai之和的形式，其系数组合是之和的形式，其系数组合是A的的谱谱（所有相异的特征值）。（所有相异的特征值）。由由122则则对于对于 有下面的性质：有下面的性质：123（2 2）124例例1 1 求矩阵求矩阵A A的谱分解的谱分解由由得得设设A的的左左特征向量为特征向量为125则则因为因为 满足满足可解得可解得从而从而126单纯矩阵单纯矩阵A A的谱分解定理的谱分解定理设单纯矩阵设单纯矩阵 的谱为的谱为 ，则存在唯一的则存在唯一的其代数重数分为其代数重数分为 使使2设设n阶单纯矩阵特征值的代数重复度不全为阶单纯矩阵特征值的代数重复度不全为1127谱分解定理的证明谱分解定理的证明设设对于特征值对于特征值 i i ， x x1 1i i, ,x x2 2i i, , ,x xmimii i是是A A的相应的的相应的m mi i个线性无关的右个线性无关的右特征向量，特征向量， 是是A A的的相应的相应的m mi i个线性无关的左个线性无关的左特征向量特征向量128记记从而从而129再由再由可得可得130则则同时同时131例例2：求单纯矩阵：求单纯矩阵的谱分解的谱分解由矩阵由矩阵A A的特征多项式的特征多项式得得A A的特征值的特征值及相应的线性无关的特征向量及相应的线性无关的特征向量为为设设 对应的左特征向量为对应的左特征向量为则由则由得得132同理得：同理得：则则从而从而1331 1、正规矩阵定义：、正规矩阵定义：n n下列类型的矩阵都是正规矩阵：下列类型的矩阵都是正规矩阵：下列类型的矩阵都是正规矩阵：下列类型的矩阵都是正规矩阵：n n实对称矩阵实对称矩阵实对称矩阵实对称矩阵 A AT T= =A A; ;n n反实对称矩阵反实对称矩阵反实对称矩阵反实对称矩阵 A AT T=-=-A A; ;n n正交矩阵正交矩阵正交矩阵正交矩阵 A AT T= =A A- -1 1; ;n n酉矩阵酉矩阵酉矩阵酉矩阵 A AH H= =A A- -1;1;n nHermiteHermite矩阵矩阵矩阵矩阵 A AH H= =A A; ;n n反反反反HermiteHermite矩阵矩阵矩阵矩阵 A AH H=-=-A A; ;n n对角矩阵对角矩阵对角矩阵对角矩阵设设满足满足二、二、正规矩阵与酉对角化正规矩阵与酉对角化1342 2、酉相似、酉相似1353 3、Schur Schur 定理定理（1 1）任意复方阵酉相似于一个上三角矩阵。即）任意复方阵酉相似于一个上三角矩阵。即136Schur Schur 定理定理（2 2）任意实方阵正交相似于一个上三角矩阵。即）任意实方阵正交相似于一个上三角矩阵。即137引理引理 正规上三角矩阵是对角矩阵正规上三角矩阵是对角矩阵n n证明证明证明证明 设设设设n n n n阶矩阵阶矩阵阶矩阵阶矩阵A A A A是正规上三角矩阵，则是正规上三角矩阵，则是正规上三角矩阵，则是正规上三角矩阵，则138比较等式两边，可得比较等式两边，可得139定理定理 ，则，则A A酉相似于一个对角矩阵的充酉相似于一个对角矩阵的充分必要条件是分必要条件是A A为正规矩阵，即为正规矩阵，即证明证明 必要性必要性140充分性充分性n n由由由由schurschurschurschur定理知，定理知，定理知，定理知，A A A A酉相似于一个上三角矩阵酉相似于一个上三角矩阵酉相似于一个上三角矩阵酉相似于一个上三角矩阵T T T T，141正规矩阵的性质：正规矩阵的性质：1 1、正规矩阵有、正规矩阵有n n个线性无关的特征向量；个线性无关的特征向量；2 2、正规矩阵属于不同特征值的特征向量是正交的；、正规矩阵属于不同特征值的特征向量是正交的；3 3、与正规矩阵酉相似的矩阵都是正规矩阵。、与正规矩阵酉相似的矩阵都是正规矩阵。142解解 显然显然A A满足满足求得对应的线性无关特征向量求得对应的线性无关特征向量例例3 3 判断判断A A是否为正规矩阵，如果是，将其酉对角化是否为正规矩阵，如果是，将其酉对角化即即A A是是HermiteHermite矩阵，从而是正规阵矩阵，从而是正规阵由由得得A A的特征值的特征值143即酉变换矩阵为即酉变换矩阵为 则则 经过验证它们两两正交。经过验证它们两两正交。因此，只需将它们单位化得：因此，只需将它们单位化得：实际上，对于正规矩阵来说，属于不同特征值的特征向实际上，对于正规矩阵来说，属于不同特征值的特征向量相互正交。量相互正交。144三、正规矩阵的谱分解三、正规矩阵的谱分解设设 的谱为的谱为 ，则则A为正规矩阵的充要条件是存在唯一的为正规矩阵的充要条件是存在唯一的其代数重数分为其代数重数分为 一组一组正交投影矩阵正交投影矩阵使使145例例5、求正规矩阵、求正规矩阵的谱分解的谱分解由矩阵由矩阵A A的特征多项式的特征多项式得得A A的特征值的特征值相应的线性无关的特征向量为相应的线性无关的特征向量为对于对于相应的特征向量为相应的特征向量为对于对于将将x1,x2,x3标准正交化得：标准正交化得：146将将x4标准化标准化记记则则练习练习: P94 15, 16, 18 147148 刚才的发言，如刚才的发言，如有不当之处请多指有不当之处请多指正。谢谢大家！正。谢谢大家！149