线性代数（三）——矩阵操作和属性_矩阵ta=at

3 Operations and Properties(矩阵的操作和属性)

原文PDF下载地址：https://download.csdn.net/download/a794922102/11109742

3.1 The Identity Matrix(单位矩阵) and Diagonal Matrices(对角矩阵)

• 单位矩阵：对角线元素都为1，其他都为0

  任何矩阵与单位矩阵相乘都为自身，且单位矩阵满足交换律

• 对角矩阵：对角线元素都为非零，其他都为0

  其中，如果对角矩阵的对角线元素都为1，则该对角矩阵也是单位矩阵

3.2 The Transpose(矩阵的转置)

矩阵的转置：翻转矩阵的行和列

转置满足以下性质：

• $(A^T{)}^T=A$
• $(AB{)}^T=B^T{A}^T$
• $(A+B{)}^T=A^T+B^T$

3.3 Symmetric Matrices(对称矩阵)

如果方阵满足$A=A^T$，则方阵A为对称矩阵，如果方阵满足$A=-A^T$,则矩阵A为反对称矩阵。

我们可以发现$A+A^T$必定是对称矩阵，$A-A^T$必定是反对称矩阵，所有可以得出

任何方阵都可以表示为对称矩阵与反对称矩阵的和：$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$

通常我们用$A\in {\mathbb{S}}^n$，表示A是一个$n\times n$的矩阵

3.4 The Trace(矩阵的迹)

在方阵A中，方阵A的迹，记为$tr(A)$。方阵的迹为方阵对角线元素的和，如下所示：
$$tr(A)=\sum _{i=1}^n{A}_{ii}$$
方阵的迹有如下属性：

• 对于$A\in {\mathbb{R}}^{n\times n}$，$tr(A)=tr(A^T)$
• 对于$A,B\in {\mathbb{R}}^{n\times n}$，$tr(A+B)=tr(A)+tr(B)$
• 对于$A\in {\mathbb{R}}^{n\times n},x\in \mathbb{R}$，$tr(xA)=xtr(A)$
• 对于$A,B$有$AB$为方阵，则$tr(AB)=tr(BA)$
• 对于$A,B,C$有$ABC$为方阵，则$tr(ABC)=tr(BCA)=tr(CAB)$,依次类推

3.5 Norms(范数)

向量的范数是一种非真实的量表示向量的"长度”，例如我们常用的$l_2$范式$||x|{|}_2=\sqrt{{\sum }_{i=1}^n{x}_i^2}$ ，注意：$||x|{|}_2^2=x^{T}x$.

通常来说，范数是任意的$f:{\mathbb{R}}^n\to \mathbb{R}$函数，且满足以下四个条件：

• 对于任意$x\in {\mathbb{R}}^n$，有$f(x)\ge 0$(非负性)
• 如果$f(x)=0$，当且仅当 $x=0$(确定性)
• 对于任意$x\in {\mathbb{R}}^n，t\in \mathbb{R}$，有$f(tx)=|t|f(x)$(一致性)
• 对于任意$x，y\in {\mathbb{R}}^n$，有$f(x+y)\le f(x)+f(y)$(三角不等式)

$l_1$范数：$||x|{|}_1={\sum }_{i=1}^n|x_i|$

$l_{\infty }$范数：$||x|{|}_{\infty }=ma{x}_i|x{|}_i$

$l_p$范数：$||x|{|}_p=({\sum }_{i=1}^n{|x_i|}^p{)}^{\frac{1}{p}}$(p大于等于1)

同理我们也可以定义矩阵的范数，如Frobenius范数(F-范数)
$$||A|{|}_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}^2}=\sqrt{tr(A{A}^T)}$$

3.6 Linear Independence and Rank(线性无关和秩)

矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为线性无关或线性独立(linearly independent)，反之称为线性相关(linearly dependent)。

秩的相关属性：

• 对于$A\in {\mathbb{R}}^{m\times n}，rank(A)\le min(n,m)$，如果$rank(A)=min(n,m)$，则称A是满秩的。
• 对于$A\in {\mathbb{R}}^{m\times n}，rank(A)=rank(A^T)$
• 对于$A\in {\mathbb{R}}^{m\times n}，B\in {\mathbb{R}}^{n\times p}，rank(AB)\le min(rank(A),rank(B))$
• 对于$A,B\in {\mathbb{R}}^{m\times n}，rank(A+B)\le rank(A)+rank(B)$

3.7 The Inverse(矩阵的逆)

对于方阵$A\in {\mathbb{R}}^{n\times n}$的逆记为$A^{-1}$，有$A^{-1}A=I=A{A}^{-1}$

请注意，不是所有的矩阵都存在逆，例如：根据定义非方阵的矩阵不存逆，并且对于某些方阵而言，也没有逆。如果矩阵的逆存在，则称这个矩阵是"可逆的"或"非奇异的"。

我们可以发现，如果矩阵A可逆，则A必须满秩。

假设$A,B$是非奇异的(可逆的)，且$A,B\in {\mathbb{R}}^{n\times n}$，则有以下属性：

• $(A^{-1}{)}^{-1}=A$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$
• $(A^{-1}{)}^T=(A^T{)}^{-1}$，也可被记为：$A^{-T}$

3.8 Orthogonal Matrices(正交矩阵)

对于两个向量$x,y\in {\mathbb{R}}^n$，若$x^{T}y=0$，则称$x,y$正交。如果$||x|{|}_2=1$，则称$x$是标准化的(归一化)。

对于方阵$U\in {\mathbb{R}}^{n\times n}$，方阵中的列向量相互正交且归一化，则方阵$U$是正交矩阵，且我们可以得出：
$$U^{T}U=I=U{U}^T$$
从另一方面来说，正交矩阵的逆是它自身的转置。注意：如果$U\in {\mathbb{R}}^{m\times n}$($U$不是方阵，且$n<m$)，而$U$的列依旧相互正交，则$U^{T}U=I̸=U{U}^T$。我们通常只用正交来描述，$U$是方阵时的情况。

正交矩阵的一个好处是：在具有在正交矩阵的向量上操作，不会改变其$l_2$范数，即：
$$||Ux|{|}_2=||x|{|}_2$$
$U$为正交方阵，$x$为n维列向量。

3.9 Range and Nullspace of a Matrix(矩阵值域和零空间)

向量集合的张成（span）是指，这个集合中的所有向量都能被，这个集合中的向量进行线性表示。

可以发现，如果这个向量集合有n个线性无关的向量(其中$x_i\in {\mathbb{R}}^n$)，则 s p a n ( { x 1 , x 2 , ⋯ &ThinSpace; , x n } ) = R n span(\{x_1,x_2,\cdots,x_n\})=\mathbb{R}^{n} span({x1​,x2​,⋯,xn​})=Rn.

从另一方面来说，对于任意的向量$v\in {\mathbb{R}}^n$，都能够写成 { x 1 , x 2 , ⋯ &ThinSpace; , x n } \{x_1,x_2,\cdots,x_n\} {x1​,x2​,⋯,xn​}向量集合的线性表示。

将向量$y\in {\mathbb{R}}^n$投影至 { x 1 , x 2 , ⋯ &ThinSpace; , x n } \{x_1,x_2,\cdots,x_n\} {x1​,x2​,⋯,xn​}的张成（span）之上(这里我们假设$x_i\in {\mathbb{R}}^n$)的向量是 v ∈ s p a n ( { x 1 , x 2 , ⋯ &ThinSpace; , x n } ) v \in span(\{x_1,x_2,\cdots,x_n\}) v∈span({x1​,x2​,⋯,xn​})，在$l_2$范数的距离上，向量$v$将尽可能的接近向量$y$，即$||v-y|{|}_2$要尽可能的小。我们将投影（projection）记为 P r o j ( y ; { x 1 , x 2 , ⋯ &ThinSpace; , x n } ) Proj(y;\{x_1,x_2,\cdots,x_n\}) Proj(y;{x1​,x2​,⋯,xn​})，并且投影的定义如下：
P r o j ( y ; { x 1 , x 2 , ⋯ &ThinSpace; , x n } ) = a r g m i n v ∈ s p a n ( { x 1 , x 2 , ⋯ &ThinSpace; , x n } ) ∣ ∣ y − v ∣ ∣ 2 Proj(y;\{x_1,x_2,\cdots,x_n\})=argmin_{v \in span(\{x_1,x_2,\cdots,x_n\})}||y-v||_2 Proj(y;{x1​,x2​,⋯,xn​})=argminv∈span({x1​,x2​,⋯,xn​})​∣∣y−v∣∣2​
矩阵$A\in {\mathbb{R}}^{m\times n}$的值域(也称为列空间)，记作$R(A)$，矩阵A的值域是由矩阵A的列所张成（span）。记为：
R ( A ) = { v ∈ R m : v = A x , x ∈ R n } R(A)=\{v \in \mathbb{R}^m:v=Ax,x \in \mathbb{R}^n \} R(A)={v∈Rm:v=Ax,x∈Rn}
若假设矩阵A是满秩且n<m，那么向量$y\in {\mathbb{R}}^m$在矩阵A值域上的投影如下：
P r o j ( y ; { x 1 , x 2 , ⋯ &ThinSpace; , x n } ) = a r g m i n v ∈ R ( A ) ∣ ∣ y − v ∣ ∣ 2 = A ( A T A ) − 1 A T y Proj(y;\{x_1,x_2,\cdots,x_n\})=argmin_{v \in R(A)}||y-v||_2=A(A^TA)^{-1}A^Ty Proj(y;{x1​,x2​,⋯,xn​})=argminv∈R(A)​∣∣y−v∣∣2​=A(ATA)−1ATy
如果矩阵A只有一个列向量($a\in {\mathbb{R}}^m$)的特殊情况下，y在一个列向量的线投影如下：
$$Proj(y:a)=\frac{a{a}^T}{a^{T}a}y$$
矩阵$A\in {\mathbb{R}}^{m\times n}$的零空间，记作$N(A)$，这表示所有的向量乘以矩阵A时都为0，记作：
N ( A ) = { x ∈ R n : A x = 0 } N(A)=\{x \in \mathbb{R}^n:Ax=0 \} N(A)={x∈Rn:Ax=0}
需要注意的是向量在$R(A)$的维度是$m$，在$N(A)$中的维度是$n$.所以$R(A^T)$和$N(A)$都是属于${\mathbb{R}}^n$。实际上
{ w : w = u + v , u ∈ R ( A T ) , v ∈ N ( A ) } = R n   a n d   R ( A T ) ∩ N ( A ) = { 0 } \{w:w=u+v,u\in R(A^T),v \in N(A) \}=\mathbb{R}^n\ and \ R(A^T) \cap N(A)=\{0\} {w:w=u+v,u∈R(AT),v∈N(A)}=Rn and R(AT)∩N(A)={0}
换句话说，$R(A^T)$和$N(A)$是两个交集为空，并集为${\mathbb{R}}^n$空间，这种集合我们称为正交补集合，记为：$R(A^T)=N(A{)}^{\perp }$

3.10 The Determinant(行列式)

方阵$A\in {\mathbb{R}}^{n\times n}$的行列式是一个由${\mathbb{R}}^{n\times n}$到$\mathbb{R}$的函数，我们记为$|A|$或者$detA$。虽然我们可以用代数公式来直接表示这个行列式，但是这个表达式对矩阵并没有任何直接意义。所有我们先解释行列式的几何意义，再研究它的特殊代数性质。

给一个这样的矩阵：
[ — a 1 T — — a 2 T — ⋮ — a n T — ] \left[

$$\begin{matrix} —&amp;a_1^T&amp;—\\ —&amp;a_2^T&amp;—\\ &amp;\vdots&amp;\\ —&amp;a_n^T&amp;— \end{matrix}$$ \right] ⎣⎢⎢⎢⎡​———​a1T​a2T​⋮anT​​———​⎦⎥⎥⎥⎤​
考虑由矩阵A中的向量$a_1,\cdots ,a_n\in {\mathbb{R}}^n$所有可能的线性组合构成的点集合$S\subset {\mathbb{R}}^n$，其中线性组合的系数都在0和1之间。也就是说$S$被限制于 s p a n ( { a 1 , a 2 , ⋯ &ThinSpace; , a n } ) span(\{a_1,a_2,\cdots,a_n\}) span({a1​,a2​,⋯,an​})的系数为0到1的线性组合。写作：
S = { v ∈ R n : v = ∑ i = 1 n α i a i , 当 且 仅 当 0 ≤ α i ≤ 1 , i = 1 , ⋯ &ThinSpace; , n } S = \{v \in \R^n:v=\sum^n_{i=1} \alpha_i a_i,当且仅当 0\leq \alpha_i\leq1,i=1,\cdots,n \} S={v∈Rn:v=i=1∑n​αi​ai​,当且仅当0≤αi​≤1,i=1,⋯,n}
事实证明，矩阵Ade行列式$|A|$的绝对值，是对集合$S$的"体积"的度量。

例如，给出一个$2\times 2$的矩阵：
A = [ 1 3 3 2 ] A =\left[

$$\begin{matrix} 1&amp;3\\ 3&amp;2\\ \end{matrix}$$ \right] A=[13​32​]
则组成矩阵的列向量
$$a_1=\left[\begin{array}{c}1\\ 3\end{array}\right],a_2=\left[\begin{array}{c}3\\ 2\end{array}\right]$$
对于二维矩阵，点集S通常组成平行四边形，如下图所示。其中阴影部分的面积为7，而$|A|=-7$

在三维矩阵中，点集合S组成的形状为平行六面体，而平行六面体的体积恰好对应了三维矩阵的行列式的绝对值。在更高的维度中，点集合S组成是一个n维的超平行体。

在代数上行列式满足以下三个基本属性：

1. 单位矩阵的行列式值为1，$|E|=1$(在几何上，超立方体的体积为1)

2. 给定一个矩阵$A\in {\mathbb{R}}^{n\times n}$,如果我们给矩阵A的其中一行乘以一个标量$t\in \mathbb{R}$，则行列的值为$t|A|$。
   ∣ [ — t a 1 T — — a 2 T — ⋮ — a n T — ] ∣ = t ∣ A ∣ \left| \left[

   $$\begin{matrix} —&amp;ta_1^T&amp;—\\ —&amp;a_2^T&amp;—\\ &amp;\vdots&amp;\\ —&amp;a_n^T&amp;— \end{matrix}$$ \right] \right| = t|A| ∣∣∣∣∣∣∣∣∣​⎣⎢⎢⎢⎡​———​ta1T​a2T​⋮anT​​———​⎦⎥⎥⎥⎤​∣∣∣∣∣∣∣∣∣​=t∣A∣
   (几何上，点集合S的某条表乘以系数t，会导致体积变为t倍)

3. 如果我们交换矩阵A中的任意的两行$a_i^T$和$a_j^T$，这个变化后的矩阵的行列式的值变为原来的负数，即$-|A|$

由以上结论我们得到以下推论：

• 对于$A\in {\mathbb{R}}^{n\times n},|A|=|A^T|$

• 对于$A,B\in {\mathbb{R}}^{n\times n},|AB|=|A||B|$

• 对于$A\in {\mathbb{R}}^{n\times n}$并且$A$是可逆的，$|A^{-1}|=1/|A|$

• 对于$A\in R^{n\times n},|A|=0$当且仅当A是不可逆的。(如果A是不可逆的，则A不是满秩且列向量是线性相关的，对于集合S来说这对应与n维空间中的"平面"，所以体积为0)

  （后面有关行列式的计算公式，太简单了省略）

3.11 Quadratic Forms and Positive Semidefinite Matrices(二次型和半正定矩阵)

给定一个矩阵$A\in {\mathbb{R}}^{n\times n}$并且，一个向量$x\in {\mathbb{R}}^n$,当$x^{T}Ax$是一个标量（常数）时，我们称为二次型。写作：
$$x^{T}Ax=\sum _{i=1}^n{x}_i(Ax{)}_i=\sum _{i=1}^n{x}_i(\sum _{j=1}^n{A}_{ij}{x}_i)=\sum _{i=1}^n\sum _{j=1}^n{A}_{ij}{x}_i{x}_j$$
也写作：
$$x^{T}Ax=(x^{T}Ax{)}^T=x^T{A}^{T}x=x^T(\frac{1}{2}A+\frac{1}{2}{A}^T)x$$
证明：
$$\begin{gathered} \because x^{T}Ax是常量,则常量的转置等于常量本身 \\ \therefore x^{T}Ax=(x^{T}Ax{)}^T=x^T{A}^{T}x \\ \therefore x^{T}Ax+x^T{A}^{T}x=2x^{T}Ax \\ \therefore x^{T}Ax=(x^{T}Ax{)}^T=x^T{A}^{T}x=x^T(\frac{1}{2}A+\frac{1}{2}{A}^T)x \end{gathered}$$
由此我们得出结论，只有矩阵A为对称的才有助于形成二次型。因此我们经常隐性的假定以二次型出现的矩阵是对称矩阵。

我们给出以下定义：

• 对称矩阵A是正定（PD），则对于所有的非零向量$x\in {\mathbb{R}}^n，x^{T}Ax>0$，这通常被写作$A\succ 0$(或者$A>0$)，对于所有的正定矩阵都被写作${\mathbb{S}}_{++}^n$
• 对称矩阵A是半正定(PSD)，则对于所有的向量$x^{T}Ax\ge 0$.这被写作$A\succcurlyeq 0$(或者 $A\ge 0$)，对于所有的半正定矩阵都被写作${\mathbb{S}}_{+}^n$
• 对称矩阵A是负定(ND)，则对于所有的非零向量$x\in {\mathbb{R}}^n$,$x^{T}Ax<0$.这被写作$A\prec 0$(或者 $A<0$).
• 对称矩阵A是半负定(NSD)，则对于所有的向量$x\in {\mathbb{R}}^n$,$x^{T}Ax\le 0$.这被写作$A\preccurlyeq 0$(或者 $A\le 0$).
• 对称矩阵A是不定，则既不是正半定也不是负半定，即:存在$x_1,x_2\in R^n$,使得$x_1^{T}A{x}_1>0，x_2^{T}A{x}_2$

很明显，如果A是正定的，那么−A是负定的，反之亦然。同样，如果A是正半定的，那么−A是负半定的，反之亦然。如果A不确定，那么−A也是。

正定矩阵和负定矩阵的一个重要性质是它们总是满秩，因此是可逆的（如果不是满秩的，则其中存在一个列向量，能由其他列向量线性表示,即$a_j={\sum }_{i̸=j}{x}_i{a}_i$.那我们可找到一个列向量$x$使$Ax=0$，则存在$x^{T}Ax=0$，所有不是正定、负定）。

最后，有一类常出现的正定矩阵，值得特别注意。给一个任意矩阵$A\in {\mathbb{R}}^{m\times n}$(不一定是正定的或者方阵)，矩阵$G=A^{T}A$(有时称矩阵G为格拉姆矩阵)总是半正定的。此外，如果$m\ge n$(为了方便我们假设A是满秩的)，那么G是正定的。

3.12 Eigenvalues and Eigenvectors(特征值和特性向量)

给定一个方阵$A\in {\mathbb{R}}^{n\times n}$,如果
$$AX=\lambda x,x̸=0$$
$\lambda \in \mathbb{C}$是矩阵A的特征值，$x\in {\mathbb{C}}^n$是矩阵A的特征向量。

直观地说，这个定义意味着将$A$乘以向量$x$会得到一个新的向量，该向量指向与x相同的方向，但按系数$\lambda$缩放。也要注意对于任意的特征向量$x\in {\mathbb{C}}^n$和标量$t\in \mathbb{C}$，$A(cx)=cAx=c\lambda x=\lambda (cx)$,所以$cx$也是特征向量。因此，当我们讨论与$\lambda$相关的“特征向量”时，我们通常假设特征向量标准化为长度1(这仍然会造成一些歧义，因为长度为1的向量$x$和$-x$都是特征向量)

我们可以重写上的等式来求解特征向量：
$$(\lambda I-A)x=0,x̸=0$$
而$(\lambda I-A)x=0$有非零解向量$x$，只有当且仅当$(\lambda I-A)$有非空的零空间。所以等价于$(\lambda I-A)x$是非奇异的(不可逆的)，即：
$$|(\lambda I-A)|=0$$
以下为特征值的性质：

• 矩阵A的迹等于特征值的和
  $$trA=\sum _{i=1}^n{\lambda }_i$$

• 矩阵A的行列式等于特征值的乘积
  $$|A|=\prod _{i=1}^n{\lambda }_i$$

• 矩阵A的秩等于非零特征值的个数

• 如果A可逆，那么$1/\lambda$是矩阵$A^{-1}$的特征值，以及相关的特征向量，即$A^{-1}{x}_i=(1/{\lambda }_i)x_i$

• 对角矩阵的特征值就是主对角线元素的值

我们可以同时写出所有特征向量的方程
$$AX=X\Lambda$$
$X\in {\mathbb{R}}^{x\times n}$的列向量是Ade特征向量，$\Lambda$是由A的特征值组成的对角矩阵

如果A的特征向量是线性无关的，则矩阵X是可逆的。那我们也可以写成一下形式$A=X\Lambda X^{-1}$,这种形式我们称为矩阵A可对角化。

3.13 Eigenvalues and Eigenvectors of Symmetric Matrices(对称矩阵的特征值和特征向量)

当我们研究对称矩阵$A\in {\mathbb{S}}^n$的特征值和特征向量时，会得到两个显著的性质。

1. 对称矩阵A的特征值都是实数
2. 对称矩阵A的特征向量都是正交的

我们将正交的矩阵X定义为U(因为正交矩阵的逆等于矩阵的转置)，所以矩阵A可以表示为$A=U\Lambda U^T$.

由此我们可以发现矩阵的确定性完全取决于其特征值的符号(假设$A\in {\mathbb{S}}^n=U\Lambda U^T$)，那么：
$$x^{T}Ax=x^{T}U\Lambda U^{T}x=y^T\Lambda y=\sum _{i=1}^n{\lambda }_i{y}_i^2$$
其中$y=U^{T}x$(因为U是满秩的，所以对于任意的$y\in {\mathbb{R}}^n$都可以被线性表示)。因为$y_i^2$总是正数，所以此时的符号完全取决于特征值${\lambda }_i$，如果${\lambda }_i>0$,则矩阵A是正定的，如果${\lambda }_i\ge 0$,则矩阵A是半正定的。同理负定和半负定、不定类似。

特征值和特征向量经常被应用于最大化某些矩阵的函数。特别的对于矩阵$A\in {\mathbb{S}}^n$,思考一下这个最大化问题:
$$ma{x}_{x\in {\mathbb{R}}^n}{x}^{T}Ax条件：||x|{|}_2^2=1$$
即：我们要找到$l2$范数为1的向量，使得矩阵Ade二次型最大化。假设特征值的顺序如下：${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$，这个问题的最优解是${\lambda }_1$对应的特征向量$x_1$,在这种情况下，二次型的最大值是${\lambda }_1$。同样的最小化问题的最优解是${\lambda }_n,x_n$.