线性代数之机器学习常用矩阵概念及操作_矩阵 线代 常用操作

1 相关概念

  1）实对称矩阵：如果有$n$阶矩阵$\mathrm{A}$，其元素都为实数，且${\mathrm{A}}^{\mathrm{T}}=\mathrm{A}$，则称$\mathrm{A}$为实对称矩阵。
  2）矩阵等价、合同及相似：

  3）正定矩阵：设$\mathrm{A}$ 是$n$阶方阵，如果对任何非零向量$\mathbf{x}$都有${\mathbf{x}}^{\mathrm{T}}\mathrm{A}\mathbf{x}>0$，就称A正定矩阵。简单的判别方式是$\mathrm{A}$的特征值均为正数，则$\mathrm{A}$是正定的，反之负定。
  4）半正定矩阵：设$\mathrm{A}$是实对称矩阵。如果对任意的实非零列向量$\mathbf{x}$都有${\mathbf{x}}^{\mathrm{T}}\mathrm{A}\mathbf{x}\ge 0$，就称A为半正定矩阵。
  5）协方差矩阵：定义为$\mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{X},\mathrm{Y})=\mathrm{E}((\mathrm{X}-\mathrm{E}(\mathrm{X}))(\mathrm{Y}-\mathrm{E}\mathrm{Y}))$。
  6）正交矩阵：$\mathbf{A}{\mathbf{A}}^T=\mathbf{E}$或者${\mathbf{A}}^T\mathbf{A}=\mathbf{E}$。
  7）旋转矩阵。
  8）矩阵的迹：矩阵$\mathbf{A}$主对角线上的所有元素之和，记作$\mathrm{t}\mathrm{r}(\mathbf{A})=\sum {\mathrm{a}}_{\mathrm{i}\mathrm{i}}$。

2 矩阵操作

  1）方阵$A=(a_{ij}{)}_n$的幂：
$$A^0=E,A^k=\underset{k}{\underbrace{A\cdot A\cdots A}}$$  2）矩阵$A=(a_{ij}{)}_{n\times m}$的转置，记作$A^{\prime }$或者$A^{\mathrm{T}}$，且有以下运算法则：
{ ( A ′ ) ′ = A ( A + B ) ′ = A ′ + B ′ ( A B ) ′ = B ′ A ′ ( λ A ) ′ = λ A ′

$$\begin{cases} (A')' = A\\ (A + B)' = A' + B'\\ (AB)' = B'A'\\ (\lambda A)' = \lambda A' \end{cases}$$ ⎩⎪⎪⎪⎨⎪⎪⎪⎧​(A′)′=A(A+B)′=A′+B′(AB)′=B′A′(λA)′=λA′​  3）方阵$A=(a_{ij}{)}_n$的行列式，记作$|A|$或者$\mathrm{d}\mathrm{e}\mathrm{t}A$：
$$\{\begin{array}{l}|A^{\prime }|=|A|\\ |AB|=|A|\cdot |B|\\ |\lambda A|={\lambda }^n|A|\end{array}$$  4）方阵$A=(a_{ij}{)}_n$的逆：若存在$n$阶方阵$B$，使得$AB=BA=E$，则称$B$为$A$的逆，记作$A^{-1}$，且有以下性质：
    4.1）若$A$是可逆矩阵，则$A^{-1}$唯一；
    4.2）$A$可逆的充要条件为$|A|\ne 0$；
    4.3）$A^{-1}$与$A$的伴随矩阵$A^{\ast }$的关系如下：
$$A^{-1}=\frac{1}{|A|}{A}^{\ast }$$      且伴随矩阵有以下性质：
$$A{A}^{\ast }=A^{\ast }A=|A|E$$    4.4）逆矩阵的运算规律如下：
$$\{\begin{array}{l}(A^{-1}{)}^{-1}=A\\ (\lambda A{)}^{-1}=\frac{1}{\lambda }{A}^{-1}\\ (AB{)}^{-1}=B^{-1}{A}^{-1}\\ (A^{\mathrm{T}}{)}^{-1}=(A^{-1}{)}^{\mathrm{T}}\end{array}$$    4.5）注意点：
    ©1. $(A+B{)}^{-1}\ne A^{-1}+B^{-1}$
    ©2. 当$|A|\ne 0$时，规定以下：
$$\{\begin{array}{l}{A}^0=E\\ A^{-k}=(A^{-1}{)}^k，k\text{为整数}\\ A^{\lambda }{A}^{\mu }=A^{\lambda +\mu },(A^{\lambda }{)}^{\mu }=A^{\lambda \mu },\lambda ,\mu \text{为整数}\end{array}$$  5）矩阵$A=(a_{ij}{)}_{n\times m}$的迹，记作$tr(A)$，性质如下：
$$\{\begin{array}{l}tr(A)=tr(A^{\mathrm{T}})\\ tr(AB)=tr(BA)\end{array}$$