人工智能数学基础之线性代数(一)_线性代数 人工智能

前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。

现在CSDN不能发超长的文章了，只能分成多篇发布。

人工智能数学基础之线性代数(一)
人工智能数学基础之线性代数(二)
人工智能数学基础之线性代数(三)

标量

只有大小没有方向的量称为标量。

单个数字就是标量。

向量

所谓的向量就是一组数字，可以用$v$来表示
v = [ 1 2 3 ] v = \left[

$$\begin{matrix}1 \\2 \\3 \end{matrix}$$ \right] v= ​123​ ​ 或 $v=[123]$

当两个向量大小相等、方向相同时，说这两个向量相等。

这里由3个数组成，叫做3维向量，相应的，由n个数组成的称为n维向量。

左边排成一列的形式叫做列向量；右边叫做行向量

$v_i$表示向量中的第$i$个元素，本例中$v_1=1,v_2=2,v_3=3$

3维向量可以在3维空间中表示出来。

向量的长度

n维向量$\alpha =(a_1,a_2,...,a_n)$，数值$\sqrt{a_1^2+a_2^2+...+a_n^2}$称为向量$\alpha$的长度或模，记为$\Vert \alpha \Vert$

$\Vert \alpha \Vert =1$ 称$\alpha$为单位向量。

向量的运算

向量的加法：

向量的减法：

注意$\vec{a}-\vec{b}$得到的向量为$\vec{b}$指向$\vec{a}$。

向量的乘法：

$\vec{a}\cdot \vec{b}=|\vec{a}|\cdot |\vec{b}|\cos \theta$

相当于向量$\vec{b}$在向量$\vec{a}$的方向的投影与向量$|\vec{a}|$相乘

向量的范数

向量的1-范数： ${\Vert X\Vert }_1=|x_1|+|x_2|+...+|x_n|$ ；各元素的绝对值之和
向量的2-范数： $\Vert X\Vert =\sqrt{x_1^2+x_2^2+...+x_n^2}$ ； 每个元素的平方和再开方，也就是n维向量的长度；
向量的无穷范数： ${\Vert X\Vert }_{\infty }=\max (|x_1|,|x_2|,...,|x_n|)$ ；分量绝对值的最大者
向量的p-范数： ${\Vert X\Vert }_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}},(1\le p\le n)$

对于2-范数有： $||x||+||y||\ge ||x+y||$

当 $||\vec{x}||$ ≠ $0$ ，$||\vec{y}||$ ≠ $0$ 时，称
$$\theta =\arccos \frac{\vec{a}\cdot \vec{y}}{||\vec{x}||||\vec{y}||}$$
为向量$\vec{x}$与$\vec{y}$的夹角。

向量的内积

设有n维向量
x ⃗ = [ x 1 x 2 ⋮ x n ] , y ⃗ = [ y 1 y 2 ⋮ y n ] , \vec{x} = \left[

$$\begin{matrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{matrix}$$ \right], \vec{y} = \left[ $$\begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{matrix}$$ \right], x = ​x1​x2​⋮xn​​ ​,y ​= ​y1​y2​⋮yn​​ ​,

令$[\vec{x},\vec{y}]={\sum }_{i=1}^n{x}_i{y}_i=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$
上式称为向量的内积，内积的结果是一个标量。

这里要求一维向量$\vec{x}$和向量$\vec{y}$的行列数相同。

当$[\vec{x},\vec{y}]=0$时，称向量$\vec{x}$和向量$\vec{y}$正交。

一组两两相交的非零向量，称为正交向量组。

向量组

若干个同维的列向量(行向量)所组成的集合称为向量组。
如$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},\cdots ,\overrightarrow{a_n}$

[ a 11 a 21 ⋯ a m 1 a 12 a 22 ⋯ a m 2 ⋮ ⋮ ⋱ ⋮ a 1 n a 2 n ⋯ a m n ] \left[

$$\begin{matrix} a_{11} & a_{21} & \cdots & a_{m1}\\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{matrix}$$ \right] ​a11​a12​⋮a1n​​a21​a22​⋮a2n​​⋯⋯⋱⋯​am1​am2​⋮amn​​ ​

向量组的线性组合：
对于向量组$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},\cdots ,\overrightarrow{a_n}$，如果有一组数$k_1,k_2,\cdots ,k_n$，使
$$\vec{\beta }=k_1\overrightarrow{a_1}+k_2\overrightarrow{a_2}+\cdots +k_n\overrightarrow{a_n},$$
则称向量$\vec{\beta }$是向量组$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},\cdots ,\overrightarrow{a_n}$的一个线性组合，或称$\vec{\beta }$可由向量组$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},\cdots ,\overrightarrow{a_n}$线性表示。

向量组的线性相关：

给定向量组$A=\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},\cdots ,\overrightarrow{a_n}$，如果存在不全为零的数$k_1,k_2,\cdots ,k_n$使
$$k_1\overrightarrow{a_1}+k_2\overrightarrow{a_2}+\cdots +k_n\overrightarrow{a_n}=0$$

则称向量组$A$是线性相关的，否则称它为线性无关。

对于任一向量组，不是线性无关就是线性相关。

向量空间

设$V$是$n$维实向量构成的集合，对于向量的加法运算及数乘运算满足：

1. 任意$\alpha \in V,\beta \in V$，有$\alpha +\beta \in V$；
2. 任意$\alpha \in V,k\in R$，有$k\alpha \in V$

则称集合$V$为$R$上的实向量空间，简称向量空间。

已知$V_1,V_2$是向量空间，若$V_1\in V_2$，则称$V_1$是$V_2$的子空间。

向量集合的张成

定义 令$v_1,v_2,\cdots ,v_n$为向量空间$V$中的向量。${\alpha }_1{v}_1+{\alpha }_2{v}_2+\cdots +{\alpha }_n{v}_n$ (其中${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$为标量)称为向量$v_1,v_2,\cdots ,v_n$的线性组合。

向量$v_1,v_2,\cdots ,v_n$的所有线性组合构成的集合，称为$v_1,v_2,\cdots ,v_n$的张成(Span)。向量$v_1,v_2,\cdots ,v_n$的张成记为$\text{Span}(v_1,v_2,\cdots ,v_n)$。

向量空间的基

设$V$是一个向量空间，如果存在一组向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r\in V$，满足：

1. ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$线性无关；
2. $V$中任意一组向量都可以由该向量组线性表示，则称${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$为向量空间$V$的一组基；

线性无关：如果向量空间$V$中的向量$v_1,v_2,\cdots ,v_n$满足
$$c_1{v}_1+c_2{v}_2+\cdots +c_n{v}_n=0$$
就可以推出所有标量$c_1,\cdots ,c_n$必为0，则称它们为线性无关的。

标准基

集合 { e 1 , e 2 , e 3 } \{e_1,e_2,e_3\} {e1​,e2​,e3​}为$R^3$的标准基。之所以称这个基为标准基，使用因为使用这个基表示向量空间$R^3$最自然。更一般地，$R^n$的标准基集为集合 { e 1 , e 2 , ⋯   , e n } \{e_1,e_2,\cdots,e_n\} {e1​,e2​,⋯,en​}。

其中单位矩阵$I$的第$j$列向量的记为$e_j$。具体可见下面单位矩阵的定义。

行列式

行列式的引入

用消元法解二元线性方程组
{ a 11 x 1 + a 12 x 2 = b 1 , a 21 x 1 + a 22 x 2 = b 2 . (1)

$$\begin{cases} a_{11}x_1 + a_{12}x_2 = b_1, \\ a_{21}x_1 + a_{22}x_2 = b_2. \end{cases}$$ \tag{1} {a11​x1​+a12​x2​=b1​,a21​x1​+a22​x2​=b2​.​(1)
为消去未知数$x_2$，以$a_{22}$与$a_{12}$分别乘上列两方程的两端，然后两个方程相减，得
$$\begin{gathered} a_{11}{a}_{22}{x}_1+\bcancel{a_{12}{a}_{22}{x}_2}-a_{12}{a}_{21}{x}_1-\bcancel{a_{12}{a}_{22}{x}_2}=b_1{a}_{22}-a_{12}{b}_2 \\ (a_{11}{a}_{22}-a_{12}{a}_{21})x_1=b_1{a}_{22}-a_{12}{b}_2 \end{gathered}$$
类似地，消去$x_1$，得
$$(a_{11}{a}_{22}-a_{12}{a}_{21})x_2=a_{11}{b}_2-b_1{a}_{21}$$
当$a_{11}{a}_{22}-a_{12}{a}_{21}\ne 0$时，求得方程组$(1)$的解为
$$x_1=\frac{b_1{a}_{22}-a_{12}{b}_2}{a_{11}{a}_{22}-a_{12}{a}_{21}},x_2=\frac{a_{11}{b}_2-b_1{a}_{21}}{a_{11}{a}_{22}-a_{12}{a}_{21}}\text{\hspace{1em}(2)}$$
其中分母是由方程组$(1)$的四个系数确定的，把这四个数按它们在方程组中的位置，排列成二行二列的数表
$$\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array},\text{\hspace{1em}(3)}$$
表达式$a_{11}{a}_{22}-a_{12}{a}_{21}$称为数表$(3)$所确定的$二阶行列式$，并记作
$$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|.\text{\hspace{1em}(4)}$$
数$a_{ij}(i=1,2;j=1,2)$称为行列式$(4)$的元素或元。位于第$i$行第$j$列的元素称为行列式$(4)$的$(i,j)$元。

二阶行列式的定义，可以用对角线法则来记忆，比如写一个字母``X，先写`，为主对角线；再写/，为副对角线。二阶行列式就是主对角线上的两元素之积减去副对角线两元素之积。

利用二阶行列式的概念，$(2)$式中$x_1,x_2$的分子也可以写成二阶行列式，即
b 1 a 22 − a 12 b 2 = ∣ b 1 a 12 b 2 a 22 ∣ , a 11 b 2 − b 1 a 21 = ∣ a 11 b 1 a 21 b 2 ∣ . b_1a_{22} -a_{12}b_2 =

$$\begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix}$$ ,\quad a_{11}b_2 -b_1a_{21} = $$\begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix}$$ . b1​a22​−a12​b2​= ​b1​b2​​a12​a22​​ ​,a11​b2​−b1​a21​= ​a11​a21​​b1​b2​​ ​.
若记
$$D=\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|,D_1=\left|\begin{array}{cc}{b}_1& a_{12}\\ b_2& a_{22}\end{array}\right|,D_2=\left|\begin{array}{cc}{a}_{11}& b_1\\ a_{21}& b_2\end{array}\right|,$$
那么$(2)$式可写成
$$x_1=\frac{D_1}{D}=\frac{\left|\begin{array}{cc}{b}_1& a_{12}\\ b_2& a_{22}\end{array}\right|}{\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|},x_2=\frac{D_2}{D}=\frac{\left|\begin{array}{cc}{a}_{11}& b_1\\ a_{21}& b_2\end{array}\right|}{\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|}$$

这里的分母$D$是由方程组$(1)$的系数所确定的二阶行列式，$x_1$的分子$D_1$是用常数项$b_1,b_2$替换$D$中$x_1$的系数$a_{11},a_{21}$所得的二阶行列式；

$x_2$的分子$D_2$是用$b_1,b_2$替换$D$中$x_2$的系数$a_{12},a_{22}$所得的二阶行列式。

定义 设有9个数排成3行3列的数表
a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 , (5)

$$\begin{matrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{matrix}$$ , \tag{5} a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​,(5)
记
$$\begin{gathered} \left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32} \\ -a_{11}{a}_{23}{a}_{32}-a_{12}{a}_{21}{a}_{33}-a_{13}{a}_{22}{a}_{31}\text{\hspace{1em}(6)} \end{gathered}$$
式$(6)$称为数表$(5)$所确定的三阶行列式。

上述定义表面三阶行列式含6项，每项均为不同行不同列的三个元素的乘积再冠以正负号。

虽然三阶行列式也适用于对角线法则，为了研究四阶及更高阶行列式，下面先介绍有关全排列的知识。

逆序数

对于$n$个不同的元素，在这$n$个元素的任一排列中，当某两个元素的先后次序与标准次序(比如可规定由小到大为标准次序)不同时，就说有1个逆序。 一个排列中所有逆序的总数叫做这个排列的逆序数。

逆序数为技术的排列叫做奇排列，逆序数为偶数的排列叫做偶排列。

设$n$个元素为$1$至$n$这$n$个自然数，并规定由小到大为标准次序。设
$$p_1{p}_2\cdots p_n$$
为这$n$个自然数的一个排列，考虑元素$p_i(i=1,2,\cdots ,n)$，如果比$p_i$大的且排在$p_i$前面的元素有$t_i$个，就说$p_i$这个元素的逆序数是$t_i$。全体元素的逆序数之总和
$$t=t_1+t_2+\cdots +t_n=\sum _{t=1}^n{t}_i,$$
即使这个排列的逆序数。

来看一个例子理解。

例 求排列32514的逆序数

解 在排列32514中：

• 3排在首位，逆序数为0

• 2的前面比2大的数有一个(3)，逆序数为1

• 5是最大数，逆序数为0

• 1的前面比1大的数有三个(3,2,5)，逆序数为3

• 4的前面比4大的数有一个(5)，逆序数为1，于是这个排列的逆序数为
  $$t=0+1+0+3+1=5$$

n阶行列式的定义

为了给出$n$阶行列式的定义，先来研究三阶行列式的结构。三阶行列式定义为
∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 11 a 23 a 32 − a 12 a 21 a 33 − a 13 a 22 a 31

$$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix}$$ = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} +a_{13}a_{21}a_{32} \\ \qquad\qquad\qquad\qquad- a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} - a_{13}a_{22}a_{31} ​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​ ​=a11​a22​a33​+a12​a23​a31​+a13​a21​a32​−a11​a23​a32​−a12​a21​a33​−a13​a22​a31​

容易看出：

1. 上式右边的每一项都恰是三个元素的乘积，这三个元素位于不同的行、不同列。因此，上式右端的任一项除正负号外可以写成$a_{1p_1}{a}_{2p_2}{a}_{3p_3}$。这里第一个下标(行标)排成标准次序123，而第二下标(列标)排成$p_1{p}_2{p}_3$，它是1,2,3三个数的某个排列。这样的排列共有6中，对应上式右端共有6项。
2. 各项的正负号与列标的排列对照
   • 带正号的三项列标排列是123,231,312
   • 带负号的三项列标排列是132,213,321

经计算可知前三个排列都是偶排列，后三个排列都是奇排列。因此各项所带的正负号可以表示为$(-1{)}^t$，其中$t$为列标排列的逆序数。

总之，三阶行列式可以写成
∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ = ∑ ( − 1 ) t a 1 p 1 a 2 p 2 a 3 p 3 ,

$$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix}$$ = \sum (-1)^t a_{1p_1}a_{2p_2}a_{3p_3}, ​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​ ​=∑(−1)ta1p1​​a2p2​​a3p3​​,
其中$t$为排列$p_1{p}_2{p}_3$的逆序数，$\sum$表示对1,2,3三个数的所有排列$p_1{p}_2{p}_3$去和。

仿此，可以把行列式推广到一般情形。

定义 设有$n^2$个数，排成$n$行$n$列的数表
∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a n 1 a n 2 ⋯ a n n ∣ ,

$$\begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots &\cdots & \cdots & \cdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix}$$ , ​a11​a21​⋯an1​​a12​a22​⋯an2​​⋯⋯⋯⋯​a1n​a2n​⋯ann​​ ​,
作出表中位于不同行不同列的$n$个数的乘积，并冠以符号$(-1{)}^t$，得到形如
$$(-1{)}^t{a}_{1p_1}{a}_{2p_2}\cdots a_{n{p}_n}\text{\hspace{1em}(7)}$$
的项，其中$p_1{p}_2\cdots p_n$为自然数$1,2,\cdots ,n$的一个排列，$t$为这个排列的逆序数。

由于这样的排列共有$n!$个，因为形如$(7)$式的项共有$n!$个。所有这$n!$项的代数和
$$\sum (-1{)}^t{a}_{1p_1}{a}_{2p_2}\cdots a_{n{p}_n}$$
称为$n$阶行列式，记作
D = ∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a n 1 a n 2 ⋯ a n n ∣ , D =

$$\begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots &\cdots & \cdots & \cdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix}$$ , D= ​a11​a21​⋯an1​​a12​a22​⋯an2​​⋯⋯⋯⋯​a1n​a2n​⋯ann​​ ​,
简记作$det(a_{ij})$，其中数$a_{ij}$为行列式$D$的$(i,j)$元。

例5 证明$n$阶行列式
∣ λ 1 λ 2 ⋱ λ n ∣ = λ 1 λ 2 ⋯ λ n , ∣ λ 1 λ 2 ⋯ λ n ∣ = ( − 1 ) n ( n − 1 ) 2 λ 1 λ 2 ⋯ λ n

$$\begin{vmatrix} \lambda_1 & & & \\ & \lambda2 && \\ & & \ddots & \\ & & & \lambda_n\\ \end{vmatrix}$$ = \lambda_1\lambda_2 \cdots \lambda_n, \\ $$\begin{vmatrix} & & &\lambda_1 \\ & &\lambda2& \\ & \cdots & & \\ \lambda_n & & & \\ \end{vmatrix}$$ = (-1)^{\frac{n(n-1)}{2}} \lambda_1\lambda_2 \cdots \lambda_n ​λ1​​λ2​⋱​λn​​ ​=λ1​λ2​⋯λn​, ​λn​​⋯​λ2​λ1​​ ​=(−1)2n(n−1)​λ1​λ2​⋯λn​

其中为写出的元素都是0。

证 第一式左端称为对角行列式，只能取不同行不同列，我们只考虑非零的情况。第$1$行只能取第$1$列，第二行只能取第$2$列，$\cdots$,第$n$行只能取第$n$列，最终结果很显然。

第二式第$1$行只能取第$n$列，对应的是$a_{1n}$，第$2$行只能取第$n-1$列，对应$a_{2n-1}$，$\cdots$,第$n$行只能取第$1$列，对应$a_{n1}$。

列标的排列为
$$n(n-1)\cdots 21$$
所以，逆序数$t$为
$$t=0+1+2+\cdots +(n-1)=\frac{n(n-1)}{2}$$
例6 证明下三角形行列式
D = ∣ a 11 0 a 21 a 22 ⋮ ⋮ ⋱ a n 1 a n 2 ⋯ a n n ∣ = a 11 a 22 ⋯ a n n . D =

$$\begin{vmatrix} a_{11} & & & 0 \\ a_{21} & a_{22} && \\ \vdots & \vdots & \ddots & \\ a_{n1} & a_{n2} &\cdots & a_{nn}\\ \end{vmatrix}$$ = a_{11}a_{22}\cdots a_{nn}. D= ​a11​a21​⋮an1​​a22​⋮an2​​⋱⋯​0ann​​ ​=a11​a22​⋯ann​.
第$1$行只能取第$1$列，第二行只能取第$2$列，$\cdots$,第$n$行只能取第$n$列，并且列标是
$$12\cdots n$$
逆序数为$0$，$(-1{)}^0=1$

所以结果就是其主对角线上的元素之积。

定理5 如果齐次线性方程组$(10)$的系数行列式$D\ne 0$，则齐次线性方程组$(10)$没有非零解。

定理5’ 如果齐次线性方程组$(10)$有非零解，则它的系数行列式必为零。