线性代数（一）——向量基础

线性代数的核心是向量的加和乘两种运算的组合，本篇博客为线性代数的一个引子，主要从向量、线性组合和矩阵逐步引出线性代数的相关知识。

1、向量和线性组合

首先介绍的是向量相关，向量是基础。
已知列向量： υ = [ v 1 v 2 ] \boldsymbol{\upsilon}=\left[

$$\begin{matrix} v_1 \\ v_2\end{matrix}$$ \right] υ=[v1​v2​​]，$\mathbf{\omega }=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]$；

向量加法： υ + ω = [ v 1 + w 1 v 2 + w 2 ] \boldsymbol{\upsilon}+\boldsymbol{\omega}=\left[

$$\begin{matrix} v_1+w_1 \\ v_2+w_2\end{matrix}$$ \right] υ+ω=[v1​+w1​v2​+w2​​]；

纯量乘法： c υ = [ c v 1 c v 2 ] c\boldsymbol{\upsilon}=\left[

$$\begin{matrix} cv_1 \\ cv_2\end{matrix}$$ \right] cυ=[cv1​cv2​​]，$c$是标量；

线性组合：我们将$\mathbf{\upsilon }$和$\mathbf{\omega }$的加法运算和标量乘法运算结合起来，得到的结果称为$\mathbf{\upsilon }$和$\mathbf{\omega }$的线性组合，即$c\mathbf{\upsilon }+d\mathbf{\omega }$。
两个向量的线性组合就是线性代数的最简单的形式。

下图展示了向量加法的结果：

Tip：列向量 υ = [ a b c ] \boldsymbol{\upsilon}=\left[

$$\begin{matrix} a \\ b \\ c\end{matrix}$$ \right] υ=⎣⎡​abc​⎦⎤​也可以写为$\mathbf{\upsilon }=(a,b,c)$，这两种形式都是表示列向量，后一种可以节约书写空间。另外，行向量表示为$\mathbf{\upsilon }=[a,b,c]$，平躺着并用方括号表示。

2、向量的模和点乘

点乘（内积）：点乘为两个向量对应位置上元素乘积的和。
向量$\mathbf{\upsilon }=(v_1,v_2,v_3,...,v_n)$和向量$\mathbf{\omega }=(w_1,w_2,w_3,...,w_n)$的点乘表示为：
$$\mathbf{\upsilon }\cdot \mathbf{\omega }=v_1{w}_1+v_2{w}_2+...+v_n{w}_n$$
向量$\mathbf{\upsilon }=(v_1,v_2,v_3,...,v_n)$和其自身的点乘为：
$$\mathbf{\upsilon }\cdot \mathbf{\upsilon }=v_1^2+v_2^2+...+v_n^2=(v_1-0{)}^2+(v_2-0{)}^2+...+(v_n-0{)}^2$$
向量的长度（模）
则在$n$维坐标系中，$\mathbf{\upsilon }\cdot \mathbf{\upsilon }$表示点$(v_1,v_2,v_3,...,v_n)$到坐标原点的距离的平方，即向量$\mathbf{\upsilon }$的长度的平方，所以向量$\mathbf{\upsilon }$的长度为：
$$\mathbf{l}\mathbf{e}\mathbf{n}\mathbf{g}\mathbf{t}\mathbf{h}=\Vert \mathbf{\upsilon }\Vert =\sqrt{\mathbf{\upsilon }\cdot \mathbf{\upsilon }}=(v_1^2+v_2^2+...+v_n^2{)}^{1/2}$$
如下图所示：

单位向量
单位向量是长度等于1的向量，则向量$\mathbf{\upsilon }$的单位向量$\mathbf{u}$为任何非零向量除以该向量的长度，即：
$$\mathbf{u}=\frac{\mathbf{\upsilon }}{\Vert \mathbf{\upsilon }\Vert }$$
下图为单位向量的示意图：

对于非零向量，当向量$\mathbf{\upsilon }$垂直向量$\mathbf{\omega }$时，它们的点积为零，即：
$$\mathbf{\upsilon }\cdot \mathbf{\omega }=0$$
可结合勾股定理进行证明。
向量夹角
设向量$\mathbf{\upsilon }$和向量$\mathbf{\omega }$的夹角为$\theta$，当$\mathbf{\upsilon }\cdot \mathbf{\omega }!=0$时，会有：
{ θ < 9 0 ∘ , υ ⋅ ω > 0 θ > 9 0 ∘ , υ ⋅ ω < 0 \left\{

$$\begin{array}{cc} \theta<90^{\circ}, & \boldsymbol{\upsilon} \cdot \boldsymbol{\omega}>0\\ \theta>90^{\circ}, & \boldsymbol{\upsilon} \cdot \boldsymbol{\omega}<0 \end{array}$$ \right. {θ<90∘,θ>90∘,​υ⋅ω>0υ⋅ω<0​
除此之外，两个单位向量的点乘也表示两个向量夹角$\theta$的$cosine$余弦值：
$$\mathbf{u}\cdot \mathbf{U}=cos\theta ，\mathbf{u}\cdot \mathbf{U}\le 1$$

那么对于非单位向量的向量$\mathbf{\upsilon }$和向量$\mathbf{\omega }$的夹角的余弦值应该怎么表示？
综上所述，应该为这两个向量对应的单位向量的点乘，即：
$$cos\theta =(\frac{\mathbf{\upsilon }}{\Vert \mathbf{\upsilon }\Vert })\cdot (\frac{\mathbf{\omega }}{\Vert \mathbf{\omega }\Vert })=\frac{\mathbf{\upsilon }\cdot \mathbf{\omega }}{\Vert \mathbf{\upsilon }\Vert \Vert \mathbf{\omega }\Vert }\le 1$$

由此可引出两个著名的不等式：
柯西-施瓦兹-布尼亚科夫斯基不等式$|\mathbf{\upsilon }\cdot \mathbf{\omega }|\le \Vert \mathbf{\upsilon }\Vert \Vert \mathbf{\omega }\Vert$
三角不等式：$\Vert \mathbf{\upsilon }+\mathbf{\omega }\Vert \le \Vert \mathbf{\upsilon }\Vert +\Vert \mathbf{\omega }\Vert$

3、矩阵

接下来，我们从向量过度到矩阵，用矩阵表示线性组合。前面介绍了向量之间的运算，那么当一个矩阵乘以一个向量应如何去理解呢？
首先给定三个向量：
u = [ 1 − 1 0 ] , υ = [ 0 1 − 1 ] , ω = [ 0 0 1 ] . \boldsymbol{u}=\left[

$$\begin{matrix} 1 \\ -1 \\ 0\end{matrix}$$ \right],\boldsymbol{\upsilon}=\left[ $$\begin{matrix} 0 \\ 1 \\ -1\end{matrix}$$ \right],\boldsymbol{\omega}=\left[ $$\begin{matrix} 0 \\ 0 \\ 1\end{matrix}$$ \right]. u=⎣⎡​1−10​⎦⎤​,υ=⎣⎡​01−1​⎦⎤​,ω=⎣⎡​001​⎦⎤​.
则这三个三维向量的线性组合为：$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }$，即：
$$x_1\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right]+x_2\left[\begin{array}{c}0\\ 1\\ -1\end{array}\right]+x_3\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2-x_1\\ x_3-x_2\end{array}\right]$$
那么用矩阵重写上面的线性组合为：
$$A\mathbf{x}=\left[\begin{array}{ccc}1& 0& 0\\ -1& 1& 0\\ 0& -1& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2-x_1\\ x_3-x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]=\mathbf{b}$$
从以上两式可以看出，矩阵A乘以向量$\mathbf{x}$等同于矩阵$A$的三个列向量的线性组合$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }$，即$A\mathbf{x}$的结果就是矩阵A的各列的线性组合。

此外，我们也可以使用行的点乘来计算$A\mathbf{x}$：
A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ ( 1 , 0 , 0 ) ⋅ ( x 1 , x 2 , x 3 ) ( − 1 , 1 , 0 ) ⋅ ( x 1 , x 2 , x 3 ) ( 0 , − 1 , 1 ) ⋅ ( x 1 , x 2 , x 3 ) ] = [ x 1 x 2 − x 1 x 3 − x 2 ] = [ b 1 b 2 b 3 ] = b A\boldsymbol{x}=\left[

$$\begin{matrix} 1 & 0 & 0\\ -1 & 1 & 0\\ 0 & -1 & 1\end{matrix}$$ \right]\left[ $$\begin{matrix} x_1 \\ x_2 \\ x_3\end{matrix}$$ \right]=\left[ $$\begin{matrix} (1,0,0) \cdot (x_1,x_2,x_3) \\ (-1,1,0) \cdot (x_1,x_2,x_3) \\ (0,-1,1) \cdot (x_1,x_2,x_3)\end{matrix}$$ \right]=\left[ $$\begin{matrix} x_1 \\ x_2-x_1 \\ x_3-x_2\end{matrix}$$ \right]=\left[ $$\begin{matrix} b_1 \\ b_2 \\ b_3\end{matrix}$$ \right]=\boldsymbol{b} Ax=⎣⎡​1−10​01−1​001​⎦⎤​⎣⎡​x1​x2​x3​​⎦⎤​=⎣⎡​(1,0,0)⋅(x1​,x2​,x3​)(−1,1,0)⋅(x1​,x2​,x3​)(0,−1,1)⋅(x1​,x2​,x3​)​⎦⎤​=⎣⎡​x1​x2​−x1​x3​−x2​​⎦⎤​=⎣⎡​b1​b2​b3​​⎦⎤​=b
线性等式
前面我们是已知$x_1,x_2,x_3$，来计算等号右侧的$\mathbf{b}$，那么，如果已知等号右侧的$\mathbf{b}$，如何来求$\mathbf{x}$呢？
旧问题： 计算线性组合$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }$为了得出$\mathbf{b}$；
新问题：$\mathbf{u},\mathbf{\upsilon },\mathbf{\omega }$的哪种组合可以生成指定的$\mathbf{b}$。

很明显，这是一个互逆的问题。将等式$A\mathbf{x}=\mathbf{b}$改写成我们熟悉的方程式组为：
{ x 1 = b 1 − x 1 + x 2 = b 2 − x 2 + x 3 = b 3

$$\begin{cases} x_1&&&&&=&b_1&\\ -x_1&+&x_2&&&=&b_2& \\ &-&x_2&+&x_3&=&b_3 \end{cases}$$ ⎩⎪⎨⎪⎧​x1​−x1​​+−​x2​x2​​+​x3​​===​b1​b2​b3​​​
可轻易对该方程组求解：
$$\{\begin{array}{llccccc}{x}_1=& b_1& & & & & \\ x_2=& b_1& +& b_2& & & \\ x_3=& b_1& +& b_2& +& b_3& \end{array}$$
写成矩阵形式为：$\mathbf{x}=A^{-1}\mathbf{b}$，我们将$A^{-1}$称作$A$的逆矩阵，此时的$A$为可逆矩阵。

多个向量的独立和非独立性

如上图所示，左右两个坐标系里向量$\mathbf{u}、\mathbf{\upsilon }$是一样的，这两个向量的线性组合构成一个同样的二维平面，关键问题是第三个向量是否在这个平面里：
独立性：$\mathbf{\omega }$不在$\mathbf{u}、\mathbf{\upsilon }$构成的平面中，即：
只有当$x_1=0,x_2=0、x_3=0$时，才满足等式$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }=0$
如果矩阵$A$的列是独立的，则$A\mathbf{x}=0$只有一个解，$A$被称作可逆矩阵（非奇异矩阵）。
非独立性：${\mathbf{\omega }}^{\ast }$在$\mathbf{u}、\mathbf{\upsilon }$构成的平面中，即：
存在多组$x_1,x_2,x_3$，满足$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3{\mathbf{\omega }}^{\ast }=0$
如果矩阵$C$的列是非独立的，则$C\mathbf{x}=0$存在多个解，矩阵$C$被称作奇异矩阵。

4、参考

[1] Introduction Linear Algebra，Fifth Edition，Giibert Strang.