【线性代数及其应用】01- 线性方程组_横向理解例如二元线性方程可以看作一条直线

线性方程组

1. 线性方程组的几何含义

  线性方程组就是
$$a11\ast x1+a12\ast x2+a13\ast x3=b1$$

$$a21\ast x1+a22\ast x2+a23\ast x3=b2$$

$$a31\ast x1+a32\ast x2+a33\ast x3=b3$$

  等价于

$$AX=B$$
  对线性方程组的理解包括横向和总纵向两种理解方法，也就是column picture和row picture

1.1 column picutre

   column picture是将线性方程组从竖直的角度来看，因为纵向来看，竖直的一组参数构成一组向量
v 1 = { a 11 a 21 a 31 } v1 = \left\{

$$\begin{matrix} a11\\ a21\\ a31 \end{matrix}$$ \right\} v1=⎩⎨⎧​a11a21a31​⎭⎬⎫​

v 2 = { a 21 a 22 a 23 } v2 = \left\{

$$\begin{matrix} a21\\ a22\\ a23 \end{matrix}$$ \right\} v2=⎩⎨⎧​a21a22a23​⎭⎬⎫​

v 3 = { a 31 a 32 a 33 } v3 = \left\{

$$\begin{matrix} a31\\ a32\\ a33 \end{matrix}$$ \right\} v3=⎩⎨⎧​a31a32a33​⎭⎬⎫​

  AX=B就可以理解为x是线性组合的权值，通过对v1，v2，v3的重新组合，得到了向量b
$$c1\ast v1+c2\ast v2+c3\ast v3=b$$

{ v 1 v 2 v 3 } ∗ { c 1 c 2 c 3 } = b \{

$$\begin{matrix}v1&v2&v3 \end{matrix}$$ \}*\left\{ $$\begin{matrix} c1\\ c2\\ c3 \end{matrix}$$ \right\}=b {v1​v2​v3​}∗⎩⎨⎧​c1c2c3​⎭⎬⎫​=b

1.2 row picture

  除了从竖向解释线性方程组以外，还可以横向理解，其几何意义就是row picture。

  因为每一个线性方程组其实都可以理解为是一条空间的直线，三个线性方程组横向理解，就是3条直线的交点坐标。

2. 线性方程组与向量方程和矩阵方程的关系

  其实从对线性方程组意义的解读中，我们已经出现了线性方程组、向量方程和矩阵方程的关系。
  线性方程组是矩阵最原始的意义，因为线性最初的含义就是用于解线性方程组
$$a11\ast x1+a12\ast x2+a13\ast x3=b1$$

$$a21\ast x1+a22\ast x2+a23\ast x3=b2$$

$$a31\ast x1+a32\ast x2+a33\ast x3=b3$$
  而向量方程是从column picture的角度来思考线性方程的意义，就是对列向量的重新组合
{ a 11 a 21 a 31 } ∗ x 1 + { a 21 a 22 a 23 } ∗ x 2 + { a 31 a 32 a 33 } ∗ x 3 = { b 1 b 2 b 3 } \left\{

$$\begin{matrix} a11\\ a21\\ a31 \end{matrix}$$ \right\}*x1+ \left\{ $$\begin{matrix} a21\\ a22\\ a23 \end{matrix}$$ \right\}*x2+\left\{ $$\begin{matrix} a31\\ a32\\ a33 \end{matrix}$$ \right\}*x3=\left\{ $$\begin{matrix} b1\\ b2\\ b3 \end{matrix}$$ \right\} ⎩⎨⎧​a11a21a31​⎭⎬⎫​∗x1+⎩⎨⎧​a21a22a23​⎭⎬⎫​∗x2+⎩⎨⎧​a31a32a33​⎭⎬⎫​∗x3=⎩⎨⎧​b1b2b3​⎭⎬⎫​
  而矩阵方程是对向量方程的进一步简化，是利用矩阵的乘法来描述这一重新线性组合关系
{ v 1 v 2 v 3 } ∗ { x 1 x 2 x 3 } = B \{ $$\begin{matrix}v1&v2&v3 \end{matrix}$$ \}*\left\{ $$\begin{matrix} x1\\ x2\\ x3 \end{matrix}$$ \right\}=B {v1​v2​v3​}∗⎩⎨⎧​x1x2x3​⎭⎬⎫​=B
$$即AX=B$$

3. 线性方程组解的存在性与唯一性

  谈到线性方程组，就一定会讨论其是否有解以及有多少个解的问题，也就是解的存在性与唯一性问题。

3.1 阶梯式

  这里首先引入矩阵的阶梯式和最简阶梯式的概念，所谓阶梯式，就是矩阵从上往下，我们每一行第一个非零的数字叫做这一行的主元，上面一行的主元下面对应的位置必须全部是0，而且非零行必须在零行之上,比如
{ 1 2 3 0 2 3 0 0 3 0 0 0 } \left\{

$$\begin{matrix}1&2&3\\0 &2 &3\\0& 0& 3\\0&0&0 \end{matrix}$$ \right\} ⎩⎪⎪⎨⎪⎪⎧​1000​2200​3330​⎭⎪⎪⎬⎪⎪⎫​
  第一行的1，第二行的2和第三行的3叫做主元;

  主元1的下面全部是0，主元2的下面也是0

   零行在非零行的下面

3.2 最简阶梯式

  最简阶梯式是在阶梯式的基础上，每个主元行的上面元素必须也是0
{ 1 0 0 0 2 0 0 0 3 0 0 0 } \left\{

$$\begin{matrix}1&0&0\\0 &2 &0\\0& 0& 3\\0&0&0 \end{matrix}$$ \right\} ⎩⎪⎪⎨⎪⎪⎧​1000​0200​0030​⎭⎪⎪⎬⎪⎪⎫​
  具有这种形式的矩阵叫做最简阶梯式

3.3 增广矩阵

  把原方程式的系数放在矩阵左边，结果列放在系数列的右边，构成一个多了一列的矩阵就是增广矩阵,比如
$$a11\ast x1+a12\ast x2+a13\ast x3=b1$$

$$a21\ast x1+a22\ast x2+a23\ast x3=b2$$

$$a31\ast x1+a32\ast x2+a33\ast x3=b3$$

  系数矩阵
{ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 } \left\{

$$\begin{matrix}a11&a12&a13\\a21 &a22 &a23\\a31& a32& a33\end{matrix}$$ \right\} ⎩⎨⎧​a11a21a31​a12a22a32​a13a23a33​⎭⎬⎫​
  增广矩阵
$$\left\{\begin{array}{cccc}a11& a12& a13& b1\\ a21& a22& a23& b2\\ a31& a32& a33& b3\end{array}\right\}$$

3.4 解的存在性

  我们可以看出，增广矩阵的含义其实就是左边的系数*变量=结果，如果我们把增广矩阵化成阶梯式
{ a 1 1 ′ a 1 2 ′ a 1 3 ′ b 1 ′ 0 a 22 a 23 b 2 ′ 0 0 a 33 b 3 } \left\{

$$\begin{matrix}a11'&a12'&a13'&b1'\\0 &a22 &a23&b2'\\0& 0& a33&b3\end{matrix}$$ \right\} ⎩⎨⎧​a11′00​a12′a220​a13′a23a33​b1′b2′b3​⎭⎬⎫​

  就可以得到方程
$$a11^{\prime }\ast x1+a12^{\prime }\ast x2+a13^{\prime }\ast x3=b{1}^{\prime }$$

$$a22^{\prime }\ast x2+a23^{\prime }\ast x3=b{2}^{\prime }$$

$$a33^{\prime }\ast x3=b{3}^{\prime }$$
  只有增广矩阵的阶梯形式不存在左边系数列是0，右边结果列非0的情况，这个线性方程组就有解,比如无解情况得到的矩阵
{ a 1 1 ′ a 1 2 ′ a 1 3 ′ b 1 ′ 0 a 2 2 ′ a 2 3 ′ b 2 ′ 0 0 0 b 3 } \left\{

$$\begin{matrix}a11'&a12'&a13'&b1'\\0 &a22' &a23'&b2'\\0& 0& 0&b3\end{matrix}$$ \right\} ⎩⎨⎧​a11′00​a12′a22′0​a13′a23′0​b1′b2′b3​⎭⎬⎫​

  最后一行得到方程 0 = b3’,如果b3’不是0，方程当然无解

3.5 解的唯一性

  如果化简为阶梯式的时候，得到了全零行，那么最后一行0=0必定恒成立，也就是说某个参数是没有约束条件的，等于几都可以，这样的变量叫做自由变量，有自由变量的方程组必定有无穷解。
{ a 1 1 ′ a 1 2 ′ a 1 3 ′ b 1 ′ 0 a 2 2 ′ a 2 ′ 3 b 2 ′ 0 0 0 0 } \left\{

$$\begin{matrix}a11'&a12'&a13'&b1'\\0 &a22' &a2'3&b2'\\0& 0& 0&0\end{matrix}$$ \right\} ⎩⎨⎧​a11′00​a12′a22′0​a13′a2′30​b1′b2′0​⎭⎬⎫​

  可以写成方程组
$$a11^{\prime }\ast x1+a12^{\prime }\ast x2+a13^{\prime }\ast x3=b{1}^{\prime }$$

$$a22^{\prime }\ast x2+a23^{\prime }\ast x3=b{2}^{\prime }$$

$$x3=x3$$

4. 线性方程组的求解方法

4.1 简化阶梯式法

  简化阶梯式法语上面解的存在与唯一性的时候写的基本一致，就是把矩阵化成最简阶梯式，然后就可以得到结果。
{ a 1 1 ′ 0 0 b 1 ′ 0 a 2 2 ′ 0 b 2 ′ 0 0 a 3 3 ′ b 3 ′ } \left\{

$$\begin{matrix}a11'&0&0&b1'\\0 &a22' &0&b2'\\0& 0& a33'&b3'\end{matrix}$$ \right\} ⎩⎨⎧​a11′00​0a22′0​00a33′​b1′b2′b3′​⎭⎬⎫​

  可得
$$a11^{\prime }\ast x1=b{1}^{\prime }$$

$$a22^{\prime }\ast x2=b{2}^{\prime }$$

$$a33^{\prime }\ast x3=b{3}^{\prime }$$

4.2 逆矩阵法

  如果矩阵A是可逆的，那么可以利用逆矩阵法求解，不过计算量很大
$$AX=B$$

$$X=A^{-1}\ast B$$

4.3 最小二乘法

  如果说A中列数多于行数，也就是说，方程数多于变量数，这种情况下，方程多半是无解的，但是可以利用投影的思想使用最小二乘法进行求解。把向量B投影到A的列空间上去，就能得到误差量最小的最小二乘解。

  
$$A^T\ast (b-A\ast x)=0$$
  A*x是利用A中的向量重新组合得到了b的投影向量，(b-A)*x是正交与列空间A的向量，利用投影向量的垂直分量正交与列空间的性质，可以得到最小二乘法方程，解得
$$x=(A^T\ast A{)}^{-1}\ast A^T\ast b$$

4.3 LU分解法

  因为从原始矩阵变换为最简阶梯形经过了很多次行变换，行变换可以用一个矩阵来描述，最终得到的最简阶梯形是一个下三角矩阵，记为U，而多次行变换的乘积是一个上三角矩阵，记为L，即A=LU，原式可以表示为
$$L\ast U\ast X=b$$
  令y=UX
$$L\ast y=b$$
  因为L是下三角矩阵，解方程必然很快，得到y以后，再算Ux=y，U是上三角矩阵，计算也很快，用这种先拆分再解方程的LU分解法比最简阶梯形计算量更小一些

4.4 克拉默法则

  克拉默法则是一种利用行列式解方程的方法，求解行列式十分复杂，这里不想介绍，实用性不强。