【矩阵论】4. 矩阵运算——张量积

矩阵论的所有文章，主要内容参考北航赵迪老师的课件

[注]由于矩阵论对计算机比较重要，所以选修了这门课，但不是专业搞数学的，所以存在很多口语化描述，而且对很多东西理解不是很正确与透彻，欢迎大家指正。我可能间歇性忙，但有空一定会回复修改的。

矩阵论
1. 准备知识——复数域上矩阵,Hermite变换
1.准备知识——复数域上的内积域正交阵
1.准备知识——Hermite阵，二次型，矩阵合同，正定阵，幂0阵，幂等阵，矩阵的秩
2. 矩阵分解——SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——正定阵分解
2. 矩阵分解——单阵谱分解
2. 矩阵分解——正规分解——正规阵
2. 矩阵分解——正规谱分解
2. 矩阵分解——高低分解
3. 矩阵函数——常见解析函数
3. 矩阵函数——谱公式,幂0与泰勒计算矩阵函数
3. 矩阵函数——矩阵函数求导
4. 矩阵运算——观察法求矩阵特征值特征向量
4. 矩阵运算——张量积
4. 矩阵运算——矩阵拉直
4.矩阵运算——广义逆——加号逆定义性质与特殊矩阵的加号逆
4. 矩阵运算——广义逆——加号逆的计算
4. 矩阵运算——广义逆——加号逆应用
4. 矩阵运算——广义逆——减号逆
5. 线性空间与线性变换——线性空间
5. 线性空间与线性变换——生成子空间
5. 线性空间与线性变换——线性映射与自然基分解,线性变换
6. 正规方程与矩阵方程求解
7. 范数理论——基本概念——向量范数与矩阵范数
7.范数理论——基本概念——矩阵范数生成向量范数&谱范不等式
7. 矩阵理论——算子范数
7.范数理论——范数估计——许尔估计&谱估计
7. 范数理论——非负/正矩阵
8. 常用矩阵总结——秩1矩阵，优阵(单位正交阵)，Hermite阵
8. 常用矩阵总结——镜面阵，正定阵
8. 常用矩阵总结——单阵，正规阵，幂0阵，幂等阵，循环阵

---

4.2 张量积

4.2.1 定义

设 $A=(a_{ij}{)}_{m\times n}$ ，$B=(b_{ij}{)}_{p\times q}$ ，则称分块矩阵 ( a 11 B a 12 B ⋯ a 1 n B a 21 B a 22 B ⋯ a 2 n B ⋮ ⋮ ⋱ ⋮ a n 1 B a n 2 ⋯ a n n ) \left(

$$\begin{matrix} a_{11}B&a_{12}B&\cdots&a_{1n}B\\ a_{21}B&a_{22}B&\cdots&a_{2n}B\\ \vdots&\vdots&\ddots&\vdots\\ a_{n1}B&a_{n2}&\cdots&a_{nn} \end{matrix}$$ \right) ​a11​Ba21​B⋮an1​B​a12​Ba22​B⋮an2​​⋯⋯⋱⋯​a1n​Ba2n​B⋮ann​​ ​ 为 $A$ 与 $B$ 的张量积，记作 $A\otimes B=(a_{ij}B{)}_{mp\times nq}$

eg
A = ( a b c d ) , B = ( 2 3 ) A=\left(

$$\begin{matrix} a&b\\c&d \end{matrix}$$ \right),B=\left( $$\begin{matrix} 2\\3 \end{matrix}$$ \right) A=(ac​bd​),B=(23​)

A ⊗ B = ( a B b B c B d B ) = ( 2 a 2 b 3 a 3 b 2 c 2 d 3 c 3 d ) , B ⊗ A = ( 2 A 3 B ) = ( 2 a 2 b 2 c 2 d 3 a 3 b 3 c 3 d )

$$\begin{aligned} &A\otimes B=\left( \begin{matrix} aB&bB\\cB&dB \end{matrix} \right)=\left( \begin{matrix} 2a&2b\\3a&3b\\2c&2d\\3c&3d \end{matrix} \right),B\otimes A=\left( \begin{matrix} 2A\\3B \end{matrix} \right)=\left( \begin{matrix} 2a&2b\\2c&2d\\3a&3b\\3c&3d \end{matrix} \right) \end{aligned}$$ ​A⊗B=(aBcB​bBdB​)= ​2a3a2c3c​2b3b2d3d​ ​,B⊗A=(2A3B​)= ​2a2c3a3c​2b2d3b3d​ ​​

• 张量积不满足交换律 ，即 $A\otimes B\ne B\otimes A$

定理

1. 两个上三角的张量积也是上三角

2. 两个对角阵的张量积是对角阵
   P − 1 A P = A 1 = ( λ 1 0 ⋱ 0 λ m ) , Q − 1 B Q = ( t 1 0 ⋱ 0 t n ) ( P ⊗ Q ) − 1 ( A ⊗ B ) ( P ⊗ Q ) = 吸收公式 ( P − 1 A P ) ⊗ ( Q − 1 B Q ) = A 1 ⊗ B 1 = ( λ 1 B 1 0 ⋱ 0 λ m B n )

   $$\begin{aligned} &P^{-1}AP=A_1=\left( \begin{matrix} \lambda_1&&0\\ &\ddots&\\ 0&&\lambda_m \end{matrix} \right),Q^{-1}BQ=\left( \begin{matrix} t_1&&0\\ &\ddots&\\ 0&&t_n \end{matrix} \right)\\ &(P\otimes Q)^{-1}(A\otimes B)(P\otimes Q)\xlongequal{吸收公式}(P^{-1}AP)\otimes (Q^{-1}BQ)\\ &=A_1\otimes B_1=\left( \begin{matrix} \lambda_1B_1&&0\\ &\ddots&\\ 0&&\lambda_mB_n \end{matrix} \right) \end{aligned}$$ ​P−1AP=A1​= ​λ1​0​⋱​0λm​​ ​,Q−1BQ= ​t1​0​⋱​0tn​​ ​(P⊗Q)−1(A⊗B)(P⊗Q)吸收公式 (P−1AP)⊗(Q−1BQ)=A1​⊗B1​= ​λ1​B1​0​⋱​0λm​Bn​​ ​​

3. $I_n\otimes I_m=I_m\otimes I_n=I_{m\times n}$

4.2.2 计算

a. 分块法

右进右出
( A B C D ) ⊗ F = ( A ⊗ F B ⊗ F C ⊗ F D ⊗ F ) ( A B ) ⊗ F = ( A ⊗ F B ⊗ F ) \left(

$$\begin{matrix} A&B\\C&D \end{matrix}$$ \right)\otimes F=\left( $$\begin{matrix} A\otimes F&B\otimes F\\C\otimes F&D\otimes F \end{matrix}$$ \right)\\ (A\quad B)\otimes F=(A\otimes F\quad B\otimes F) (AC​BD​)⊗F=(A⊗FC⊗F​B⊗FD⊗F​)(AB)⊗F=(A⊗FB⊗F)

一般情况下：$F\otimes (AB)\ne (F\otimes AF\otimes B)$

b. 向量与向量张量积

列向量 α = ( a 1 a 2 ⋮ a n ) β = ( b 1 b 2 ⋮ b q ) , 则 α ⊗ β = ( a 1 ⊗ β a 2 ⊗ β ⋮ a n ⊗ β ) n q × 1 = ( a 1 b 1 a 1 b 2 ⋮ a 1 b q ⋮ a n b 1 a n b 2 ⋮ a n b q ) n q × 1 列向量\alpha=\left(

$$\begin{matrix} a_1\\a_2\\\vdots\\a_n \end{matrix}$$ \right)\beta=\left( $$\begin{matrix} b_1\\b_2\\\vdots\\b_q \end{matrix}$$ \right),则\alpha \otimes \beta=\left( $$\begin{matrix} a_1\otimes \beta\\a_2\otimes \beta\\\vdots\\a_n\otimes \beta \end{matrix}$$ \right)_{nq\times 1}=\left( $$\begin{matrix} a_1b_1\\a_1b_2\\\vdots\\a_1b_q\\\vdots \\a_nb_1\\a_nb_2\\\vdots\\a_nb_q \end{matrix}$$ \right)_{nq\times 1} 列向量α= ​a1​a2​⋮an​​ ​β= ​b1​b2​⋮bq​​ ​,则α⊗β= ​a1​⊗βa2​⊗β⋮an​⊗β​ ​nq×1​= ​a1​b1​a1​b2​⋮a1​bq​⋮an​b1​an​b2​⋮an​bq​​ ​nq×1​

c. 向量与矩阵张量积

列向量 α = ( a 1 a 2 ⋮ a m ) , B n × q = ( β 1 , β 2 , ⋯   , β q ) ， α ⊗ B = ( a 1 B a 2 B ⋮ a m B ) = ( a 1 b 11 a 1 b 12 ⋯ a 1 b 1 q a 1 b 21 a 1 b 22 ⋯ a 1 b 2 q ⋮ ⋮ ⋱ ⋮ a 1 b p 1 a 1 b p 2 ⋯ a 1 b p q a 2 b 11 a 2 b 12 ⋯ a 2 b 1 q a 2 b 21 a 2 b 22 ⋯ a 2 b 2 q ⋮ ⋮ ⋱ ⋮ a 2 b p 1 a 2 b p 2 ⋯ a 2 b p q ⋮ ⋮ ⋮ ⋮ a m b 11 a m b 12 ⋯ a m b 1 q a m b 21 a m b 22 ⋯ a m b 2 q ⋮ ⋮ ⋱ ⋮ a m b p 1 a m b p 2 ⋯ a m b p q ) m p × q 列向量\alpha=\left(

$$\begin{matrix} a_1\\a_2\\\vdots\\a_m \end{matrix}$$ \right),B_{n\times q}=(\beta_1,\beta_2,\cdots,\beta_q)，\alpha\otimes B=\left( $$\begin{matrix} a_1B\\a_2B\\\vdots\\a_mB \end{matrix}$$ \right)=\left( $$\begin{matrix} a_1b_{11}&a_1b_{12}&\cdots&a_1b_{1q}\\ a_1b_{21}&a_1b_{22}&\cdots&a_1b_{2q}\\ \vdots&\vdots&\ddots&\vdots\\ a_1b_{p1}&a_1b_{p2}&\cdots&a_1b_{pq}\\ a_2b_{11}&a_2b_{12}&\cdots&a_2b_{1q}\\ a_2b_{21}&a_2b_{22}&\cdots&a_2b_{2q}\\ \vdots&\vdots&\ddots&\vdots\\ a_2b_{p1}&a_2b_{p2}&\cdots&a_2b_{pq}\\ \vdots&\vdots&\vdots&\vdots\\ a_mb_{11}&a_mb_{12}&\cdots&a_mb_{1q}\\ a_mb_{21}&a_mb_{22}&\cdots&a_mb_{2q}\\ \vdots&\vdots&\ddots&\vdots\\ a_mb_{p1}&a_mb_{p2}&\cdots&a_mb_{pq}\\ \end{matrix}$$ \right)_{mp\times q} 列向量α= ​a1​a2​⋮am​​ ​,Bn×q​=(β1​,β2​,⋯,βq​)，α⊗B= ​a1​Ba2​B⋮am​B​ ​= ​a1​b11​a1​b21​⋮a1​bp1​a2​b11​a2​b21​⋮a2​bp1​⋮am​b11​am​b21​⋮am​bp1​​a1​b12​a1​b22​⋮a1​bp2​a2​b12​a2​b22​⋮a2​bp2​⋮am​b12​am​b22​⋮am​bp2​​⋯⋯⋱⋯⋯⋯⋱⋯⋮⋯⋯⋱⋯​a1​b1q​a1​b2q​⋮a1​bpq​a2​b1q​a2​b2q​⋮a2​bpq​⋮am​b1q​am​b2q​⋮am​bpq​​ ​mp×q​

4.2.3 运算律

1. 数乘： $k(A\otimes B)=(kA)\otimes B=A\otimes (kB)$

2. 分配律(右进右出)：$(A+B)\otimes C=A\otimes C+B\otimes C$ ，$C\otimes (A+B)=C\otimes A+C\otimes B$

3. 结合律：$(A\otimes B)\otimes C=A\otimes (B\otimes C)$

   

4. 吸收律：$(A\otimes B)(C\otimes D)=(AC)\otimes (BD)$

   $张乘(左边括号间乘法个数)\to 乘张(右边括号内乘法个数相等)$

   

   推论：
   若 A = A m × m 为 m 阶方阵 , B = B n × n 为 n 阶方阵，则 ( A ⊗ B ) k = A k ⊗ B k ( A ⊗ I n ) ( I m ⊗ B ) = A ⊗ B ( A 1 ⊗ B 1 ) ( A 2 ⊗ B 2 ) ⋯ ( A k ⊗ B k ) = ( A 1 A 2 ⋯ A k ) ⊗ ( B 1 ⊗ B 2 ⋯ B k ) ( A 1 ⊗ A 2 ⊗ ⋯ ⊗ A k ) ( B 1 ⊗ B 2 ⊗ ⋯ ⊗ B k ) = ( A 1 B 1 ) ⊗ ( A 2 ⊗ ⋯ ⊗ A k ) ( B 2 ⊗ ⋯ ⊗ B k ) = ( A 1 B 1 ) ⊗ ( A 2 B 2 ) ⊗ ⋯ ⊗ ( A k B k )

   $$\begin{aligned} &若A=A_{m\times m}为m阶方阵,B=B_{n\times n}为n阶方阵，则\\ &(A\otimes B)^k=A^k\otimes B^k\\ &(A\otimes I_n)(I_m\otimes B)=A\otimes B\\ &(A_1\otimes B_1)(A_2\otimes B_2)\cdots(A_k\otimes B_k)=(A_1A_2\cdots A_k)\otimes (B_1\otimes B_2\cdots B_k)\\ &(A_1\otimes A_2\otimes \cdots\otimes A_k)(B_1\otimes B_2\otimes \cdots\otimes B_k)=(A_1B_1)\otimes(A_2\otimes \cdots\otimes A_k)(B_2\otimes \cdots\otimes B_k)\\ &=(A_1B_1)\otimes (A_2B_2)\otimes \cdots \otimes (A_kB_k) \end{aligned}$$ ​若A=Am×m​为m阶方阵,B=Bn×n​为n阶方阵，则(A⊗B)k=Ak⊗Bk(A⊗In​)(Im​⊗B)=A⊗B(A1​⊗B1​)(A2​⊗B2​)⋯(Ak​⊗Bk​)=(A1​A2​⋯Ak​)⊗(B1​⊗B2​⋯Bk​)(A1​⊗A2​⊗⋯⊗Ak​)(B1​⊗B2​⊗⋯⊗Bk​)=(A1​B1​)⊗(A2​⊗⋯⊗Ak​)(B2​⊗⋯⊗Bk​)=(A1​B1​)⊗(A2​B2​)⊗⋯⊗(Ak​Bk​)​

   eg：
   $$A=A_{m\times m}，证明e^{A\otimes I_n}=e^A\otimes I_n$$

e A ⊗ I n = ∑ k = 1 ∞ 1 k ! ( A ⊗ I ) k = ∑ k = 1 ∞ 1 k ! ( A k ⊗ I k ) = ( ∑ k = 1 ∞ 1 k ! A k ) ⊗ I k = e A ⊗ I

$$\begin{aligned} &e^{A\otimes I_n}=\sum_{k=1}\limits^\infty\frac{1}{k!}(A\otimes I)^k=\sum_{k=1}\limits^\infty\frac{1}{k!}(A^k\otimes I^k)=(\sum_{k=1}\limits^\infty\frac{1}{k!}A^k)\otimes I^k=e^A\otimes I \end{aligned}$$ ​eA⊗In​=k=1∑∞​k!1​(A⊗I)k=k=1∑∞​k!1​(Ak⊗Ik)=(k=1∑∞​k!1​Ak)⊗Ik=eA⊗I​

5. 转置与求逆公式：

( A ⊗ B ) H = A H ⊗ B H ( A ⊗ B ) − 1 = A − 1 ⊗ B − 1

$$\begin{aligned} &(A\otimes B)^H=A^H\otimes B^H\\ &(A\otimes B)^{-1}= A^{-1}\otimes B^{-1} \end{aligned}$$ ​(A⊗B)H=AH⊗BH(A⊗B)−1=A−1⊗B−1​

6. 若A与B都是U阵，则 $A\otimes B$ 为U阵

7. 秩公式：$r(A\otimes B)=r(A)r(B)$

   推论：
   若 X 1 、 ⋯ 、 X p 为 C m 中 p 个线性无关的列向量， Y 1 、 ⋯ 、 Y q 为 C n 中 q 个线性无关列向量，则 则 p q 个列向量 { X i ⊗ Y j } 线性无关

   $$\begin{aligned} &若X_1、\cdots、X_p为C^m中p个线性无关的列向量，Y_1、\cdots、Y_q为C^n中q个线性无关列向量，则\\ &则pq个列向量\{X_i\otimes Y_j\}线性无关 \end{aligned}$$ ​若X1​、⋯、Xp​为Cm中p个线性无关的列向量，Y1​、⋯、Yq​为Cn中q个线性无关列向量，则则pq个列向量{Xi​⊗Yj​}线性无关​

   由于 r ( { X ⊗ Y } ) = r ( { X } ) r ( { Y } ) r(\{X\otimes Y\})=r(\{X\})r(\{Y\}) r({X⊗Y})=r({X})r({Y}) ，张量积的秩等于两个向量组的秩的乘积，所以张量积线性无关

4.2.4 张量积行列式

设 $A=(a_{ij})\in C^{m\times m}，B=(b_{ij})\in C^{n\times n}$ ，则
t r ( A ⊗ B ) = t r ( A ) ⋅ t r ( B ) ∣ A ⊗ B ∣ = ∣ A ∣ n ∣ B ∣ m

$$\begin{aligned} &tr(A\otimes B)=tr(A)\cdot tr(B)\\ &\vert A\otimes B \vert=\vert A \vert^n\vert B \vert^m \end{aligned}$$ ​tr(A⊗B)=tr(A)⋅tr(B)∣A⊗B∣=∣A∣n∣B∣m​

证明：

由许尔公式，存在可逆阵 P 使 P − 1 A P = ( λ 1 ∗ ⋱ 0 λ m ) 为上三角，且 P ⊗ I 为可逆阵，构造一个新公式 ( P ⊗ I ) − 1 A ⊗ B ( P ⊗ I ) = ( P − 1 A P ) ⊗ B = A 1 ⊗ B = ( λ 1 B ( ∗ B ) λ 2 B ⋱ 0 λ m B ) 故 ∣ A ⊗ B ∣ = ∣ λ 1 n B ∣ ∣ λ 2 n B ∣ ⋯ ∣ λ m n B ∣ m = ∣ λ 1 n λ 2 n ⋯ λ m n ∣ ∣ B ∣ m = ∣ A ∣ n ∣ B ∣ m

$$\begin{aligned} &由许尔公式，存在可逆阵P使P^{-1}AP=\left( \begin{matrix} \lambda_1&&*\\ &\ddots&\\ 0&&\lambda_m \end{matrix} \right)为上三角，且P\otimes I为可逆阵，构造一个新公式\\ &(P\otimes I)^{-1}A\otimes B(P\otimes I)=(P^{-1}AP)\otimes B=A_1\otimes B=\left( \begin{matrix} \lambda_1B&&&(*B)\\ &\lambda_2B&&\\ &&\ddots&\\ 0&&&\lambda_mB \end{matrix} \right)\\ &故\vert A\otimes B \vert=\vert \lambda_1^nB\vert\vert \lambda_2^nB\vert\cdots\vert \lambda_m^nB\vert^m=\vert \lambda_1^n\lambda_2^n\cdots\lambda_m^n\vert\vert B \vert^m = \vert A \vert^n\vert B\vert ^m \end{aligned}$$ ​由许尔公式，存在可逆阵P使P−1AP= ​λ1​0​⋱​∗λm​​ ​为上三角，且P⊗I为可逆阵，构造一个新公式(P⊗I)−1A⊗B(P⊗I)=(P−1AP)⊗B=A1​⊗B= ​λ1​B0​λ2​B​⋱​(∗B)λm​B​ ​故∣A⊗B∣=∣λ1n​B∣∣λ2n​B∣⋯∣λmn​B∣m=∣λ1n​λ2n​⋯λmn​∣∣B∣m=∣A∣n∣B∣m​

4.2.5 张量积特征值特征向量

a. 特征值

若 $A=A_{m\times m}$ 的特征根为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m，B=B_{n\times n}$ 的特征根为 $t_1,t_2,\cdots ,t_n$

• $A\otimes B$ 的全体特征根为 $mn$ 个数 { λ i t j } \{\lambda_it_j\} {λi​tj​} ，有重根

• $A\otimes I_n\pm I_m\otimes B$ 是的全体特根为 $mn$ 个数 { λ i ± t j } \{\lambda_i\pm t_j\} {λi​±tj​}

b. 特征向量

设 { X 1 , ⋯   , X p } \{X_1,\cdots,X_p\} {X1​,⋯,Xp​} 是 $A\in C^{m\times m}$ 关于 $\lambda$ 的线性无关的特征向量, { Y 1 , ⋯   , Y q } \{Y_1,\cdots,Y_q\} {Y1​,⋯,Yq​} 是 $B\in C^{n\times n}$ 关于t的线性无关的特征向量

• $pq$ 个向量 { X i ⊗ Y j } \{X_i\otimes Y_j\} {Xi​⊗Yj​} 是 $A\otimes B$ 关于 $\lambda t$ 的特征向量
• { X ⊗ Y } \{X\otimes Y\} {X⊗Y} 是 $A\otimes I_n\pm I_m\otimes B$ 关于 $\lambda +t$ 的一个特征向量

eg

A = ( 2 2 1 3 ) ⊗ ( 1 − 1 0 1 ) = B ⊗ D , 且 B 为行和等矩阵， D 为上三角阵，则 λ ( A ) = { 4 , t r ( A ) − 4 } = { 4 , 1 } , λ ( B ) = { 1 , 1 } ∴ A ⊗ B = ∏ λ A λ B = { 4 , 4 , 1 , 1 } , 特式 ∣ λ I − A ∣ = ( λ − 4 ) 2 ( λ − 1 ) 2 可知， ( 1 1 ) ( − 2 1 ) 是 B 的特征向量， ( 1 0 ) 是 D 的特征向朗 , 故 A ⊗ B 的特征向量为 ( 1 0 1 0 ) , ( − 2 0 1 0 )

$$\begin{aligned} &A=\left( \begin{matrix} 2&2\\1&3 \end{matrix} \right)\otimes \left( \begin{matrix} 1&-1\\0&1 \end{matrix} \right)=B\otimes D,且B为行和等矩阵，D为上三角阵，则\lambda(A)=\{4,tr(A)-4\}=\{4,1\},\lambda(B)=\{1,1\}\\ &\therefore A\otimes B=\prod\lambda_A\lambda_B=\{4,4,1,1\},特式\vert \lambda I-A\vert=(\lambda-4)^2(\lambda-1)^2\\ &可知，\left( \begin{matrix} 1\\1 \end{matrix} \right)\left( \begin{matrix} -2\\1 \end{matrix} \right)是B的特征向量，\left( \begin{matrix} 1\\0 \end{matrix} \right)是D的特征向朗,故A\otimes B的特征向量为\left( \begin{matrix} 1\\0\\1\\0 \end{matrix} \right),\left( \begin{matrix} -2\\0\\1\\0 \end{matrix} \right) \end{aligned}$$ ​A=(21​23​)⊗(10​−11​)=B⊗D,且B为行和等矩阵，D为上三角阵，则λ(A)={4,tr(A)−4}={4,1},λ(B)={1,1}∴A⊗B=∏λA​λB​={4,4,1,1},特式∣λI−A∣=(λ−4)2(λ−1)2可知，(11​)(−21​)是B的特征向量，(10​)是D的特征向朗,故A⊗B的特征向量为 ​1010​ ​, ​−2010​ ​​

c. 矩阵函数的特根特向

设 A 和 B 分别是 m 阶与 n 阶方阵， $f(x,y)$ 是二元多项式， $f(x,y)=\sum _{i,j=1}^p{c}_{ij}{x}^i{y}^j$

定义 mn 阶矩阵 $f(A,B)$ 如下：
$$f(A,B)=\sum _{i,j=1}^p{c}_{ij}{A}^i\otimes B^j,(A^0=I_m,B^0=I_n)$$