【系统认识张量（一）】基础篇：什么是张量？_秩一张量

【系统认识张量（一）】基础篇：什么是张量？

---

---

前言

随着人工智能、大数据的发展，我们常常会得到高维数据，对其 认识 和 处理方法 与普通二维数据有着许多不同，对于三维及三维以上的数据，我们统称为 张量 。张量是对向量和矩阵的一种高维拓展。

---

一、基础概念

1. 纤维、切片

类似于矩阵的行、列，张量也有类似的概念，即纤维。
纤维（fiber），即只保留一个自由度，固定其他所有维度，呈现出条状。
切片（slices），只保留两个自由度，固定其他所有维度，呈现出片状（矩阵）。

2. 矩阵化

一个N阶张量的N模展开，如图所示，将一个三阶$(3\times 3\times 3)$的张量$\chi$的切片合成为一个大的矩阵，按照切片的分割方式不同，可以分为N种模式。

具体例子如下:
一个3x4x2的张量$\chi$按照N模展开，即按照第n个维度展开，如下所示，为张量$\chi$的两个切片

其按照三种模态展开，即按照不同方向的切片，进行合并。

3. 秩一张量

如果一个张量能被写成N个向量的 外积 ，则称这个张量为秩一张量。

这里需要注明的是：外积(Outer Product)这一概念与高中数学三维向量的外积(Exterior Product)的概念不同。

$$u\circ v=u{v}^T=\left[\begin{array}{c}{u}_1\\ u_2\\ u_3\\ u_4\end{array}\right]\left[\begin{array}{ccc}{v}_1& v_2& v_3\end{array}\right]=\left[\begin{array}{ccc}{u}_1{v}_1& u_2{v}_2& u_1{v}_3\\ u_2{v}_1& u_2{v}_2& u_2{v}_3\\ u_3{v}_1& u_3{v}_2& u_3{v}_3\\ u_4{v}_1& u_4{v}_2& u_4{v}_3\end{array}\right]$$

二、张量的基础运算

1.张量的N模乘法

张量$\chi$与矩阵$U$的N模乘法的公式如下：

看公式可能很难理解，具体通俗语言可以表示为：

• 首先按照张量$\chi$的某一维度展开，得到相应矩阵$X_{\left(n\right)}$；
• 随后将得到的矩阵$X_{\left(n\right)}$与矩阵$U$相乘，得到新的矩阵$Y$；
• 最后将$Y$矩阵恢复为原矩阵的相应维度（具体看如下例子）。
  $$X_1=\left[\begin{array}{cccc}1& 4& 7& 10\\ 2& 5& 8& 11\\ 3& 6& 9& 12\end{array}\right],X_2=\left[\begin{array}{cccc}13& 16& 19& 22\\ 14& 17& 20& 23\\ 15& 18& 21& 24\end{array}\right]$$
  $$U=\left[\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right]$$

$$Y=\chi {\times }_{n}U\iff Y_{\left(n\right)}=U{X}_{\left(n\right)}$$

Y 1 = [ 22 49 76 103 28 64 100 136 ] , Y 2 = [ 130 157 184 211 172 208 244 280 ] Y_1 = \left[

$$\begin{array} {cccc} 22&49&76&103\\ 28&64&100&136 \end{array}$$ \right] , Y_2 = \left[ $$\begin{array} {cccc} 130&157&184&211\\ 172&208&244&280 \end{array}$$ \right] Y1​=[2228​4964​76100​103136​],Y2​=[130172​157208​184244​211280​]

2. Kronecker积、Khatri-Rao积、Hadamard积

这里提前介绍一些矩阵的乘积，与后面张量分解的介绍有关。

• Kronecker积 ---- $\otimes$
  对于矩阵$\mathbf{A}\in {\mathbb{R}}^{I\times J}$ 和 $\mathbf{B}\in {\mathbb{R}}^{K\times L}$
  $$\begin{gathered} \mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}\mathbf{B}& a_{12}\mathbf{B}& \cdots & a_{1J}\mathbf{B}\\ a_{21}\mathbf{B}& a_{22}\mathbf{B}& \cdots & a_{2J}\mathbf{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{I1}\mathbf{B}& a_{I2}\mathbf{B}& \cdots & a_{IJ}\mathbf{B}\end{array}\right] \\ =\left[\begin{array}{lll}{\mathbf{a}}_1\otimes {\mathbf{b}}_1& {\mathbf{a}}_1\otimes {\mathbf{b}}_2{\mathbf{a}}_1\otimes {\mathbf{b}}_3\cdots {\mathbf{a}}_J\otimes {\mathbf{b}}_{L-1}& {\mathbf{a}}_J\otimes {\mathbf{b}}_L\end{array}\right] \end{gathered}$$A的每个元素乘以B矩阵构成新的大矩阵

其结果为$(IK)\times (JL)$大小的矩阵

• Khatri–Rao积 ---- $\odot$
  注意这里的定义与上述Kronecker积是嵌套的
  $$\mathbf{A}\odot \mathbf{B}=\left[\begin{array}{cccc}{a}_1\otimes b_1& a_2\otimes b_2& \cdots & a_K\otimes b_K\end{array}\right]$$
  对应列向量的Kronecker积
  当a和b是向量时，有：
  $$a\otimes b=a\odot b$$
• Hadamard积 ---- $\ast$
  对于矩阵$\mathbf{A}\in {\mathbb{R}}^{I\times J}$ 和 $\mathbf{B}\in {\mathbb{R}}^{K\times L}$
  $$\mathbf{A}\ast \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \cdots & a_{1J}{b}_{1J}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \cdots & a_{2J}{b}_{2J}\\ ⋮& ⋮& \ddots & ⋮\\ a_{I1}{b}_{I1}& a_{I2}{b}_{I2}& \cdots & a_{IJ}{b}_{IJ}\end{array}\right]$$
  对应位置的元素相乘

总结

以上就是张量的基础知识，这一部分较为简单，希望通过自己的总结能让后来者有所收获。