张量（一）：张量基础_单位张量

从今天开始，笔者将会持续更新关于张量的相关知识和最新研究成果。我们这里所说的张量知识主要是关于张量低秩分解，张量补全等算法和应用。在如今神经网络大火的年代，张量补全等算法无疑为预测、去噪等问题提供了新的解决方法和思路。接下来，且听我娓娓道来。

友情提醒：默认读者拥有线性代数的基础。

目录

一、何为张量？

二、张量的相关概念

---

一、何为张量？

在本科阶段，我们接触到最多的数据结构就是矩阵与向量。一维的向量与二维的矩阵分别能表示数据的一种与两种信息。然而，现实世界里大多数数据都具有多重属性，例如一个人就有姓名、年龄、性别、民族等多种信息，因此单纯的向量或矩阵已无法描述数据的多重属性。

张量即是对向量和矩阵的一种高阶扩展。我们可以将向量看做一维张量，矩阵看做二维张量，当然，遇到的更多的是三维张量、四维张量等。从几何的角度来说，一维张量构成的就是一条线，二维张量是平面上的矩形，而三维张量是立方体，以此类推。

从另一个角度去理解，三维张量可以看做是多个矩阵堆叠而成，不过由于三维张量具有三个维度（表达三种属性），因此堆叠矩阵的方式也必然存在三种，即水平切片、侧向切片和正面切片，如下图：

 

张量的应用面很广，大多数的数据都可用张量表示，例如一张彩色图片就是一个三维张量，分别由像素矩阵和第三维的RGB颜色通道组成。因此，构成彩色图片的张量大小为N*N*3。

---

二、张量的相关概念

1. 单位张量：单位张量$\mathit{I}\epsilon \mathbb{R}^{N\times N\times N_{3}}$，它的第一个正面切片是一个单位矩阵，其他的切片为零矩阵。
2. 正交张量：若张量$\mathit{Q}$是正交张量，那么满足$\mathit{Q}*\mathit{Q^{T}}=\mathit{Q^{T}}*\mathit{Q}=\mathit{I}$。
3. $\mathit{f}$-对角张量：若张量的每一个正面切片都是对角矩阵，那么该张量是$\mathit{f}$-对角化的。
4. 张量乘积：张量乘积即张量之间的乘积，根据定义的不同，有主要以下几种：

5. 张量秩：对矩阵算法到张量领域的迁移以及现有对张量算法的改进大多围绕着秩定义的修改进行。张量秩的定义目前主要有以下两种，多线性秩和管秩。

• 多线性秩：对张量$A\in \mathbb{R}^{N_{1}\times N_{2}\times N_{3}}$，多线性秩用向量r表示，维度为$N_{3}$。计算方法为张量先做傅里叶变换，然后正面切片，对每片计算秩，依次从上到下放入向量即得到multi-rank。
• 管秩：计算方法为先进行t-SVD分解，对结果中的S（对角管道组成）统计非零管道的数量即为tubal-rank。

6. 张量核范数：定义为傅里叶变换后的张量正面切片的奇异值之和。它是张量multi-rank的$l_{1}$范数的最紧凸松弛。因此，A的核范数等于矩阵$blkdiag\left ( \hat{A} \right )$的核范数，$\hat{A}$为A的傅里叶变换后张量，$blkdiag\left ( \hat{A} \right )$是一个分块对角矩阵，定义为

以上各概念将会在张量补全，张量主成分分析等算法中起着重要作用，在此仅做介绍。