基于张量网络的机器学习（五）_tensor-train (tt) decomposition

  在基本了解了张量新的表示方法后，如果我们把向量换成矢量，将实矩阵换为复矩阵，总之将对应的一切实数都换成复数，我们会发现这种方法很多时候依旧适用，甚至在其中会蕴含更多奇妙的东西，能够起到更大的作用。

一.TT分解（Tensor-train decomposition）

1.TT分解

  先上一张张量火车分解的示意图：

  这里将一个三阶张量分解成了两个二阶张量和若干个三阶张量的乘积，如果我们用等式来表达这个过程会显得麻烦，此时，新的方法就起到了作用。

• 定义：给定一个N阶张量，如果能将其分解成N个二阶或三阶张量的缩并形式，即：
  
  上式即TT分解形式，其中S_N为开放指标，a_N为辅助指标，用新的方法描述即：
  
  并用箭头表明正交性：规定将张量的内向指标和其共轭张量收缩后得单位阵（箭头要有进有出）。还可以知道，上图公共边用辅助指标表示，自由边用开放指标表示，指标的维数又可以称为尺寸。

2.TT分解算法

  TT分解可通过N-1次的奇异值分解或QR分解实现。

  以上图为例，将一个四阶张量从左往右作TT分解（也可以从右往左作TT分解），依次得到第一个左奇异矩阵、第二个左奇异矩阵、第三个左奇异矩阵，最后一个矩阵是其他矩阵的乘积，在奇异值分解的过程中，需要用到矩阵化的思想，这里就出现了一个问题，如果是一开始就矩阵化了，那么下面这张图就显得有点奇怪了，但如果不是一开始就矩阵化，那么第一个矩阵也不应当是左奇异矩阵。

  于是我找到了一张求最优TT低秩近似的算法图，然后按照我所理解的叙述，可能会有错误：

$\epsilon$是裁剪误差，约等于被裁剪的奇异值的范数，r_k为TT秩，$\delta$为限制因素，第三到八行为迭代部分，一开始就将初始张量矩阵化，在限制因素下进行奇异值分解得到第一个左奇异矩阵，然后将其他部分作为下一次迭代的初始张量，不过此时这个张量是二阶的，依次迭代，最后返回各个张量。

3.TT秩与最优TT低秩近似

• TT秩：在不引入误差的情况下对给定张量进行TT分解，存在的极小的辅助指标的维数，构成该张量的TT秩，N阶张量的TT秩为*(N-1)维数列，说明TT*秩并不是一个数。
• 最优TT低秩近似：给定张量
  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/176368