前沿进展：借鉴量子多体纠缠，开发高效无监督学习算法

导语

张量网络既是凝聚态物理中的重要数值工具，近年来也用于探索新的机器学习方法。中科院理论物理所张潘和北京师范大学张江团队最新发表于Physical Review E杂志的论文“用于无监督学习的张量网络”，提出自回归矩阵乘积态（autoregressive matrix product states, AMPS）的张量网络模型，该模型通过结合机器学习中的自回归建模，以及量子多体物理中的矩阵乘积态，使用多个矩阵乘积态建模数据的联合概率分布，该模型具有天然的计算配分函数与无偏采样的优势，在生成式建模等任务上的表现明显优于现有的张量网络模型和受限玻尔兹曼机。

无监督学习，张量网络，量子计算，机器学习

来源： 集智俱乐部

作者：郭瑞东

审校：刘晶、梁金

编辑：邓一雪

论文标题：

Tensor networks for unsupervised machine learning

论文地址：

https://journals.aps.org/pre/abstract/10.1103/PhysRevE.107.L012103

1. 量子多体问题与无监督机器学习的关系

无监督学习在任务层面可以分为聚类、降维，但究其数学本质，在于从高维数据 x 中，学习得到一个概率分布 P(x) ，来理解其具有的丰富结构。原数据具有指数项数的联合分布，而无监督学习的目的，在于找到多项式数量的参数对数据进行有效地采样和表征。这一问题已被证明属于NP-hard 问题，与统计物理和量子多体物理中的量子多体状态控制属于同一类。

于是无监督学习的任务，就转换为使用一个生成模型，能够以多项式级的参数，产生出与原数据相似的概率分布。该问题受物理尤其是统计物理帮助尤多。最典型的是受限玻尔兹曼机（restricted Boltzmann machine, RBM），之后还有树状张量网络（tree tensor networks, TTNs）和矩阵乘积态（matrix product states, MPSs) 。图1展示了该研究提出的自回归矩阵乘积态（autoregressive matrix product states, AMPS）模型（图1d）与上述三种网络的对比，其中每个方框表示将张量网络归一化的非线性或线性函数。其中 AMPS 相比 MPS，区别在于AMPS 通过自回归的方式来建模联合概率分布，并且具有和 RBM 类似的二维张量网络结构。

张量网络与机器学习的关系可参考论文一作刘晶梳理的路径：https://pattern.swarma.org/article/101

可参考：Doctor Curious 25: 神经网络到张量网络的“变身”

图1.（a）RBM，（b）TTN，（c）MPS，与该研究提出的（d）AMPS 示意图

2. 新算法在生成式建模中的应用

AMPS 有多种应用场景，该研究首先关注生成式建模任务，即对训练数据集进行最大似然估计，以学到数据的经验分布。图2(a) 展示了在不同大小的二值随机数据集上的实验结果，可以看到 AMPS 模型所取得的负对数似然与理论值几乎重合，说明模型完全学到了数据集的分布，相比 MPS 和 RBM 具有更强的表达能力。图2(b) 在Lymphography（淋巴系造影术）的真实数据集上显示在键维（bond dimension）相同的情况下，AMPS 的表现明显优于其他张量网络模型。

图2. 不同算法在模拟和真实数据集下，针对密度估计（density estimation）任务的表现对比

在二值手写数字 MINST 生成任务中，AMPS 同样取得了更小的负对数似然，并且在结合了卷积结构后，效果更好。从模型中采样出的大多数生成的数字都是可识别的，并且在视觉上非常接近于原始数字（图3a）。

图3. 随机抽取的（a）二值MINST 原始数据，（b）AMPS生成数据，及（c） Deep-AMPS 生成数据。

3. 新算法在强化学习中的应用

在统计力学中，强化学习可用于最小化变分分布 q_θ(s) 和玻尔兹曼分布之间的 KL 散度，即最小化变分自由能。对于Sherrington-Kirkpatrick（SK）自旋玻璃模型，作者比较了不同方法对变分自由能的估计，得到的结果显示 AMPS 的结果接近当前最先进的变分自回归网络（variational autoregressive network, VAN）方法。（图4a）

图4. 由朴素平均场（NMF）、变分自回归网络（VAN）和 AMPS 对自旋玻璃模型给出的在不同温度下的变分自由能。

4. 张量网络在机器学习中的应用

该研究提出的 AMPS 是一个结合了自回归建模的基于张量网络的生成模型，可以应用于各种领域，包括自然语言处理、计算机视觉和强化学习。此外，它可以用来模拟复杂的物理系统，如自旋玻璃和量子多体系统。该方法的表现在图像生成建模和自旋玻璃的强化学习方面优于传统的张量网络模型，结果媲美当下最先进的深度神经网络模型，在某些情况下甚至更好。这意味着张量网络方法在机器学习问题上的具有巨大潜力。

该研究与复杂系统的关系是其讨论了张量网络方法在机器学习这一复杂问题中的应用前景。此外，论文还讨论了无监督式学习的挑战，这是一个复杂的问题，需要对基础数据有深入的理解。

学者简介

刘晶，北京师范大学系统科学学院博士生，主要研究和兴趣方向为，统计物理，复杂系统和深度学习

个人主页：

https://pattern.swarma.org/user/14/master

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”