scVI latent space是什么_隐空间

Latent Space在机器学习和深度学习中都是一个十分重要的概念。

隐空间（latent space）

原文链接Latent Space 隐空间 - 知乎 理解机器学习中的潜在空间 - 知乎

If I have to describe latent space in one sentence, it simply means a representation of compressed data.

隐空间(Latent Space)

隐空间是压缩数据的一个表示。隐空间的作用是为了找到模式(pattern) 而学习数据特征并且简化数据表示。

数据压缩指用比原来表示更少的比特对信息进行编码。比如将一个19维的数据降到9维。

数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN)络学习图片特征，我们将特征提取中对数据的降维看作一种有损压缩。但是由于解码器需要重建(reconstruct)数据，所以模型必须学习如何储存所有相关信息并且忽略噪音。所以压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征。

这种压缩后的状态就是数据的隐空间表示。

 

The concept of “latent space” is important because it is utility is at the core of ‘deep learning’ —learning the features of data and simplifying data representations for the purpose of finding patterns.

CNN描述 来自： Hackernoon Latent Space Visualization.

我们来训练一个模型来使用完全卷积神经网络 (FCN) 对图像进行分类。 （即给定数字图像的输出数字编号）。 当模型“学习”时，它只是简单地学习每一层（边缘、角度等）的特征，并将特征组合归因于特定的输出。因为模型需要重建压缩数据，所以它必须学会存储所有相关信息并忽略噪声。 这就是数据压缩的价值——它允许我们摆脱任何无关的信息，只关注最重要的特征。

我们来理解Space的含义。假设我们的原始数据集是为 5 x 5 x 1 的图像。我们将Latent Space的维度是 3 x 1，就能够将一张图片压缩成一个3维数据点，而这个三维数据点就可以在三维空间去可视化表示。

Whenever we graph points or think of points in latent space, we can imagine them as coordinates in space in which  points that are “similar” are closer together on the graph.

利用PCA、t-SNE等技术，我们能够将高维度的数据映射到低纬度数据空间。

那么为什么Latent Space很重要呢？下面通过Representation Learning，Manifolds，和Autoencoders and Generative Models来说明。

在Representative Learning中，Latent Space能够将更加复杂形式的原始数据转化为更简单的数据表示，而更有益于去做数据处理。下面祭出瑞士卷的manifold，在瑞士Migros的超市卖的这个东西真的甜到腻。

3D Representation of Swiss Roll vs. 2D Representation of same data. Example from https://datascience.stackexchange.com/a/5698

可以看到将3维数据映射到2维空间后，通过添加分割线可以很好地区分开不同颜色的点，而在原来3维空间内，就很难找到一些合适平面去做分割。

接下来是自然而然地就想到了Autoencoders and Generative Models，这个在图像压缩，图像降噪，包括近几年很火的GAN等很多技术中都有应用。

Autoencoder的基本结构 来源：https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d

比如下面这个可以通过对Latent Space进行插值来生成不同的面部结构，并使用deconder将Latent Space表示重构为与原始输入具有相同维度的二维图像。

Image generation through latent space interpolation. 来源: Bilinear interpolation on latent space for random noise vectors.

参考资料：

https://towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d​towardsdatascience.com/understanding-latent-space-in-machine-learning-de5a7c687d8d