原文链接Latent Space 隐空间 - 知乎 理解机器学习中的潜在空间 - 知乎

If I have to describe latent space in one sentence, it simply means a representation of compressed data.

隐空间(Latent Space)

隐空间是压缩数据的一个表示。隐空间的作用是为了找到模式(pattern) 而学习数据特征并且简化数据表示。

数据压缩指用比原来表示更少的比特对信息进行编码。比如将一个19维的数据降到9维。

数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN)络学习图片特征，我们将特征提取中对数据的降维看作一种有损压缩。但是由于解码器需要重建(reconstruct)数据，所以模型必须学习如何储存所有相关信息并且忽略噪音。所以压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征。

这种压缩后的状态就是数据的隐空间表示。

隐空间特征

因为在隐空间中，相似样本之间特征差别作为多余信息被移除了，只有其核心特征被保留。所以当将数据点映射到隐空间后，特征相似的点距离更近。

下图将三维数据映射到了二维隐空间，隐空间内相似样本更加靠近。三维以上的隐空间很难可视化。但可以通过t-SNE降维至二维或者三维进行展示。

自动编码器和生成模型

自动编码器一种基于数据在隐空间的距离训练的网络模型，其目标是输出和输入数据类似的内容，类似于一个恒等函数。下图红色部分即为隐空间。模型首先将数据相关特征储存在压缩表示中，然后准确地重建表示；即先从数据空间映射到隐空间，再从隐空间映射到数据空间。

通过编码器，我们可以通过在隐空间插值(interplotation) 来生成新样本。