在单细胞标准分析中,在两个地方使用了降维技术,特征提取和可视化。特征提取我们都知道用的是PCA,在数据分析领域是比较常见的一种主成分提取的方法,可视化为什么也算是一种降维技术呢?这是因为人类是感官对三维以上的数据感知能力很弱,而实现三维的效果虽然可实现,但不太利于传播。于是我们要把高维的数据特征降维到二维的平面上。这个过程就像拍照,把三维的人物景色拍到一张纸上,当然是希望能够尽可能地保留原来的信息。
在单细胞数据分析中我们认识了tsne以及umap这两种可视化技术。在2019年的Moon, van Dijk, Wang, Gigante et al. Visualizing Transitions and Structure for Biological Data Exploration. 2019. Nature Biotechnology.文章中作者用了新的算法(Potential of Heat-diffusion for Affinity-based Trajectory Embedding,PHATE )来实现单细胞数据的可视化,那么PHATE是怎样的一种算法呢?
以下是文章摘要:
由高通量技术创建的高维数据需要可视化工具以直观的形式显示数据结构和模式。我们提出了一种利用数据点之间的信息几何距离来捕获局部和全局非线性结构的可视化方法:PAHATE。我们将PHATE与各种人工和生物数据集上的其他可视化工具进行比较,发现它始终如一地在数据中保留一系列模式,包括连续的分化、分支和分群,比其他工具更好。我们定义了一个流形保藏度量,我们称之为去噪嵌入流形保藏(denoised embedding manifold preservation ,DEMaP),并证明了PHATE生成的低维嵌入在数量上比现有的可视化方法去噪效果更好。对新生成的单细胞RNA测序数据集的分析,显示了PHATE如何揭示对主要发育分支的独特生物学洞察力,包括识别三个以前未描述的亚群。我们还证明PHATE适用于多种数据类型,包括大规模细胞检测、单细胞RNA测序、Hi-C和肠道微生物组数据。
在单细胞数据PCA降维之后,就可以开始使用PHATE可视化数据了(同tsne与umap在单细胞数据分析中的位置相同)。我们将在一些数据集上演示PHATE分析。我们将展示:
- PHATE是如何工作的
- 在多个数据集上运行PHATE
- 如何解释PHATE图
- 使用扩散势(diffusion potential)进行聚类
- 如何为PHATE选择参数
- 如何排除PHATE图中的常见问题
什么是PHATE,为什么要使用它?
PHATE是Krishnaswamy实验室为可视化高维数据而开发的一种降维方法。我们使用PHATE处理来自实验室的每个数据集:scRNA-seq、CyTOF、肠道微生物组概况、模拟数据等。PHATE被设计用来处理数据点之间嘈杂的非线性关系。PHATE生成一个低维表示,它在数据集中同时保留本地和全局结构,因此您可以根据数据集中出现的单元之间关系的图进而形成对数据结构的全局认识。虽然PHATE可以用于多种数据模式的分析,但我们将重点讨论PHATE在scRNA-seq分析中的应用。
PHATE的灵感来自于扩散图(Coifman et al.(2008)),但它包含了几个关键的创新,这些创新使生成二维或三维可视化成为可能,从而保持细胞之间存在的连续关系。关于PHATE算法的完整解释,请参阅PHATE原稿(the PHATE manuscript)。
安装
pip install --user phate
PHATE 也可以在R或者MATLAB 中实现,但是我们今天为大家带来的是python的是实现。
PHATE参数
PHATE是sklearn的一个子类,它的API与PCA操作符的API匹配。要使用PHATE,您必须首先实例化一个PHATE。然后使用fit_transform来构建数据的图形,并降低数据的维数以实现可视化。
- n_components—设置PHATE将减少输入数据
- knn的维数—设置计算内核带宽衰减所需的最近邻
- decay —设置内核(kernel)尾部的衰减率
在scanpy的external接口中已经安排好了:
Help on function phate in module scanpy.external.tl._phate:
phate(adata: anndata._core.anndata.AnnData, n_components: int = 2, k: int = 5, a: int = 15, n_landmark: int = 2000, t: Union[int, str] = 'auto', gamma: float = 1.0, n_pca: int = 100, knn_dist: str = 'euclidean', mds_dist: str = 'euclidean', mds: scanpy._compat.Literal_ = 'metric', n_jobs: Union[int, NoneType] = None, random_state: Union[NoneType, int, numpy.random.mtrand.RandomState] = None, verbose: Union[bool, int, NoneType] = None, copy: bool = False, **kwargs) -> Union[anndata._core.anndata.AnnData, NoneType]
PHATE [Moon17]_.
Potential of Heat-diffusion for Affinity-based Trajectory Embedding (PHATE)
embeds high dimensional single-cell data into two or three dimensions for
visualization of biological progressions.
For more information and access to the object-oriented interface, read the
`PHATE documentation <https://phate.readthedocs.io/>`__. For
tutorials, bug reports, and R/MATLAB implementations, visit the `PHATE
GitHub page <https://github.com/KrishnaswamyLab/PHATE/>`__. For help
using PHATE, go `here <https://krishnaswamylab.org/get-help>`__.
Parameters
----------
adata
Annotated data matrix.
n_components
number of dimensions in which the data will be embedded
k
number of nearest neighbors on which to build kernel
a
sets decay rate of kernel tails.
If None, alpha decaying kernel is not used
n_landmark
number of landmarks to use in fast PHATE
t
power to which the diffusion operator is powered
sets the level of diffusion. If 'auto', t is selected
according to the knee point in the Von Neumann Entropy of
the diffusion operator
gamma
Informational distance constant between -1 and 1.
`gamma=1` gives the PHATE log potential, `gamma=0` gives
a square root potential.
n_pca
Number of principal components to use for calculating
neighborhoods. For extremely large datasets, using
n_pca < 20 allows neighborhoods to be calculated in
log(n_samples) time.
knn_dist
recommended values: 'euclidean' and 'cosine'
Any metric from `scipy.spatial.distance` can be used
distance metric for building kNN graph
mds_dist
recommended values: 'euclidean' and 'cosine'
Any metric from `scipy.spatial.distance` can be used
distance metric for MDS
mds
Selects which MDS algorithm is used for dimensionality reduction.
n_jobs
The number of jobs to use for the computation.
If `None`, `sc.settings.n_jobs` is used.
If -1 all CPUs are used. If 1 is given, no parallel computing code is
used at all, which is useful for debugging.
For n_jobs below -1, (n_cpus + 1 + n_jobs) are used. Thus for
n_jobs = -2, all CPUs but one are used
random_state
Random seed. Defaults to the global `numpy` random number generator
verbose
If `True` or an `int`/`Verbosity` ≥ 2/`hint`, print status messages.
If `None`, `sc.settings.verbosity` is used.
copy
Return a copy instead of writing to `adata`.
kwargs
Additional arguments to `phate.PHATE`
Returns
-------
Depending on `copy`, returns or updates `adata` with the following fields.
**X_phate** : `np.ndarray`, (`adata.obs`, shape=[n_samples, n_components], dtype `float`)
PHATE coordinates of data.
Examples
--------
from anndata import AnnData
import scanpy.external as sce
import phate
tree_data, tree_clusters = phate.tree.gen_dla(
n_dim=100,
n_branch=20,
branch_length=100,
)
tree_data.shape
(2000, 100)
adata = AnnData(tree_data)
sce.tl.phate(adata, k=5, a=20, t=150)
adata.obsm['X_phate'].shape
(2000, 2)
sce.pl.phate(adata)
什么是核(kernel)?
如果你从未学过图论或离散数学,最后两个参数可能会让你感到困惑。为了理解它们,考虑一个非常简单的图,k近邻图。这里,每个cell都是图中的一个节点,边存在于cell和它的k个近邻之间。你也可以把它想象成一个所有细胞都连接在一起的图,但是非相邻细胞之间的连接的强度或权值为0,而相邻细胞之间的边的权值为1。
kNN图为单细胞数据提供了一种非常强大的表示,但它也有一些缺点。例如,考虑以下图表:
在左边,我们有一个k=4的kNN图。请注意,所有的蓝色细胞,无论它们是否靠近红色细胞,其边缘的重量都是相等的。还要注意,右下角的绿色细胞与红色细胞没有任何联系,尽管它与相邻细胞的距离微不足道。kNN图的这两个性质,严格的边界和统一的边权值,意味着选择合适的k对于使用这个图的任何方法都是至关重要的。
了克服这些限制,我们使用了右侧径向基核图的一个变量。该图将具有边权值的单元格按其到红色单元格的距离比例连接起来。您可以将这个内核函数看作一个“软”kNN,其中的权值平滑地在0和1之间变化。注意:在实践中,所有cell在图实例化期间的一个阶段都是连接的,但是低于截止线(如1e-4)的边被设置为0。
既然您已经理解了这种区别,那么您可以将knn
参数看作是找到相近cell的基线,将decay
看作是边缘加权的“柔软度”。
在scanpy中的实现
import scanpy as sc
import scanpy.external as sce
from anndata import AnnData
import phate
results_file = 'E:\learnscanpy\write\pbmc3k.h5ad'
adata = sc.read_h5ad(results_file)
adata
AnnData object with n_obs × n_vars = 2223 × 2208
obs: 'n_genes', 'percent_mito', 'n_counts', 'percent_mito1', 'leiden'
var: 'gene_ids', 'feature_types', 'n_cells', 'highly_variable', 'means', 'dispersions', 'dispersions_norm'
uns: 'leiden', 'leiden_colors', 'leiden_sizes', 'neighbors', 'paga', 'pca', 'rank_genes_groups', 'umap'
obsm: 'X_pca', 'X_umap'
varm: 'PCs'
sce.tl.phate(adata, k=5, a=20, t=150)
adata.obsm['X_phate'].shape
(2223, 2)
adata
Out[75]:
AnnData object with n_obs × n_vars = 2223 × 2208
obs: 'n_genes', 'percent_mito', 'n_counts', 'percent_mito1', 'leiden'
var: 'gene_ids', 'feature_types', 'n_cells', 'highly_variable', 'means', 'dispersions', 'dispersions_norm'
uns: 'leiden', 'leiden_colors', 'leiden_sizes', 'neighbors', 'paga', 'pca', 'rank_genes_groups', 'umap'
obsm: 'X_pca', 'X_umap', 'X_phate'
varm: 'PCs'
我们在X_phate所降的维度中可视化一下之前用leiden聚类的结果:
sce.pl.phate(adata, color='leiden',color_map='tab20',)
在此结构上,我们也可以绘制基因的变化:
sce.pl.phate(adata, color='CD79A',color_map='tab20',)
其实众多的轨迹推断本质上也是学习一种低维的结构,以反映我们细胞之间的关系,也可以说是一种降维。至此,我们应该知道,降维至少在细胞中有过三次主要的应用:特征提取 ,可视化,轨迹推断。如果对降维的概念很难理解,那么可以把它们理解为一种排序分析:降维是一种排序,在低维空间中保持高维空间的主要次序。