论文阅读“A probabilistic framework for multi-view feature learning with many-to-many associations via...

Okuno A, Hada T, Shimodaira H. A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks[C]//International Conference on Machine Learning. PMLR, 2018: 3888-3897.

预备知识

这部分主要是为了介绍在单视图的情况下，包含n个节点\{v_i\}_{i=1}^n的无向图的权重矩阵\{w_{ij}\}_{i,j=1}^n为一个对称矩阵，且w_{ii}=0。对于含有D个视图的多视图数据而言，节点v_i属于其中一个视图，并且该节点的表示可以记为{\bf x}_i \in \mathbb{R}^{p_{d_i}}（给定视图d_i，其对应的数据维度为p_{d_i}）。
假设\{w_{ij}\}_{i,j=1}^n, \{{\bf x}_i, d_i\}_{i=1}^n为可观测变量。将w_{ij}看作一个随机变量，考虑一个给定数据向量下，w_{ij}的条件概率参数模型。并且其对应的条件期望为：

即给定视图d_i，该视图中所有的数据向量\{{\bf x}_i, d_i\}_{i=1}^n都已知。这里作者的意思是由{\bf x}_i和d_i可以确定某个视图的数据矩阵表示。

概率模型

为了推导概率模型，首先考虑一个具有固定n个节点的随机图模型。对于每个时间点t=1,2,\cdots,T，依照如下的概率随机选择一个无序的节点对：

在时间点t选择节点对（v_i, v_j）的概率
在笔者的理解中，所谓的无序节点对(v_i, v_j)就是说：无论你取到的是(v_1, v_3)还是(v_3, v_1)，其对应的选取概率是一致的。因为在概率的分子部分，是对ij进行了排序：
因此，上述的概率的分子部分会被转化为\mu_{13}，且分母部分只是一个缩放因子，可忽略。在不同时间点的选取可以看作是有放回的选取。
因此，给定独立的观测：e_1, e_2, \cdots, e_T, 将由节点v_i和v_j产生的连接的数量定义为w_{ij}：

由此可以看出条件概率
服从于多项分布，加和为1。
假设T服从均值\lambda为\sum_{1 \le i < j \le n} \mu_{ij}的泊松分布（泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。），概率\{w_{ij}\}_{1 \le i < j \le n}为：
其中，p(w; \mu)为具有均值\mu的泊松分布的概率函数。因此，每个w_{ij}独立的服从于 泊松分布：
在泊松分布中，一般w_{ij}的取值为一个非负的整数，但在本文的似然计算中w_{ij}允许取到任意的非负实值。
下面是整个概率模型的描述：
说实话。。 没怎么看懂

PMvGE

为了计算泊松分布中涉及到的\mu_{ij}

本文设计了一个内积相似性：
由如下的多输入神经网络将每个视图的数据向量\{{\bf x}_i\}映射到一个共享空间中的特征向量{\bf y}_i：
即节点v_i和v_j的概率通过特征向量之间的相似性相关联。具有相似特征向量的节点将共享许多链接。

某些视图对之间的链接权重可能会缺失

在模型中考虑所有的视图对链接权重是不太现实的。因此在本文中考虑无序视图对集合：
极大似然估计量

由上诉两个式子，可以指定对数似然函数：
其中\mathcal{I}_n:=\{(i,j)|{1 \le i < j \le n}, (d_i,d_j) \in \mathcal{D}\}通过最大化（6）式可以估计(\alpha, \psi)并同时满足在(d,e ) \notin \mathcal{D}时

emmmm...每一块都感觉自己看懂了，但是好像不太能连接成一个完整得多视图概率模型。。请大佬们批评指正

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容