GraRep

GraRep: Learning Graph Representations with Global Structural Information

一种基于全局信息的图结点特征向量学习算法

1.背景

DW相关方法,在经验上是有效的,但没有给出损失函数的具体定义。在本论文中,提出了一个明确的损失函数。

GraRep考虑两个信息:

  1. 两个顶点的长距离关系,
  2. 不同的 k-step

2.原理

2.1 Graphs and Their Representations

Definition 1. (Graph):一个信息网络被定义为G =(V,E),其中V是顶点集合,每个代表一个数据对象,E是顶点之间的边集,代表两个数据对象之间的关系。
邻接矩阵 :S 无权重的图中,邻接矩阵中的元素值为0 或者 1 ,0 表示两个顶点无连接、1表示两个顶点有链接;对于有权重的图,e_{i,j}表示从节点v_i 到节点v_j 的权重;在本文中只考虑非负权重情况;
度矩阵:D 表示节点v_i表的个数,由于使用矩阵表示,可该矩阵是一个对角矩阵,可以使用邻接矩阵S 定义


(1-step) probability , transition, matrix
一步概率转移矩阵:

假设: 节点
v_i
v_j
的转移概率,与 节点之间是否链接
S_{i,j}
成正比;
Definition 2. (Graph- Representations -with -Global- Structural- Information)


这里给出来定义节点
v_i
的embedding 向量对应矩阵
W
的每一行;
GraRep考虑两个信息:

  1. 两个顶点的长距离关系,
  2. 不同的 k-step
    k-step 可以获取图的全局结果信息,举例:

    1-step:两个节点直接相连;
    a vs e: a 中两个节点是强链接, e 中两个节点是弱连接;
    2-step:两个节点通过另外一个节点链接;
    b vs f: b 中 A1与A2 共享了很多邻居节点,共享链接越多,节点之间链接越强;
    3-step:两个节点通过另外两个节点链接;
    c vs g
    4-step:两个节点通过另外三个节点链接;
    d vs h

    上图a,节点ABC 的表示可以压缩成图b的形式,由于在计算中都转化为矩阵了,这种说明感觉是多余的。。。

2.2 Loss Function On Graph

k -step 转移概率为:


A_{i,j}^k
表示节点
i
到节点
j
的k -step 转移概率;假设节点
w
c
,定义节点
w
到节点
c
的转移概率是:

k-step loss function:


求导分解后看出,最后的结果是两个向量的乘机,而这两个向量对应图中的两个节点,也就是这个向量表示的节点信息。上面就出现了矩阵分解的过程:
Y=W·C

2.3 Optimization with Matrix Factorization

Y^k 可能为0 ,这里作非零处理;


下面就是SVD分解的过程,直接截图了。

2.4 ALGORITHM

3.源码

4.参考文献

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容