参考链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN/Markdown%E7%89%88%E6%9C%AC/6-1-%E6%95%B0%E6%8D%AE%E5%AE%8C%E6%95%B4%E5%AD%98%E4%BA%8E%E5%86%85%E5%AD%98%E7%9A%84%E6%95%B0%E6%8D%AE%E9%9B%86%E7%B1%BB.md
https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN/Markdown%E7%89%88%E6%9C%AC/6-2-%E8%8A%82%E7%82%B9%E9%A2%84%E6%B5%8B%E4%B8%8E%E8%BE%B9%E9%A2%84%E6%B5%8B%E4%BB%BB%E5%8A%A1%E5%AE%9E%E8%B7%B5.md
第一节、数据完全存于内存的数据集类
一、在PyG中自定义数据完全存于内存的数据集类
PyG定义使用数据的一般过程：
1.从网上下载原始数据；
2.对原始数据预处理，为每一个图样本生成一个Data对象；
3.对每一个Data对象执行数据处理，使其转换成新的Data对象；
4.过滤Data对象；
5.保存Data对象到文件；
6.获取Data对象，在每一次获取Data对象时，都先对Data对象做数据变换（于是获取到的是数据变换后的Data对象）。
实际中并非需要严格执行每一个步骤，以上步骤在特定的条件下可以被跳过。
二、InMemoryDataset基类简介
在PyG中，通过继承InMemoryDataset 类来自定义一个数据可全部存储到内存的数据集类。
class InMemoryDataset(root: Optional[str] = None,transform: Optional[Callable] = None, pre_transform:Optional[Callable] = None, pre_filter:Optional[Callable] = None)
InMemoryDataset类初始化方法参数说明:
- root：字符串类型，存储数据集的文件夹的路径。该文件夹下有两个文件夹：
一个文件夹记录在raw_dir，它用于存储未处理的文件；
另一个文件夹记录在processed_dir，它用于存储处理后的数据，以后从此文件夹下加载文件即可获得Data对象。
注：raw_dir和processed_dir都是属性方法，可以自定义要使用的文件夹。 - transform 函数：接受Data 对象为参数，对其转换后返回。此函数在每一次数据访问时被调用，主要用于数据增广（Data Augmentation）。
- pre_transform 函数：接受 Data 对象为参数，对其转换后返回。此函数在样本 Data 对象保存到文件前调用，主要用于只需要做一次的大量预计算。
- pre_filter 函数：可以在保存前手动过滤掉数据对象。例如：过滤样本类别。
创建一个InMemoryDataset，要实现以下四个基本方法：
1.raw_file_names() —— 这是一个属性方法，返回一个文件名列表，文件在raw_dir 文件夹中，否则调用process() 函数下载文件到raw_dir 文件夹。
2.processed_file_names()——这是一个属性方法，返回一个文件名列表，文件在processed_dir 文件夹中，否则调用process() 函数对样本做预处理，然后保存到processed_dir 文件夹。
3.download() ——将原始数据文件下载到raw_dir 文件夹。
4.process() ——对样本做预处理，然后保存到processed_dir 文件夹。
三、InMemoryDataset数据集类实例
以公开数据集PubMed 为例。PubMed 数据集存储的是文章引用网络，文章对应图的结点，如果两篇文章存在引用关系（无论引用与被引），则这两篇文章对应的结点之间存在边。
该数据集类的使用：
在生成一个PlanetoidPubMed 类的对象时，程序运行流程如下：
- 首先检查数据原始文件是否已下载：
检查self.raw_dir 目录下是否存在raw_file_names() 属性方法返回的每个文件，如有文件不存在，则调用download() 方法执行原始文件下载。 - 其次检查数据是否经过处理：
1.检查之前对数据做变换的方法：检查self.processed_dir 目录下是否存在pre_transform.pt 文件。
2.检查之前样本过滤的方法：检查self.processed_dir 目录下是否存在pre_filter.pt 文件。
3.检查是否存在处理好的数据：检查self.processed_dir 目录下是否存在self.processed_paths 方法返回的所有文件。 - 最后查看这个数据集。
第二节、节点预测与边预测任务实践
一、目标
能够掌握应对实际中节点预测问题或边预测问题的能力。
二、节点预测任务实践
首先定义GAT（注意力机制层）神经网络模型：
class GAT(torch.nn.Module):
def __init__(self, num_features,
hidden_channels_list, num_classes):
super(GAT, self).__init__()
torch.manual_seed(12345)
hns = [num_features] + hidden_channels_list
conv_list = []
for idx in range(len(hidden_channels_list)):
conv_list.append((GATConv(hns[idx],
hns[idx+1]), 'x, edge_index -> x'))
conv_list.append(ReLU(inplace=True),)
self.convseq = Sequential('x, edge_index',conv_list)
self.linear = Linear(hidden_channels_list[-1],num_classes)
def forward(self, x, edge_index):
x = self.convseq(x, edge_index)
x = F.dropout(x, p=0.5, training=self.training)
x = self.linear(x)
return x
- 神经网络由多个GATConv 顺序相连而构成，因此此模型使用了torch_geometric.nn.Sequential 容器。
- 通过hidden_channels_list参数来设置每一层GATConv的outchannel，所以hidden_channels_list长度即为GATConv的层数。通过修改hidden_channels_list，就可构造出不同的图神经网络。
完整的代码可见于codes/node_classification.py。
三、边预测任务实践
边预测任务，目标是预测两个节点之间是否存在边。一个图数据集会有节点属性x和边端点edge_index。而edge_index存储的是正样本，没有负样本。为了构建边预测任务，需要生成一些负样本，即采样一些不存在边的节点对作为负样本边，正负样本数量要平衡。要将样本分为训练集、验证集和测试集，进行模型训练，验证和预测。可以通过train_test_split_edges函数随机切分实现。
3.1获取数据集并进行分析
import os.path as osp
from torch_geometric.utils import negative_sampling
from torch_geometric.datasets import Planetoid
import torch_geometric.transforms as T
from torch_geometric.utils import train_test_split_edges
注意：
为什么训练集要包含边的正向与反向，而验证集与测试集都只包含了边的一个方向？
因为，训练集用于训练，训练时一条边的两个端点要互传信息，只考虑一个方向的话，只能由一个端点传信息给另一个端点，而验证集与测试集的边用于衡量检验边预测的准确性，只需考虑一个方向的边即可。
3.2构造边预测图神经网络
import torch
from torch_geometric.nn import GCNConv
class Net(torch.nn.Module):
def __init__(self, in_channels, out_channels):
super(Net, self).__init__()
self.conv1 = GCNConv(in_channels, 128)
self.conv2 = GCNConv(128, out_channels)
def encode(self, x, edge_index):
x = self.conv1(x, edge_index)
x = x.relu()
return self.conv2(x, edge_index)
def decode(self, z, pos_edge_index, neg_edge_index):
edge_index = torch.cat([pos_edge_index, neg_edge_index], dim=-1)
return (z[edge_index[0]] * z[edge_index[1]]).sum(dim=-1)
def decode_all(self, z):
prob_adj = z @ z.t()
return (prob_adj > 0).nonzero(as_tuple=False).t()
边预测的神经网络主要由两部分组成：
- 编码（encode）：与节点表征生成一样；
- 解码（decode）：根据边两端节点的表征生成边为真的几率（odds）。
3.3训练边预测图神经网络
步骤如下：
Step1：定义单个epoch的训练过程；
Step2：定义单个epoch验证与测试过程；
Step3：运行完整的训练、验证与测试。
四、总结
通过上面所学的知识，我学会了：
1.更好的理解InMemoryDataset基类、简化的InMemory数据集类和数据集的使用及代码的实现，虽然很多模型是已经构建好的，但是很多代码还是需要多花点时间吸收和实践的。
2.更加深刻的理解节点预测与边预测的运用，以及如何合理的运用数据建立模型。
3.非常感谢DataWhale提供这么好的学习机会以及DW成员们的辛勤付出。
