1. easy_install 不推荐
easy_install torch -i https://pypi.tuna.tsinghua.edu.cn/simple
结果被告知推荐
2. torch.nn.Linear
Linear — PyTorch 2.0 documentation
下面正文来源于：PyTorch中的torch.nn.Linear详解_L_bloomer的博客-CSDN博客
1）nn.Linear是一个类，使用时进行类的实例化
2）实例化的时候，nn.Linear需要输入两个参数，in_features为上一层神经元的个数，out_features为这一层的神经元个数
3）不需要定义w和b。所有nn.Module的子类，形如nn.XXX的层，都会在实例化的同时随机生成w和b的初始值。所以实例化之后，我们就可以调用属性weight和bias来查看生成的w和b。其中w是必然会生成的，b是我们可以控制是否要生成的。在nn.Linear类中，有参数bias，默认 bias = True。如果我们希望不拟合常量b，在实例化时将参数bias设置为False即可。
4）由于w和b是随机生成的，所以同样的代码多次运行后的结果是不一致的。如果我们希望控制随机性，则可以使用torch中的random类。如：torch.random.manual_seed(420) #人为设置随机数种子
5）由于不需要定义常量b，因此在特征张量中，不需要留出与常数项相乘的那一列，只需要输入特征张量。
6）输入层只有一层，并且输入层的结构（神经元的个数）由输入的特征张量X决定，因此在PyTorch中构筑神经网络时，不需要定义输入层。
7）实例化之后，将特征张量输入到实例化后的类中。
————————————————
3. torch.bmm
bmm的全称 batch matrix multiplication，两个具有相同批次大小的三维张量的矩阵乘法
下面正文来源于 torch.bmm释义_torch銆俠mm_高山莫衣的博客-CSDN博客
torch.bmm 要求输入的两个张量都具有三个维度，形状分别为 (batch_size, n, m) 和 (batch_size, m, p)，其中 batch_size 表示批次大小，n、m 和 p 分别表示矩阵的行数和列数。
torch.bmm 函数将执行批量矩阵相乘的操作，计算每个批次中对应位置的两个矩阵的乘积。它返回一个具有形状 (batch_size, n, p) 的新张量，其中每个批次的结果矩阵是对应位置的输入矩阵相乘的结果。
import torch
# 创建两个具有相同批次大小的三维张量
batch_size = 2
n = 3
m = 4
p = 5
x = torch.randn(batch_size, n, m)
y = torch.randn(batch_size, m, p)
# 执行批量矩阵相乘操作
result = torch.bmm(x, y)
# 打印结果张量的形状
print(result.shape) # torch.Size([2, 3, 5])
————————————————
在这个示例中，我们创建了两个具有相同批次大小的三维张量 x 和 y。它们的形状分别为 (2, 3, 4) 和 (2, 4, 5)。然后，我们使用 torch.bmm 对这两个张量进行批量矩阵相乘操作，并将结果存储在 result 张量中。最后，打印出结果张量的形状是 (2, 3, 5)。
————————————————
torch.bmm 要求输入张量的维度满足特定的条件，并且批次大小必须相同。
如果输入的张量不满足要求，将会引发错误。
因此，在使用 torch.bmm 之前，请确保输入张量的维度和批次大小是符合要求的。
————————————————
4. softmax
回忆softmax函数的公式，用numpy来表示一目了然：
import numpy as np
def softmax(x):
exp_x =np.exp(x)
sum_exp =np.sum(exp_x)
softmax_x = exp_x / sum_exp
return softmax_x
5. torch实现基本的Attention
下面正文来源于：【NLP相关】attention的代码实现_attention pytorch 实现_Chaos_Wang_的博客-CSDN博客
class AttentionLayer(nn.Module):
def __init__(self, input_size, output_size):
super(AttentionLayer, self).__init__()
self.input_proj = nn.Linear(input_size, output_size, bias=False)
self.output_proj = nn.Linear(output_size, output_size, bias=False)
我们假设
输入序列是一个由n 个词语组成的序列
输出序列是一个由m 个标签组成的序列
初始的处理是保持output_size是一致的
————————————————
在定义完网络层之后，我们需要实现Attention的计算过程。在本文中，我们将使用加性Attention的计算方式。
具体来说，我们需要计算每一个输入词语与输出标签之间的相似度，然后将相似度进行归一化处理，最终得到一个由n个归一化的权重组成的向量。代码如下所示：
def forward(self, inputs, outputs):
inputs = self.input_proj(inputs) # (batch_size, n, input_size) -> (batch_size, n, output_size)
outputs = self.output_proj(outputs) # (batch_size, m, output_size) -> (batch_size, m, output_size)
scores = torch.bmm(inputs, outputs.transpose(1, 2)) # (batch_size, n, output_size) * (batch_size, output_size, m) -> (batch_size, n, m)
weights = F.softmax(scores, dim=1) # (batch_size, n, m)
return weights
————————————————
首先，将输入序列和输出序列分别进行线性变换，并计算它们之间的相似度。
然后，我们使用softmax函数将相似度进行归一化处理，从而得到一个n × m 的归一化权重矩阵。
最后，我们可以将Attention计算的结果与输入序列相乘，得到一个由m 个加权输入向量组成的向量。
代码如下所示：
— — — — — — — — — — — — — — — —
class AttentionLayer(nn.Module):
def __init__(self, input_size, output_size):
super(AttentionLayer, self).__init__()
self.input_proj = nn.Linear(input_size, output_size, bias=False)
self.output_proj = nn.Linear(output_size, output_size, bias=False)
def forward(self, inputs, outputs):
inputs = self.input_proj(inputs) # (batch_size, n, input_size) -> (batch_size, n, output_size)
outputs = self.output_proj(outputs) # (batch_size, m, output_size) -> (batch_size, m, output_size)
scores = torch.bmm(inputs, outputs.transpose(1, 2)) # (batch_size, n, output_size) * (batch_size, output_size, m) -> (batch_size, n, m)
weights = F.softmax(scores, dim=1) # (batch_size, n, m)
context = torch.bmm(weights.transpose(1, 2), inputs) # (batch_size, m, n) * (batch_size, n, output_size) -> (batch_size, m, output_size)
return context
在上述代码中，我们将归一化权重矩阵和输入序列进行矩阵乘法运算，得到一个由m个加权输入向量组成的向量。
这个向量就是Attention模型的输出结果。
至此，我们已经完成了Attention模型的代码实现。
————————————————
当然，这只是一个基本的Attention模型，它还可以通过增加更多的层来提升性能，比如Multi-Head Attention等。
同时，在使用Attention模型时还需要考虑到一些细节问题，比如
输入序列的长度不一定相同、
输出序列的长度也不一定相同等。
因此，Attention模型的具体实现方式还需要根据具体的任务来进行设计和调整。
————————————————
