前言
大家好，我是阿光。
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
正在更新中~ ✨
🚨 我的项目环境：
- 平台：Windows10
- 语言环境：python3.7
- 编译器：PyCharm
- PyTorch版本：1.8.1
💥 项目专栏：【PyTorch深度学习项目实战100例】
一、基于LSTM实现春联上联对下联、
在这里插入图片描述
在这里插入图片描述
《天对地，雨对风，向量对加班？这个脑洞清奇的对联AI，大家都玩疯了》，看到现在的生成技术已经炉火纯青，做出的故事真假难辨。正巧最近学习了LSTM模型，通过参考诸多文本生成的相关项目，写了这个自动对春联的项目。
二、数据集介绍
背景描述
该数据集包含了超过70万副的中文对联数据。
数据说明
数据集包含5个文件：
- train_in.txt: 对联的上联。每行都是一个输入，每个词都用空格隔开。(训练集的输入)
- train_out.txt:对联的下联。每行都是一个输出。对应着 train_in.txt的每一行。每个词都用空格隔开。 (训练集的输出)
- test_in.txt : 对联的上联。每行都是一个输入，每个词都用空格隔开。(测试集的输入)
- test_out.txt : 对联的下联。每行都是一个输出。对应着 test_in.txt的每一行。每个词都用空格隔开。 (测试集的输出)
- vocabs: 词汇文件，它将用于在seq2seq模式下进行训练。
数据来源
https://www.heywhale.com/mw/dataset/5c46e6f42d8ef5002b736d6d/content
很感谢这位博主的贡献。
三、网络结构
在这里插入图片描述
项目中使用的模型是LSTM，在模型中我们定义了三个组件，分别是embedding层，lstm层和全连接层。
- Embedding层：将每个词生成对应的
嵌入向量，就是利用一个连续型向量来表示每个词 - Lstm层：提取语句中的语义信息
- Linear层：将结果映射成vocab_size大小用于多分类，即每个字的概率
注意：在LSTM网络中返回的值为每一个时间片的输出，而不是将最后一个output全部输出
# 定义网络结构
class LSTM(nn.Module):
def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers):
super(LSTM, self).__init__()
self.hidden_dim = hidden_dim
self.embeddings = nn.Embedding(vocab_size + 1, embedding_dim)
self.lstm = nn.LSTM(embedding_dim, hidden_dim, num_layers)
self.linear = nn.Linear(hidden_dim, vocab_size)
def forward(self, x):
time_step, batch_size = x.size() # 124, 16
embeds = self.embeddings(x)
output, (h_n, c_n) = self.lstm(embeds)
output = self.linear(output.reshape(time_step * batch_size, -1))
# 要返回所有时间点的数据，每个时间点对应一个字，也就是vocab_size维度的向量
return output
四、预测下联函数
首先将我们需要预测的上联传入函数，然后将这个上联映射成相应的序号，形成数值向量，然后将其转成tensor，然后加载模型，然后将其送入模型，获得下联对应的输出，然后将输出的向量进行argmax获取预测出概率最大的字，然后将其映射成汉字形成古诗。
def couplet_match(s):
# 将字符串转为数值
x = [word2idx[word] for word in s]
# 将数值向量转为tensor
x = torch.from_numpy(np.array(x).reshape(-1, 1))
# 加载模型
model_path = './best_model.pkl'
model = LSTM(vocab_size=vocab_size, hidden_dim=hidden_dim,
embedding_dim=embedding_dim, num_layers=num_layers)
model.load_state_dict(torch.load(model_path, 'cpu'))
y = model(x)
y = y.argmax(axis=1)
r = ''.join([idx2word[idx.item()] for idx in y])
print('上联：%s，下联：%s' % (s, r))
完整源码
【PyTorch深度学习项目实战100例】—— 基于LSTM实现春联上联对下联 | 第14例_Bi 8 Bo的博客-CSDN博客
