PyTorch深度学习笔记（4）：完整实现一个多层神经网络的正向传播

本文将通过一个例子，使用torch.nn中Module类的继承来完整实现一个多层神经网络的正向传播过程。此外，文中将介绍类继承过程中定义init()函数时super()的用法，以及我们从Module类中继承的比较重要的属性和方法。

使用类继承构建多层神经网络

我们有500条数据，20个特征，标签3分类。我们要实现一个三层神经网络，架构是：第一层有13个神经元，第二层有8个神经元，第三层是输出层。第一层的激活函数是ReLU，第二层的激活函数是sigmoid。

import torch
import torch.nn as nn
from torch.nn import functional as F

torch.manual_seed(56)
X = torch.rand((500,20), dtype=torch.float32)
y = torch.randint(low=0, high=3, size=(500,1), dtype=torch.float32)

class Model(nn.Module):

    def __init__(self, in_feature=10, out_feature=2):
        super(Model, self).__init__() # super(请查找这个类的父类，请使用找到的父类替换现在的类)
        self.linear1 = nn.Linear(in_feature, 13)
        self.linear2 = nn.Linear(13, 8)
        self.output = nn.Linear(8, out_feature)
    
    def forward(self, X):
        z1 = self.linear1(X)
        sigma1 = torch.relu(z1)
        z2 = self.linear2(sigma1)
        sigma2 = torch.sigmoid(z2)
        z3 = self.output(sigma2)
        sigma3 = torch.softmax(z3, dim=1)
        return sigma3

input_ = X.shape[1]
output_ = len(y.unique())

torch.manual_seed(56)

# 实例化
net = Model(input_, output_)

# 实例化之后，每一层上的 w 和 b 都已经生成，可以查看
print(net.linear1.weight)

Parameter containing:tensor([[ 0.2026, 0.0271, -0.0655, 0.1992, -0.0145, 0.1020, -0.1002, -0.0119, 0.1066, 0.0126, -0.1245, 0.1228, -0.0226, -0.1017, -0.0427, 0.0562, 0.0399, 0.0065, -0.1053, -0.0780], [-0.0044, -0.0905, -0.1948, -0.1288, 0.0267, -0.0784, 0.0582, 0.1223, 0.1214, -0.0681, 0.0774, -0.0114, 0.0150, -0.2039, 0.1884, 0.0838, 0.1620, -0.0970, 0.0030, 0.0983], [ 0.0034, -0.0205, -0.0287, 0.0819, -0.1646, 0.1251, -0.2007, -0.1593, 0.1860, 0.1312, -0.1645, -0.1109, 0.1805, 0.1280, 0.1205, -0.1404, -0.0050, 0.0415, 0.0679, 0.1617], [ 0.1565, -0.2119, 0.2214, -0.1548, -0.0585, 0.0377, 0.0187, -0.0099, -0.0367, -0.1063, -0.1026, -0.0885, 0.0888, 0.0392, 0.1710, -0.0955, -0.0967, -0.0941, 0.0679, 0.0539], [ 0.2006, 0.1116, -0.1920, -0.0584, -0.1183, 0.1780, -0.0776, 0.1301, 0.0225, -0.1157, -0.0586, -0.1633, 0.0332, -0.1661, -0.2216, 0.0909, 0.0035, 0.0275, -0.1320, -0.2099], [ 0.0762, 0.2087, -0.1018, -0.0233, 0.0147, -0.0665, -0.1019, -0.0983, -0.1971, -0.1417, -0.1219, -0.0593, -0.1787, -0.2178, -0.0356, -0.2212, -0.0416, 0.0761, 0.1950, 0.1866], [ 0.1036, -0.1731, 0.1797, -0.2172, -0.0448, 0.0914, -0.2102, 0.0303, -0.0822, 0.1774, 0.1678, 0.0384, 0.1171, -0.1475, 0.1399, -0.0578, -0.1034, -0.0722, 0.0257, -0.0691], [ 0.0394, 0.1864, -0.0188, -0.1142, -0.0841, 0.1724, -0.1236, 0.1582, -0.0204, -0.1540, -0.1656, 0.0723, 0.1526, -0.0112, -0.0990, 0.2153, -0.1883, -0.1261, 0.2181, -0.1545], [-0.1471, -0.0359, -0.1284, 0.0367, -0.1642, -0.0769, -0.1434, -0.1353, -0.1595, 0.0540, 0.1359, 0.0225, 0.1264, -0.0603, -0.1693, 0.1690, -0.2070, 0.0350, -0.0659, -0.2145], [-0.0391, 0.1117, 0.1956, 0.1395, 0.2217, -0.0992, 0.0012, -0.1885, -0.1674, 0.1267, 0.1073, -0.2163, -0.1634, 0.0895, -0.0980, -0.0037, 0.0815, 0.1362, -0.0230, 0.0268], [ 0.1751, 0.0276, 0.1156, -0.1230, -0.1476, -0.0380, -0.2219, 0.0996, -0.0029, -0.2091, 0.0052, -0.1022, -0.1394, -0.0248, -0.0215, 0.0547, -0.1111, 0.0430, 0.1161, -0.1190], [ 0.0270, -0.0523, -0.0982, -0.0415, 0.1254, 0.1723, 0.0973, -0.1121, 0.0741, 0.0173, -0.1774, 0.0391, 0.1747, -0.0288, -0.0660, -0.1328, -0.2027, -0.2232, -0.1593, -0.1749], [ 0.0069, -0.1624, -0.0700, -0.1098, 0.2032, 0.2161, -0.1614, -0.1776, 0.1222, 0.1241, -0.1250, -0.0562, -0.0095, -0.1720, 0.2203, 0.0983, 0.0642, 0.2053, -0.1722, -0.1754]], requires_grad=True)

net.linear1.weight.shape

torch.Size([13, 20])

print(net.linear1.bias)

Parameter containing:tensor([ 0.0224, 0.0952, -0.2218, 0.1198, -0.1646, -0.1156, -0.1916, -0.2218, 0.1555, -0.1998, 0.1357, -0.2001, -0.1915], requires_grad=True)

# 代入数据，查看正向传播结果
sigma = net.forward(X)
print(sigma)

tensor([[0.3321, 0.2617, 0.4063], [0.3346, 0.2569, 0.4085], [0.3465, 0.2532, 0.4002], ..., [0.3382, 0.2543, 0.4075], [0.3332, 0.2598, 0.4069], [0.3359, 0.2578, 0.4062]], grad_fn=<SoftmaxBackward>)

print(sigma.max(axis=1))

此处代码结果展示省略

关于类中 super() 函数的用法

当我们用继承父类的方式定义一个类时，所定义的类自动继承了父类中的方法和属性，除了定义在父类 __init__()中的属性。

我们用下面的例子来具体说明：

# 建立一个父类
class FooParent(object):

    def __init__(self):
        self.parent = "PARENT!!"
        print("Parent running __init__")
    
    def bar(self, message):
        self.bar = "This is a bar"
        print("%s from Parent" %message)
        
# 实例化 FooParent，实例化的瞬间，运行了 FooParent 的 __init__ 函数
FooParent()

Parent running __init__

<__main__.FooParent at 0x1553bf88a00>

# 查看实例化后 __init__  中定义的属性 .parent
FooParent().parent

Parent running __init__

'PARENT!!'

# 建立一个子类
class FooChild(FooParent):

    def __init__(self):
        print("Child running __init__")

# 实例化 FooChild，实例化的瞬间，运行了 FooChild 的 __init__ 函数
FooChild()

Child running __init__

<__main__.FooChild at 0x1553bf88580>

# FooChild 继承了 FooParent 中的属性和方法
FooChild().bar("hello world")

Child running __init__

hello world from Parent

# FooChild 没有继承 FooParent 的 __init__() 中的属性
FooChild().parent

Child running __init__

AttributeError
: 'FooChild' object has no attribute 'parent'

# 重新建立一个 FooChild 的子类，并使用super函数

class FooChild(FooParent):

    def __init__(self):
        super(FooChild, self).__init__()
        print("Child running __init__")
        
# 实例化重新建立的 FooChild，实例化的瞬间，运行了 FooChild 的 __init__ 函数
FooChild()

Parent running __init__

Child running __init__

<__main__.FooChild at 0x1553bf88a90>

# 重新建立的 FooChild 继承了 FooParent 的 __init__() 中的属性
FooChild().parent

Parent running __init__

Child running __init__

'PARENT!!'

如果想要在子类__init__()中定义一个和父类中同名的属性并取代父类中该属性，请确保在执行super()函数后再重新定义该属性。

class FooChild(FooParent):

    def __init__(self):
        self.parent = "HAHA"
        super(FooChild, self).__init__()
        print("Child running __init__")


FooChild().parent

Parent running __init__

Child running __init__

'PARENT!!'

在上述例子中，由于FooChild子类中的parent属性先于super()函数，被FooParent中的parent属性所覆盖。我们将代码中的顺序调换：

class FooChild(FooParent):

    def __init__(self):
        super(FooChild, self).__init__() # 先运行super()函数
        self.parent = "HAHA" # 再重新定义parent属性
        print("Child running __init__")

FooChild().parent

Parent running __init__

Child running __init__

'HAHA'

此时，输出的parent属性即为在FooChild子类中自定义的parent属性。

在我们通过继承 nn.Module 来构建多层神经网络时，使用super()函数十分重要，否则神经网路的向前传播将无法进行。

从 nn.Module 中继承的比较重要的属性和方法

回到一开始我们自己建立的多层神经网络正向传播的类Model，看看有哪些比较重要的属性和方法。

input_ = X.shape[1]
output_ = len(y.unique())

torch.manual_seed(56)

# 实例化
net = Model(input_, output_)
net.training

True

# 使用GPU运行net
# net.cuda()

# 使用CPU运行net
# net.cpu()

# net.parameters(): 一个迭代器，可以通过循环的方式查看里面的内容
# 里面为整个神经网络全部的参数值，包括所有 w 和 b 

for param in net.parameters():
    print(param)

此处代码结果展示省略

net.linear1.weight

此处代码结果展示省略

# 只输出 net.linear1.weight 中的 tensor 中的内容
net.linear1.weight.data

tensor([[ 0.2026, 0.0271, -0.0655, 0.1992, -0.0145, 0.1020, -0.1002, -0.0119, 0.1066, 0.0126, -0.1245, 0.1228, -0.0226, -0.1017, -0.0427, 0.0562, 0.0399, 0.0065, -0.1053, -0.0780], [-0.0044, -0.0905, -0.1948, -0.1288, 0.0267, -0.0784, 0.0582, 0.1223, 0.1214, -0.0681, 0.0774, -0.0114, 0.0150, -0.2039, 0.1884, 0.0838, 0.1620, -0.0970, 0.0030, 0.0983], [ 0.0034, -0.0205, -0.0287, 0.0819, -0.1646, 0.1251, -0.2007, -0.1593, 0.1860, 0.1312, -0.1645, -0.1109, 0.1805, 0.1280, 0.1205, -0.1404, -0.0050, 0.0415, 0.0679, 0.1617], [ 0.1565, -0.2119, 0.2214, -0.1548, -0.0585, 0.0377, 0.0187, -0.0099, -0.0367, -0.1063, -0.1026, -0.0885, 0.0888, 0.0392, 0.1710, -0.0955, -0.0967, -0.0941, 0.0679, 0.0539], [ 0.2006, 0.1116, -0.1920, -0.0584, -0.1183, 0.1780, -0.0776, 0.1301, 0.0225, -0.1157, -0.0586, -0.1633, 0.0332, -0.1661, -0.2216, 0.0909, 0.0035, 0.0275, -0.1320, -0.2099], [ 0.0762, 0.2087, -0.1018, -0.0233, 0.0147, -0.0665, -0.1019, -0.0983, -0.1971, -0.1417, -0.1219, -0.0593, -0.1787, -0.2178, -0.0356, -0.2212, -0.0416, 0.0761, 0.1950, 0.1866], [ 0.1036, -0.1731, 0.1797, -0.2172, -0.0448, 0.0914, -0.2102, 0.0303, -0.0822, 0.1774, 0.1678, 0.0384, 0.1171, -0.1475, 0.1399, -0.0578, -0.1034, -0.0722, 0.0257, -0.0691], [ 0.0394, 0.1864, -0.0188, -0.1142, -0.0841, 0.1724, -0.1236, 0.1582, -0.0204, -0.1540, -0.1656, 0.0723, 0.1526, -0.0112, -0.0990, 0.2153, -0.1883, -0.1261, 0.2181, -0.1545], [-0.1471, -0.0359, -0.1284, 0.0367, -0.1642, -0.0769, -0.1434, -0.1353, -0.1595, 0.0540, 0.1359, 0.0225, 0.1264, -0.0603, -0.1693, 0.1690, -0.2070, 0.0350, -0.0659, -0.2145], [-0.0391, 0.1117, 0.1956, 0.1395, 0.2217, -0.0992, 0.0012, -0.1885, -0.1674, 0.1267, 0.1073, -0.2163, -0.1634, 0.0895, -0.0980, -0.0037, 0.0815, 0.1362, -0.0230, 0.0268], [ 0.1751, 0.0276, 0.1156, -0.1230, -0.1476, -0.0380, -0.2219, 0.0996, -0.0029, -0.2091, 0.0052, -0.1022, -0.1394, -0.0248, -0.0215, 0.0547, -0.1111, 0.0430, 0.1161, -0.1190], [ 0.0270, -0.0523, -0.0982, -0.0415, 0.1254, 0.1723, 0.0973, -0.1121, 0.0741, 0.0173, -0.1774, 0.0391, 0.1747, -0.0288, -0.0660, -0.1328, -0.2027, -0.2232, -0.1593, -0.1749], [ 0.0069, -0.1624, -0.0700, -0.1098, 0.2032, 0.2161, -0.1614, -0.1776, 0.1222, 0.1241, -0.1250, -0.0562, -0.0095, -0.1720, 0.2203, 0.0983, 0.0642, 0.2053, -0.1722, -0.1754]])

# 替换 net.linear1.weight 中的 tensor 中的内容
net.linear1.weight.data.fill_(0)

tensor([[0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]])

# 重新查看 net.linear1.weight.data 中的内容
net.linear1.weight.data

tensor([[0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], [0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]])

# net.apply(): 对__init__()中所有的对象（全部层）都执行同样的操作

def initial_0(m):
    # 参数 m 代表层
    print(m)
    if type(m) == nn.Linear:
        m.weight.data.fill_(0)
        print(m.weight)

net.apply(initial_0)

此处代码结果展示省略

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 203,456评论 5赞 477
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,370评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,337评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,583评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,596评论 5赞 365
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,572评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,936评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,595评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,850评论 1赞 297
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,601评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,685评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,371评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,951评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,934评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,167评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 43,636评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,411评论 2赞 342

PyTorch深度学习笔记（4）：完整实现一个多层神经网络的正向传播

使用类继承构建多层神经网络

从 nn.Module 中继承的比较重要的属性和方法

推荐阅读更多精彩内容