Pytorch 里面model部分属性简析

class MyNet(nn.Module):

    def __init__(self,n_classes=2, input_length=1014, input_dim=68,

                n_conv_filters=256,

                n_fc_neurons=1024):

        super().__init__()

        self.feature1 = nn.Sequential(nn.Conv1d(input_dim, n_conv_filters, kernel_size=7, padding=0), nn.ReLU(), nn.MaxPool1d(3))

        self.feature2 = nn.Sequential(nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=7, padding=0), nn.ReLU(), nn.MaxPool1d(3))

        self.feature3 = nn.Sequential(nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=3, padding=0), nn.ReLU())

        self.feature4 = nn.Sequential(nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=3, padding=0), nn.ReLU())

        self.feature5 = nn.Sequential(nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=3, padding=0), nn.ReLU())

        self.feature6 = nn.Sequential(nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=3, padding=0), nn.ReLU(), nn.MaxPool1d(3))

        self.conv1 = nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=3, padding=0)

        self.conv2 = nn.Conv1d(n_conv_filters, n_conv_filters, kernel_size=3, padding=0)

        self.maxpool =  nn.MaxPool1d(3)

        self.classifier=nn.Sequential(nn.Linear(265,50),nn.ReLU(),nn.Linear(50,25),nn.ReLU(),nn.Linear(25,2))

    def forward(self,x):

        x=self.feature1(x)

        x=self.feature2(x)

        x=self.feature3(x)

        x=self.feature4(x)

        x=self.feature5(x)

        x=self.feature6(x)

        x=self.conv1(x)

        x=self.conv2(x)

        x=self.maxpool(x)

        x=self.classifier(x)

        return x


随手定义一个model,首先查看下model 都有哪些属性和方法

model=MyNet()

dir(model)

['T_destination', '__annotations__', '__call__', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattr__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_apply', '_backward_hooks', '_buffers', '_call_impl', '_forward_hooks', '_forward_pre_hooks', '_get_backward_hooks', '_get_name', '_is_full_backward_hook', '_load_from_state_dict', '_load_state_dict_pre_hooks', '_maybe_warn_non_full_backward_hook', '_modules', '_named_members', '_non_persistent_buffers_set', '_parameters', '_register_load_state_dict_pre_hook', '_register_state_dict_hook', '_replicate_for_data_parallel', '_save_to_state_dict', '_slow_forward', '_state_dict_hooks', '_version', 'add_module', 'apply', 'bfloat16', 'buffers', 'children', 'classifier', 'conv1', 'conv2', 'cpu', 'cuda', 'double', 'dump_patches', 'eval', 'extra_repr', 'feature1', 'feature2', 'feature3', 'feature4', 'feature5', 'feature6', 'float', 'forward', 'half', 'load_state_dict', 'maxpool', 'modules', 'named_buffers', 'named_children', 'named_modules', 'named_parameters', 'parameters', 'register_backward_hook', 'register_buffer', 'register_forward_hook', 'register_forward_pre_hook', 'register_full_backward_hook', 'register_parameter', 'requires_grad_', 'share_memory', 'state_dict', 'to', 'train', 'training', 'type', 'xpu', 'zero_grad']

我们可以看到model有许多的属性,其中有children/named_children, parameters/named_parameters, modules/named_modules 

这里先介绍一下,children 这个方法,会返回一个生成器,如果用for循环打开这样一个生成器,会得到一串,我们在模型类中初始化定义的block,conv和classifier,至于block中的二级各种module都不会被进一步展开。是一个很compact的表示。至于named_children()就是会给这些一级module 分别赋予名字,这样更好描述。

for name,children in model.named_children():

    print('name: ',name)

    print('children: ',children)

print(list(model.named_children()))

name: feature1

children:  Sequential(

  (0): Conv1d(68, 256, kernel_size=(7,), stride=(1,))

  (1): ReLU()

  (2): MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

)

name:  feature2

children:  Sequential(

  (0): Conv1d(256, 256, kernel_size=(7,), stride=(1,))

  (1): ReLU()

  (2): MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

)

name:  feature3

children:  Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

)

name:  feature4

children:  Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

)

name:  feature5

children:  Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

)

name:  feature6

children:  Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

  (2): MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

)

name:  conv1

children:  Conv1d(256, 256, kernel_size=(3,), stride=(1,))

name:  conv2

children:  Conv1d(256, 256, kernel_size=(3,), stride=(1,))

name:  maxpool

children:  MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

name:  classifier

children:  Sequential(

  (0): Linear(in_features=265, out_features=50, bias=True)

  (1): ReLU()

  (2): Linear(in_features=50, out_features=25, bias=True)

  (3): ReLU()

  (4): Linear(in_features=25, out_features=2, bias=True)

)

[('feature1', Sequential(

  (0): Conv1d(68, 256, kernel_size=(7,), stride=(1,))

  (1): ReLU()

  (2): MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

)), ('feature2', Sequential(

  (0): Conv1d(256, 256, kernel_size=(7,), stride=(1,))

  (1): ReLU()

  (2): MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

)), ('feature3', Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

)), ('feature4', Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

)), ('feature5', Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

)), ('feature6', Sequential(

  (0): Conv1d(256, 256, kernel_size=(3,), stride=(1,))

  (1): ReLU()

  (2): MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)

)), ('conv1', Conv1d(256, 256, kernel_size=(3,), stride=(1,))), ('conv2', Conv1d(256, 256, kernel_size=(3,), stride=(1,))), ('maxpool', MaxPool1d(kernel_size=3, stride=3, padding=0, dilation=1, ceil_mode=False)), ('classifier', Sequential(

  (0): Linear(in_features=265, out_features=50, bias=True)

  (1): ReLU()

  (2): Linear(in_features=50, out_features=25, bias=True)

  (3): ReLU()

  (4): Linear(in_features=25, out_features=2, bias=True)

))]


至于module这个方法,也会生成一个生成器,用for循环打开这样的生成器,首先可以得到model的一级module,然后一级module都展示完毕以后,会再把二级module里面的成分展开,比如block里面,有conv,maxpool,bn这些。

for name,module in model.named_modules():

    print(name,module)


至于parameters 这个方法,返回的是一个生成器,如果用for循环打开,可以得到module的所有抽象参数位,这里的parameters 需要和argument 区分一下,前者是概念性的参数,后面的是,具体赋值以后的参数。对于parameters可以做的主要操作就是控制导数是否需要计算,最后是否需要更新。

for params in model.parameters():

    print('params: ',params)  ## 返回model里面所有的参数,不管参数来自于一级module 还是其他各层级的module

至于state_dict 这个方法,会返回一个字典,字典的键值对分别是,参数的名称和参数赋值的tensor,我们每一次load_state_dict 也是加载这样一个字典,来获得预加载模型的各个module和配置的参数。

至于 eval 和 train 这两个方法,前者是模型在validation阶段时,设置model 不自动更新参数,进行model 评价验证的方法,后者是模型在train阶段时,设置model可以进行参数的迭代更新。

至于to这个方法,是决定把模型或者输入的数据放在CPU还是CPU上面,这个模型和数据必须在同一个设备上面,不然会报错。

device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

model.to(device)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容