这里记录学习《李宏毅2020机器学习深度学习》课程中作业部分的一些整理，初次编写DL代码，记录思考过程，以供自己回顾。

在助教给的参考代码基础上进行修改。跟着李沐大神的《动手学深度学习V2》学了pytorch框架的linear regression模型的实现。【初学，有错欢迎告知】

资料链接【视频、书、作业等】：
李宏毅老师课程主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html
李沐大神课程主页：https://courses.d2l.ai/zh-v2/

导入库：

import

PM2.5数据

横着的0-23是一天的24小时，纵着的是测试的指标每天测试18个features，有12个月，每个月记录20天。

目标：由前9个小时的数据（包括PM2.5）预测第十个小时的PM2.5

1、数据预处理

因为数据输入格式不是简单的某一行或者某一列的数据，所以需要根据要求进行需处理。

1-首先观察到"RAINFALL"这个指标含有”NA“，将NA改成0。data[data == 'NR'] = 0

2-分割feature和label：

红色大框为第一个输入data，小框第一个output，蓝色的为第二个。然后把数据摊平，一个输入有162个特征：9h*18=162，train date中有12个月，每个月20天，每天24小时【每个月内部时间是连续的】，所以有12个月*20天*24h=12个月*480h。把这些时间分成每9h一个out，那么有12*(480-9)这样多个输入输出对【12*471】

excel打开train.csv数据

将数据切成x, y配对格式。

切割数据代码

3-为了之后求梯度下降梯度能沿着global minimum方向下降，需要对数据标准化【不标准化它的loss function的等高线可能不是正圆，梯度下降会比较慢】

归一化标准化作用和区别：

归一化与标准化

标准化代码

4-划分训练集和验证集：

data要分成三份，在train和test的基础上，train还要分出一部分作为validation set，val_set用于调参，test上的结果可以作为未知data上的结果。如果只分两类根据test上的结果调参数会造成在未知数据上效果可能会不好。

可以使用train_test_split划分，但有时候不方便划分，需要自己写函数。也可以像下面一样直接前段为train，后段为val。

train_set & val_set

使用torch需要转换数据类型，以batch(批次) = 12，在train_set中一共有12*471份，分成train和val，可以train：12*2*157=3768，val：12*1*157
【需要将np转换成float32，不然后面调用模型的时候会报错数据类型不一致；然后转换成torch，需要确保维度一致，保证特征18*9=162列，行数-1自动填充。如果需要更改或者多次运行，类型转换后可以换个名字，比如x1。】

转换数据类型和训练集验证集划分

分批，因为可以同时训练，速度会比较快。batch的大小需要尝试，batch, learning_rate, epoch都属于超参数，之后可以通过一些方法进行调整。
而且batch如果不够分，有多出的部分也有一些处理方法。

batch

2、模型构建

1-定义模型

这里只用到线性模型，nn.Linear(input, output)，括号中输入feature维度和输出维度。loss选择MSE均方差，使用随机梯度下降SGD，学习率lr可自主设置。

定义模型

2-迭代更新参数

因为发现基本30epoch就没啥变化了，所以设置30，大循环是迭代周期，小循环通过每个batch计算loss，反向传播更新参数【小循环将整组数据都训练了一遍】，最后在每次迭代中打印loss。loss计算的是整个train数据(包括train_set和val)。
训练集在34左右，验证集在25左右，all train data30左右。但是助教给的代码loss可以达到15.8。之后再试试自己手动搭建的，看看啥原因。

迭代更新

3-同样处理test数据

在torch中w和b是分开的，维度不用+1

test_data

得到test_set对应的y，保存进csv文件可以把torch转换成numpy。这个文件是为了提交上kaggle，等我之后学的更多了，能得到更好的结果的时候再上交。

test结果保存

完整代码见：此。