李宏毅机器学习hm1:利用regression预测丰原站pm2.5值

作业概述

输入：9个小时的数据，共18项特征（AMB_TEMP, CH4, CO, NHMC, NO, NO2, NOx, O3, PM10, PM2.5, RAINFALL, RH, SO2, THC, WD_HR, WIND_DIREC, WIND_SPEED, WS_HR）

输出：第10小时的PM2.5数值

模型：线性回归

import sys 
import numpy as np
import pandas as pd

data = pd.read_csv(r"E:\RaoLing\DataSet\李宏毅机器学习数据\hw1\train.csv", encoding="big5") # 读入train.csv,繁体字以big5编码 
data.head(18)

![6CHHJB{K@HE]62L)H{_0C.png](https://upload-images.jianshu.io/upload_images/20148371-91cd7892e51120c1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
第1列是日期，第2列是观测站所在地，第3列是观测指标，第4列-第27列是0-23共24小时。

data.shape

输入.png

预处理

可以看到降雨（rainfall）都是字符“NR”，将它变成数值0；从第3列开始是数值数据，提取出这些数值。

data.replace('NR', 0, inplace=True)      # 把降雨的NR字符变成数值0
raw_data = data.to_numpy()               # 把DataFrame转换成numpy array
raw_data

raw_data.png

提取特征（Extract Features）

ExtractFeatures1.png

ExtractFeatures2.png

month_data = {}
for month in range(12):
    sample = np.empty([18, 480])
    for day in range(20):
        sample[:, day * 24 : (day + 1) * 24] = raw_data[18 * (20 * month + day ): 18 * (20 * month + day + 1), :]  # 传数据
    month_data[month] = sample

ExtractFeatures3.png

ExtractFeatures4.png

x = np.empty([12 * 471, 18 * 9], dtype = float)
y = np.empty([12 * 471, 1], dtype = float)
for month in range(12):
    for day in range(20):
        for hour in range(24):
            if day == 19 and hour > 14:
                continue
            x[month * 471 + day * 24 + hour, :] = month_data[month][:, day * 24 + hour: day * 24 + hour + 9].reshape(1,-1) #vector dim:18*9 (9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9)
            y[month * 471 + day * 24 + hour, 0] = month_data[month][9, day * 24 + hour + 9] # value
x

shape.png

标准化（Normalization）

mean_x = np.mean(x, axis = 0) #18 * 9 
std_x = np.std(x, axis = 0) #18 * 9 
for i in range(len(x)): #12 * 471
    for j in range(len(x[0])): #18 * 9 
        if std_x[j] != 0:
            x[i][j] = (x[i][j] - mean_x[j]) / std_x[j]
x   

把训练数据分成训练集train_set和验证集validation，其中train_set用于训练，而validation不会参与训练，仅用于验证。

import math
x_train_set = x[: math.floor(len(x) * 0.8), :]
y_train_set = y[: math.floor(len(y) * 0.8), :]
x_validation = x[math.floor(len(x) * 0.8):, :]
y_validation = y[math.floor(len(y) * 0.8):, :]

validation.png

梯度下降算法：Adagrad

和上图不同处: 下面Loss的代码用到的是 Root Mean Square Error

因为存在常数项b，所以维度（dim）需要多加一列；eps项是极小值，避免adagrad的分母为0.

每一个维度（dim）会对应到各自的gradient和权重w，通过一次次的迭代（iter_time）学习。最终，将训练得到的模型（权重w）存储为.npy格式的文件。

8P8URK0(5KZJ2`KUAAM6UC6.png

adagrad1.png

adagrad2.png

adagrad3.png

dim = 18 * 9 + 1
w = np.zeros([dim, 1])
x = np.concatenate((np.ones([12 * 471, 1]), x), axis = 1).astype(float)
learning_rate = 100
iter_time = 1000
adagrad = np.zeros([dim, 1])
eps = 0.0000000001
for t in range(iter_time):
    loss = np.sqrt(np.sum(np.power(np.dot(x, w) - y, 2))/471/12)#rmse
    if(t%100==0):
        print(str(t) + ":" + str(loss))
    gradient = 2 * np.dot(x.transpose(), np.dot(x, w) - y) #dim*1
    adagrad += gradient ** 2
    w = w - learning_rate * gradient / np.sqrt(adagrad + eps)
np.save('weight.npy', w)
w

87U{999GOO%X8FK0}J83~UX.png

测试

testdata = pd.read_csv(r"E:\RaoLing\DataSet\李宏毅机器学习数据\hw1\test.csv",
                       header=None, encoding="big5")
test_data = testdata.iloc[:, 2:]
test_data.replace("NR", 0, inplace=True)
test_data = test_data.to_numpy()
test_data

test_x = np.empty([240, 18*9], dtype = float)
for i in range(240):
    test_x[i, :] = test_data[18 * i: 18* (i + 1), :].reshape(1, -1)
    
for i in range(len(test_x)):
    for j in range(len(test_x[0])):
        if std_x[j] != 0:
            test_x[i][j] = (test_x[i][j] - mean_x[j]) / std_x[j]          # 用train训练的模型来分类test的数据
test_x = np.concatenate((np.ones([240, 1]), test_x), axis = 1).astype(float)
test_x

载入模型即可对test数据进行预测，得到预测值ans_y

w = np.load('weight.npy')
ans_y = np.dot(test_x, w)
ans_y

res = pd.DataFrame(ans_y)
res['id'] = ['id_' + str(x) for x in res.index]
res.rename(columns={0:'value'}, inplace=True)
res=res[['id', 'value']]  # 调换顺序
res.to_csv('submit.csv', index=False)

output.png

最后，可以调整 learning rate、iter_time (iteration 次数)、
取用 features 的多少(取几个小时，取哪些特征)
甚至是不同的 model 来超越 baseline

参考链接：https://www.jianshu.com/p/2c3b54cf8dbc