Pytorch:六、逻辑斯蒂回归


机器学习中大多数时候做的是分类任务

通过MNIST来进行下载

计算每个值对应的概率

实际上这个模型并不是在算y的值是多少,而是y对每一个取值的概率,选取其中最大的那个来作为其值;

torchvision包中其他的一些图片

这些图片可以通过CIFAR10来进行下载

当学习所得的两种概率都为0.5时,输出时可以根据情况来输出一个“不确定”/概率;

注意,并非是用了sigmoid函数就能进行概率转换,而是说用了之后能够把值固定在(0,1)之间,从而使其能够计算概率(有啥区别么);

常见的一堆sigmoid函数

不难看出,所有的函数都是饱和函数,其中最出名的是就是:
\frac{1}{1 + \def\foo{e^{-x}}\foo}

变换之后的计算图:

其实就是多了个σ函数;

模型变了后,损失函数也会变

原来那个损失函数计算的是两个数在数轴上的间隔距离;但是新的损失函数所计算的就是分布

可以看到,当y为1时,y^ 越接近1,那么损失值就越小;反之亦反。从而在训练时让两个分布尽可能地去接近

import torchvision
#通过torchvision来提供数字的数据集
#但是这玩意儿得自己下过来,通过root来指定下载位置;train指定下训练/测试集;download为T时,若文件不存在就会自动下载,否则就不下载了
train_set = torchvision.datasets.MNIST(root='E:/jupyter/pytorch/dataset/minist',train=True, download=True)
test_set = torchvision.datasets.MNIST(root='E:/jupyter/pytorch/dataset/minist', train=False, download=True)
#-------------------------------------------------------#
#sigmoid函数定义在nn.functional中
import torch
import torch.nn.functional as F

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])

class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)
        
    def forward(self, x):
        #这里用sigmoid进行预测
        y_pred = F.sigmoid(self.linear(x))
        return y_pred
    
model = LogisticRegressionModel()
#-------------------------------------------------------#
    
#损失要用BCE了,表示二分类的交叉熵
criterion = torch.nn.BCELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01) 

#-------------------------------------------------------#

for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

基本上按pytorch框架写深度学习的代码就是分成上边这四块:1. 准备数据集;2. 设计模型; 3. 选择优化器;4. 训练模型;

import numpy as np
import matplotlib.pyplot as plt

#训练完成后对model进行测试
#这里是预测每周学习时间对于考试通过的概率
x = np.linspace(0, 10, 200)
x_t = torch.Tensor(x).view((200, 1))
y_t = model(x_t)
#通过numpy()来调取数据
y = y_t.data.numpy()
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容