《统计学习方法》python实现 Chapter2 感知机 2

今天开始使用Markdown格式书写简书，自己太蠢了没发现可以改
以后可以写一篇关于markdown书写的博客

感知机学习算法的对偶形式
介绍
对偶形式的基本思想就是将w和b表示为实例 $x_i$ 和标记 $y_i$ 的线性组合的形式，通过求解其系数而求得w和b。
在感知机算法中，可以假设初始 $w_0$ , $b_0$ 均为0，对于误分类点 $(x_i,y_i)$ 通过 $w \leftarrow w+ \eta y_ix_i$ $w \leftarrow w+ \eta y_i$
通过修改 $w,b$ ,假设修改n次，则 $w,b$ 关于 $(x_i,y_i)$ 的增量分别为 $\alpha_iy_ix_i$ 和 $\alpha_iy_i$ ,
这里 $\alpha_i = n_i \eta$ (这个我没看懂，我觉得等于η就可以了。我暂时的解释就是 $n_i$ 表示的是每个实例的分类正误系数，分类对的表示为0，错的表示为1）
最后学习到的 $w,b$ 可以分别表示为 $w = \sum_{i=1}^N \alpha_i y_i x_i$ $b = \sum_{i=1}^N \alpha_iy_i$

算法部分
输入：线性可分的数据集 $T = \{(x_1,y_1),(x_2,y_2),···,(x_N,y_N)\}$ ,其中 $x_i \in R^n$ , $y_i \in \{-1,+1\}$ , $i = 1,2,···，N$ ；学习率为 $\eta(0 \lt \eta \le 1)$

算法过程.jpg

gram矩阵

gram矩阵

例子

from sklearn.linear_model import Perceptron
import numpy as np
# 训练数据集
X_train = np.array([[3,3],
                    [4,3],
                    [1,1],
                    ])               # 数据点
y = np.array([1,1,-1])               # 标签

# 构建Perceptron对象，训练数据并输出结果
perceptron = Perceptron()
perceptron.fit(X_train, y)
print("权重w:",perceptron.coef_,"\n",
      "偏置b:",perceptron.intercept_,'\n',
      "迭代次数n_iter:",perceptron.n_iter_)

# 测试模型预测的准确率
res = perceptron.score(X_train,y)
print('准确率：{:.0%}'.format(res))

结果

不使用sklearn

import numpy as np
import matplotlib.pyplot as plt


class MyPerceptron:
    def __init__(self):
        self.w = None
        self.b = 0
        self.l_rate = 1

    def fit(self, X_train, y_train):
        # 用样本点的特征数更新初始w，如x1=(3,3)T，有两个特征，则self.w=[0,0]
        self.w = np.zeros(X_train.shape[1])
        i = 0
        while i < X_train.shape[0]:
            X = X_train[i]
            y = y_train[i]
            # 如果y*(wx+b)≤0 说明是误判点，更新w,b
            if y * (np.dot(self.w, X) + self.b) <= 0:
                self.w = self.w + self.l_rate * np.dot(y, X)
                self.b = self.b + self.l_rate * y
                i = 0  # 如果是误判点,从头进行检测
            else:
                i += 1


def draw(X, w, b):
    # 生产分离超平面上的两点
    X_new = np.array([[0], [6]])
    y_predict = -b - (w[0] * X_new) / w[1]
    # 绘制训练数据集的散点图
    plt.plot(X[:2, 0], X[:2, 1], "g*", label="1")
    plt.plot(X[2:, 0], X[2:, 0], "rx", label="-1")
    # 绘制分离超平面
    plt.plot(X_new, y_predict, "b-")
    # 设置两坐标轴起止值
    plt.axis([0, 6, 0, 6])
    # 设置坐标轴标签
    plt.xlabel('x1')
    plt.ylabel('x2')
    # 显示图例
    plt.legend()
    # 显示图像
    plt.show()


def main():
    # 构造训练数据集
    X_train = np.array([[3, 3], [4, 3], [1, 1]])
    y_train = np.array([1, 1, -1])
    # 构建感知机对象，对数据集继续训练
    perceptron = MyPerceptron()
    perceptron.fit(X_train, y_train)
    print(perceptron.w)
    print(perceptron.b)
    # 结果图像绘制
    draw(X_train, perceptron.w, perceptron.b)


if __name__ == "__main__":
    main()

最后编辑于：2020.05.21 14:13:07