2020深度学习—感知机(1)

machine_learning.jpg

1943 年，心理学 W.S. McCulloch 和数学逻辑学家 W.Pitts 基于神经元的生理特征，建立了单个神经元的数学模型(MP模型)。其实近些年神经网络并没有什么突破，其理论早在 50 年代就已经奠定了基础。

今天神经网网络在算法并没有什么突破，本质算法相对简单而且是在五六十年代提出的。今天随着互联网和大数据的发展，以及 GPU 成就了这一轮的神经网络发展。为什么说互联网有助于神经网络的发展呢，因为互联网搜集到大量数据才能够培养出更复杂(更深的)神经网络。

nn_002.jpeg

我们来看神经元生理结构如上图，首先细胞核，然后还有一个树突，这个树突延伸身体每一个地方，例如在手上有一个树突，树突接受刺激后将刺激转换为电信号，电信号会一直被传递到细胞核中，在细胞核里对于对信号进行一系列处理。处理结束后输出一个电信号对身体其他部位进行控制。

细胞核
树突
轴突
突触

nn_001.png

用于简单数据模型模拟上面神经元所做的事，因为树突接受电信号，可以用数值来表示电信号的强度，这里可以用一个数值来表示，树突对电信号进行处理，通过一个权重对电信号进行缩放，接下来在细胞核对这些神经元输入进行求和的处理，并且加一个偏置，这个偏置表示神经元所处的环境（酸性或者碱性环境），最后在进行激活函数模型。其实这与神经元结构没有什么关系，大家只不过大家想要给这个模型找到一个依据罢了。

$y_k = \phi \left( \sum_{i=1}^m w_{ki}x_i + b_k \right) = \phi(W_k^TX + b)$

其实大家看了怎么一个简单数学模型能够表示复杂神经元的结构吗，当你看了这个模型是否也是表示怀疑呢?这个模型在当时提出并没有引起生物界的注意，知道 1957 年 Frank Rosenblatt 他是搞计算机的，他从纯数学的角度重新考虑这一模型，指出能够从一些输入输出对 $(X,y)$ 中通过学习算法获取权重 W 和 b。

SVM 与神经网

SVM 适合处理小样本，而感知机特别是后来神经网络需要的大数据。神经网模型没有 SVM 那么美，也没有 SVM 那么严谨

SVM 是一次将全部数据都看了，然后建立一个可优化的模型，而感知机，每次只看一部分模型，然后进行学习更新参数，最后看看结果怎么样，如果结果不算好，继续投入样本进行学习更新参数。这样学习过程更加符合我们人类实际情况。

生物学与神经网络

其实今天有学多交叉学科，如物理和生物的交叉学科，科学家。

感知器算法(Perceptron Algorithm)

随机选择 W 和 b
取一个训练样本(X,y)
- 若 $W^TX + b > 0$ 且 $y=-1$ 则 $W = W -X\,b=b-1$
- 若 $W^TX + b < 0$ 且 $y=+1$ 则 $W = W -X\,b=b+1$
再取另一个 $(X,y)$ 回到(2)
终止条件: 直到所有输入输出对都满足(2)中(i)和(ii)之一，退出循环