深度学习（一）：感知机

感知机是作为神经网络的起源算法，因此，学习感知机的构造也是很有帮助的。

一，感知机是什么

感知机接收多个输入信号，输出一个信号。信号只有0和1两种取值。
如下是一个接收两个输入信号的感知机

图中， $x_1,x_2$ 是输入信号， $y$ 是输出信号， $w_1,w_2$ 是权重，○称为神经元或节点。输入信号被送往神经元时，会被分别乘以固定的权重。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。用数学式来表示，如下所示：

可以看出来，权重越大，对输出的结果影响越大，也就是说对应该权重的信号的重要性越高

二，简单逻辑电路

考虑用感知器来解决逻辑电路，先介绍一下一些逻辑电路。

与门

首先是与门，与门的特点就是有0则0，全1才1

与非门和或门

与非门就是相同则1，不同则0

或门就是有1则1，无1则0

感知机模拟

对于上面三个门，要用 $w_1x_1+w_2x_2$ 和 $θ$ 比较大小，大于则 $y=1$ ，反之则 $y=0$
可以发现很多值都可以使其实现，譬如：
对于与门而言，当 $(w_1,w_2,θ)$ 为 $(0.5,0.5,0.8)$ 时即可满足
对于与非门而言，当 $(w_1,w_2,θ)$ 为 $(-0.5,-0.5,-0.8)$ 时即可满足
对于或门而言，当 $(w_1,w_2,θ)$ 为 $(1,1,0.5)$ 时即可满足

在这个模拟过程中， $(w_1,w_2,θ)$ 取值都是由我们结合真值表人工考虑的。而机器学习的目的就是把这个考虑决定过程交给计算机

三，感知机的实现

1，简单实现

用Python来实现一下之前的与门

def AND(x1, x2):
  w1, w2, theta = 0.5, 0.5, 0.8
  tmp = x1*w1 + x2*w2
  if tmp <= theta:
    return 0
  elif tmp > theta:
    return 1

print(AND(0, 0))
print(AND(1, 0))
print(AND(0, 1))
print(AND(1, 1))

输出结果为

2，导入权重和偏置

将之前的式子改写一下， $θ$ 换成 $-b$ ，可以表示如下

将b称为偏置， $w_1和w_2$ 称为权重。

所以通过此处的定义，感知机的理解就可以变为：感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0。

需要注意的是，偏置和权重的作用是不同的， $w_1和w_2$ 是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度的参数

3，使用权重和偏置实现

因为常常处理的是多维数组，所以在这里用numpy来实现1中的与门

def AND(x1, x2):
  x =  np.array([x1, x2])
  w = np.array([0.5, 0.5])
  b = -0.8
  tmp = np.sum(w*x) + b #算的就是wx的和再加偏置
  if tmp <= 0:
    return 0
  else:
    return 1