20171202 qzd
机器学习算法入门之感知机
课时简介：
- python基本介绍
- 感知机算法推导
- 简单的编程实践
一、python基本介绍
- python 3.x
- Numpy:用于数值计算的库
- Matplotlib:为了可视化，用于输出图像
二、感知机算法推导
1、大脑神经元
image
2、典型的感知机结构
image.png
- xo w0,使用偏置的原因？
XW不过原点，让其超平面在坐标任意位置画圈。
3、激活函数
image
- 最常见是Sigmoid
- 激活函数最主要因素是给系统引入非线性。（很多问题是非线性，而典型感知器的图中求和是线性组合，模拟不了非线性问题）
- ReLU是CNN中用到的激活函数。
4、如何确定权重（weight）？
- 首先，定义目标函数object function（误差函数error function，损失函数loss function）这里用E表示。
- 误差函数有很多定义方法，比如二乘误差、交叉熵误差。
- 有了误差以后，就是一个误差最小化的问题。我们的目的是使得最终的计算结果和实际情况的误差最小。最理想的情况就是没有误差，即E=0。
image.png
- 任务：找出E最小是的W。
-
方法：梯度下降法。
image - 需要思考的问题：蓝色的小人怎么走才会最快的到达红色爱心的方向，而避免走紫色这条偏离路线。
-
首先从二维角度进行分析。
image.png- 任务：到达目标的点。
- 首先任选取一点，斜率为负往正方向移动，斜率为正往反方向移动。梯度下降法原理，移动的方向是斜率的反方向。当达多维角度则运用到梯度概念，这也就是为什么叫梯度下降法的原因。
-
如何更新权重？
image.png
image.png
5、感知机算法流程图
三、简单的程序实践
image
