参数学习算法，非参数学习算法

参数学习算法，用固定的明确的参数进行数据的拟合。比如线性回归。
非参数学习算法，使用的参数随着训练样本的增多而增多。比如：局部加权回归

局部加权回归

局部加权回归的损失函数为

1

其中w(i)是权重，它根据要预测的点与数据集中的点的距离来为数据集中的点赋权值。当某点离要预测的点越远，其权重越小，否则越大。一个比较好的权重函数如下：

2

该函数称为指数衰减函数，其中k为波长参数，它控制了权值随距离下降的速率。

特征量标准化

数值计算是通过计算来迭代逼近的，如果特征量数量级相差太大，则很容易在运算过程中丢失。
出于这样的原因，我们需要通过预处理，让初始的特征量具有同等的地位，才能让机器学习算法更快地学习得到它们的权重θ，这个预处理的过程我们称之为数据标准化（Normalization）
方法1：特征缩放

3

通过这个公式，我们可以将数据缩放为[-1,1]的范围。

方法2：均值归一化

4

吴恩达“机器学习”——学习笔记二
【机器学习】局部加权线性回归
吴恩达《机器学习》课程学习笔记（三）—— 多元线性回归与多项式回归