本讲大纲：
课程大纲
</br>
1.局部加权线性回归（locally weighted linear regression）
给定一个数据集，根据x预测y.数据集
左边函数，线性
二次项
这里写图片描述
这里写图片描述
- 欠拟合（underfitting）：很明显有一些没有被模型捕获的结构，比如说最左边的图.
- 过拟合(overfitting)：最右边的就是一个过拟合的例子.
因此说，特性的选择对于学习算法的性能来说是很重要的！！！ 但是用局部加权线性回归算法，可以不用那么小心地去选择特征。
在原先的线性回归算法中，对查询点x做预测，我们：
这里写图片描述
而局部加权线性回归算法是（只考虑这个点邻近的点的误差，使他最小。相当于在不同的小区域拟合出小的直线段）：
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
非参数化学习算法（non-parametric learning algorithm）： 为了更好的展现假设，我们需要考虑的东西的数量随着训练集而线性增长（局部权重加权回归算法是我们学习的非参数学习算法的第一个例子）. 参数化学习算法（parametric learning algorithm）: 拟合数据只需要固定的、有限的参数（线性回归算法）.
</br>
2.概率解释（probabilistic interpretation）
在回归问题中，为什么选择最小二乘法，是否合理？
正态分布
误差的概率分布
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
似然函数（likelihood function）:
似然函数
其实就是条件概率，但是强调的是这个条件概率在xy固定时，其实是theta的函数。
注意到误差项的独立同分布假设，对所有给定的X,有：
这里写图片描述
根据最大似然估计原则（选择参数，使我们需要的数据出现的概率最大），我们应该选择适当的theta最大化
这里写图片描述
为了计算方便，对极大似然函数取对数，
这里写图片描述
问题转化为最小化
需要最小化的项
注意到我们的最终结果与
这里写图片描述
</br>
3.逻辑回归（logistic regression）
分类（classification）：也类似于回归(regression)问题，只是y的取值是一小部分的离散值.这边我们暂时先考虑二元的分类问题(binary classification，也就是说y只有两个取值,0和1.
为了了解分类问题，先忽略y是一个离散值，使用线性回归算法来预测y. 但是很容易发现的问题是y有可能出现大于1或者小于0的值，因此我们改变假设函数为：
假设函数
下面是g(z)的图像：
逻辑函数
logistic 函数一个有用的求导特性：
这里写图片描述
假设：
这里写图片描述
这里写图片描述
这里写图片描述
为了找到theta的值，根据极大似然，需要使这项最大化。类似于在线性回归中的求导，可以使用梯度上升(gradient ascent)(因为是正号，因此是最大化不是最小化).
这里写图片描述
考虑一个样本，根据梯度上升原则求偏导：
屏幕快照 2016-12-07 下午10.48.59.png
参数theta的值
</br>
4.感知器算法（the perceptron learning algorithm）
如果需要改变logistic回归方法使得输出是0或1（离散），定义临界函数（threshold function）:这里写图片描述
这里写图片描述
这里写图片描述
