首先，机器学习的基本框架大都是模型、目标和算法。
对于一个数据集，首先要根据数据的特点和目的来选择合适模型。即是什么回归问题。
选择了模型，那么接下来的问题是：怎么才能让这个模型尽可能好的拟合或者分类数据呢？那么就需要有目标，所以要定下模型的cost function J(theta)。
定好目标函数后，我们还要有方法来达到目标，这里的方法就是下述的算法——最优化算法。包括常用的梯度下降法(最速下降法)、牛顿法、拟牛顿法等。这样，一个机器学习算法就算完整了，因为可以用这些最优化算法来 min J(theta) 求出 theta.
1. 确定问题类型
主要分为：分类问题，聚类问题，回归问题和降维问题。
</br>
回归问题
回归其实就是对已知公式的未知参数进行估计。
- 线性回归
可以对连续值做预测。 - 逻辑回归
用于二值预测。
</br>
2. 确定目标函数
最大似然估计-目标函数
是从概率意义角度去看问题的。
就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。
此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。最小二乘法(平方最小)-目标函数
是从函数形式角度去看问题的。
找到一个（组）估计值，使得实际值与估计值的距离最小。
本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。
这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。
线性回归问题的cost function就是最小二乘，即：
</br>
注： 误差服从高斯分布的情况下， 最小二乘法等价于极大似然估计。
</br>
3. 优化算法
-
梯度下降-优化算法
最简单的梯度下降算法由两个函数，三个变量组成：
-- 函数1：待求的函数
-- 函数2：待求函数的导数
-- 变量1：当前找到的变量，这个变量是“我们认为”当前找到的最好的变量，可以是函数达到最优值（这里是最小值）。
-- 变量2：梯度，对于绝大多数的函数来说，这个就是函数的负导数。
-- 变量3：步长，也就是沿着梯度下降方向行进的步长。
</br>
步骤：
</br>
Matlab代码：
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier}p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; min-height: 12.0px}p.p3 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; color: #25992d}p.p4 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; color: #25992d; min-height: 12.0px}p.p5 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; color: #0433ff}p.p6 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Courier; min-height: 14.0px}span.s1 {color: #0433ff}span.s2 {color: #000000}span.s3 {color: #b245f3}span.s4 {color: #25992d}
function [k ender] = steepest(f,x,e)
% f:function; x:begin pt; e:stop error
syms x1 x2 m; %m is learning %
d=-[diff(f,x1);diff(f,x2)]; %diff x1 and x2
flag=1; %循环标志
k=0; %迭代次数
while(flag)
d_temp=subs(d,x1,x(1)); %将起始点代入，求得当次下降x1梯度值
d_temp=subs(d_temp,x2,x(2)); %将起始点代入，求得当次下降x2梯度值
nor=norm(d_temp); %范数
if(nor>=e)
x_temp=x+m*d_temp; %改变初始点x的值
f_temp=subs(f,x1,x_temp(1)); %将改变后的x1和x2代入目标函数
f_temp=subs(f_temp,x2,x_temp(2));
h=diff(f_temp,m); %对m求导，找出最佳学习率
m_temp=solve(h); %求方程，得到当次m
x=x+m_temp*d_temp; %更新起始点x
k=k+1;
else
flag=0;
end
end
ender=double(x); %ÖÕµã
end
- 牛顿法-优化算法
- 拟牛顿法-优化算法
