一边打开MATLAB练习题目一“给出身高与年龄的线性关系”，一边看了第一课。
按顺序依次实现了三种最小二乘法求拟合曲线的算法。
算法一、批量梯度下降
J(θ)是向量θ决定的一个面，在这个面上梯度下降找到最低点，这个点对应的θ作为参数的直线使J(θ)最小。每往下走一步更新一次θ的值，每次往下走都要用所有训练样本算一次J(θ)。当m的值巨大时，这种方法非常慢。
算法二、随机梯度下降
每次更新θ值的时候选择一个训练样本。优点是比批量梯度下降快很多，缺点是不能准确到达最低点，需要小心调参数（在这个问题里是alpha），learning rate调不好的话很容易得出奇怪的结果。
alpha=0.01;
theta=[0;0];
j=1;
for counter=1:10000
theta=theta-(alpha*( x(j,:)*theta-y(j,:) )*x(j,:))'
j=j+1
if(rem(j,50)==0)
j=50
else
j=rem(j,50)
end
end
plot(x(:,2),y,'o')
hold on
plot(x(:,2),x*theta,'-')
算法三、正规方程
不需要使用梯度下降这样的迭代算法来靠近最低点。直接对J（θ）求导，求出使得导数为零的θ。非常快。
>> inv(x'*x)*x'*y
ans =
0.7502
0.0639
