山东大学机器学习实验一

写在前面:我不确定明年峰哥哥会不会换实验(换的可能性不是很大,因为据老师说这么简单的实验已经不好找了xx),实验对于一个刚入门ML的小白来说可能会一头雾水。之前有位学长在CSDN上发布过实验的全部代码部分(我坦白我也抄了两个实验)。所以我这篇博客就不会在直接粘贴代码了(这样也很没有意义是伐。)

Linear Regression

实验的中文版解读可以参考这位学长的博客实验解读

我们首先的第一个任务是完成一个线性回归的模型构建。

我们拿到了数据集(x (i),y (i) ) 对应(身高,年龄)的这样一个元组。根据提示的用梯度下降的方式去训练这个线性回归模型。

对于线性回归模型,我们的函数表达式的为:
h_θ(x)=θ^Tx
当然你不好理解的话也可以理解为:
h_θ(x)=θ_1x_1+θ_2x_2...
不过这个要是不理解建议先去看看梯度下降相关的知识(所以本博客之后这种基础的数学问题就不再叙述了。)

所谓的梯度下降,是指一个函数求极值问题中,我们把函数的高低想象成一个山脉,我们要找这个山脉中最低的山谷位置,每次要沿着下降最快的方向去走一定的距离,下次在新的位置开始,再继续寻找这个下降最快的方向,再去走一定的距离。(这个距离我们称为步长,也就是该实验中我们要确定的参数,这个先记住之后再提。)

在该实验的具体问题中,我们用梯度下降找的最值问题其实不是h_θ(x)的问题,我们的h_θ(x)其实已经确定了(尽管我们还不确定θ的具体值),我们要考虑让这个曲线最优的去拟合我们的数据。所以为了评判这个合不合适的问题,我们又定义一个代价函数J(θ)
J(θ)=\frac{1}{2m}∑_{i=1}^m(h_θ(x^i)-y^i)^2
其实仔细想想也能明白代价函数为啥这样定义,这算是一个数学建模的过程吧。

总之现在我们是确定了代价函数,这个代价函数的自变量是θ,我们要人=让这个代价函数最小,获得最小时θ的取值。这时候我们刚刚提到的梯度下降就排上用场了。
其实就可以理解为对这一组参数[θ_1,θ_2...]进行不断的迭代。没到一个点,就计算下下降最快的方向是什么,然后根据刚刚提到的步长,走到一个新的位置。(这个新的位置就是new_theta,新的θ值,在代价函数里就体现为一个新的坐标)

下面的两个问题就是:什么是下降最快的方向。当然这也是梯度下降的基础了
[\frac{∂J}{∂θ_1},\frac{∂J}{∂θ_2},...]
这个怎么来的那就去看相关博客吧。

步长alpha则是我们自己确定的值(其中实验最后一部分还让我们尝试不同的alpha去观察代价函数的变化过程。

最后,迭代终止的条件:我们可以观察迭代前后的代价函数的值,如果两次差值并不太大,我们就可以认为收敛了(因为步长的缘故,我们梯度下降往往找不到真正的最小值,而是会最后在极值点附近振动,这点自己想一想也可以明白) 当然,防止迭代次数过多,你也可以自己设一个最大迭代次数,不过这可能导致最后并不收敛。

这个实验的内容,最后也就是围绕着梯度下降线性回归,观察代价函数值的变化以及观察不同的学习率(步长)下代价函数的影响。最后手动调整比较优秀的学习率alpha的问题,其实就是看图的过程了(希望代价函数下降的不要太慢,因为步长过小,代价函数收敛太慢这样学习效率会很低,也不希望代价函数下降过快,因为我们刚刚说过找不到极值点最后振动的缘故,学习率太大了可能导致无法收敛。)

(最后,代码自己去写.jpg

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,287评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,346评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,277评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,132评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,147评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,106评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,019评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,862评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,301评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,521评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,682评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,405评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,996评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,651评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,803评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,674评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,563评论 2 352

推荐阅读更多精彩内容