ML.Andrew Ng.04-25

1-5 无监督学习

首先是一个鸡尾酒会的例子,在一个鸡尾酒会上,有两个人分别从不同的距离向两个位置不同的麦克风说话。
在第一批录音中,两个人同时对两台距离不同的麦克风从1到10用英语和另一种语言读数字

结果是,利用“鸡尾酒算法”算法可以将英语部分和外语部分的语音有效分开,并且形成单独增强的效果。

在第二批录音中,说话者开始单独说话,但是他们说话时背景会同时播放吵闹的音乐,以此观察算法对这样录音的处理效果。

出乎意料地,算法实现了将人和音乐的频段分开并增强。在分离人声时,还能依稀听到背景有一些音乐没有剔除干净,但是在分离音乐时可以非常漂亮地将人声祛除。

要设计这样算法其实非常复杂,但是现在能看见的简化代码仅仅只要一行

[W,s,v]=svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');   #奇异值分解

Andrew对工具的建议

注意,视频在11年,所以现在python用来实现算法第三方库比较方便了,以下建议比较过时

Andew Ng:在这门课中使用Octave编程环境,它是一个免费的开源环境,matlab和octave中实现代码只需要几行 在硅谷当中使用都是先用Octave开发出工程原型,然后在用其他语言移植,在Python中只会更复杂

在今天澄清这一点,会用matlab没有必要再去学octave,因为octave的语法和matlab大致相似,但是没有那么多的库和语法,而且据说Andrew本人已经改用了Python

课上给出的其他例子:

具有类似关键词的新闻分类、将你的客户进行市场分割都是无监督学习
自动给垃圾邮件贴上标签和利用训练集进行糖尿病的诊断是监督学习

2-1 线性回归

看到算法内核和算法部署的流程,回顾到回归模型是用来得到连续值的学习问题.
因为给出了正确答案,所以叫做监督学习,在监督学习当中有数据集,叫做训练集

训练集:正确的数据集叫做训练集

我们的任务就是从这个数据集当中学习如何预测房屋价格

现在给出符号定义
m:训练案例数,也就是训练集的大小
x:输入变量,特征
y:输出变量,目标变量

(x,y)表示训练样本,用(x^{(i)},y^{(i)})表示第i个样本,

监督学习流程

训练集将房价“喂食”feed到学习算法当中,输出一个函数h,这个函数的功能就是:

再拿到新的房屋价格x代进去能够求得一个全新的估计的价格y

如何得到h(x)

有时候假设函数省略掉h的下标设成这样
h(x)=\theta_0+\theta_1 x
以这样的假设函数的建构模型,这个模型就叫做单变量线性回归

2-2 代价函数

代价函数

在训练集当中我们会得到一定数量的样本,x表示卖出哪所房子,y代表卖出的价格,所以我们要尽量选择参数值使得,在训练集中,给出训练集的x能够尽可能准确地预测y值.

我们定义解决一个最小化问题
也就是最小化损失函数问题:
min_{\theta_0,\theta_1}\{ \frac{1}{2m}\sum_{i=1}^{m}(h(x^{(i)})-y^{(i)})^2\}

注意两点:除一个\frac{1}{2}是为了数字更好看一点,平方误差的使用是解决大部分回归问题的常用方法

为了简化设定
J(\theta_0,\theta_1)= \frac{1}{2m}\sum_{i=1}^{m}(h(x^{(i)})-y^{(i)})^2

min_{\theta_0,\theta_1}J(\theta_0,\theta_1)
有时被称为平方误差函数

2-3 线性回归的直观理解 Ⅰ

假设函数h(x)和代价函数J(\theta_1)进行比较

假设函数h是关于特征x的函数
而代价函数是关于参数\theta_1, \theta_0的函数

可以看到损失函数已经慢慢变成了一个曲线,每次取定不同的\theta_1都会算出不同的损失函数,也是对应着左边不同的拟合曲线, 还记得目标是找到\theta_1使得能够得到目标
min_{\theta_1}\{ \frac{1}{2m}\sum_{i=1}^{m}(h_{\theta_1}(x^{(i)})-y^{(i)})^2\}

image.png

在本节中,我们使用了图形来理解代价函数,也就是一开始把\theta_0=0了,下一课将看原来带有双变量\theta_0,\theta_1的损失函数

2-4 线性回归的直观理解 Ⅱ

假设:假设你们已经熟悉等高线图Contour plot

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,548评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,497评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,990评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,618评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,618评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,246评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,819评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,725评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,268评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,356评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,488评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,181评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,862评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,331评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,445评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,897评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,500评论 2 359

推荐阅读更多精彩内容

  • 概述断断续续,一个月的时间,把吴老师的机器学习视频教程看完,收获很多,从一无所知到概念的理解、公式的推导、算法的探...
    AnuoF阅读 664评论 0 0
  • 之前浏览Coursera上机器学习方面的课程,Andrew Ng的《Machine Learning》课程评分一直...
    黑洞王阅读 1,578评论 0 2
  • 一、课程大纲1.1课程内容介绍1.1.1 Supervised Learning关于监督型学习方法,本课程涉及到的...
    xiaorun阅读 1,268评论 0 1
  • 机器学习系统设计 第九十三课:确定执行的优先级 当你在设计复杂的机器学习系统时所面临的主要问题,并会在如何制定一个...
    带刺的小花_ea97阅读 1,551评论 0 6
  • 以西瓜书为主线,以其他书籍作为参考进行补充,例如《统计学习方法》,《PRML》等 第一章 绪论 1.2 基本术语 ...
    danielAck阅读 4,534评论 0 6