机器学习00(序章)

序言

机器学习&人工智能&深度学习,这三个是现在经常听到的词语。一旦提到了这些都会给人一种高大上的感觉,感觉会是一种很难学会的技术。表示在下血本(突然脑抽)的情况下,剁手买了1w多的数据挖掘的网课,目前正在学习它,希望能在学习完成后揭开机器学习的面纱,争取让每个读我的博客的人都能对机器学习有一个较为全面的概念。

目前的更新顺序为课程的顺序,在整体学完之后,会按自己的理解进行一个汇总。

目录

1.什么是机器学习
2.机器学习,人工智能,深度学习有什么区别
3.做机器学习的时候的工作流程是什么样子的
4.那么多算法是如何进行分类和选择的
5.公开数据获取

什么是机器学习

首先先上官方的卡内基梅隆大学的教授TomMitchell的定义

/*
A program can be said to learn from experience E with respect to some class of tasks T and performance measure P , If its performance at tasks in T, as measured by P, improves with experience E.
*/
/*
对于某给定的任务T,在合理的性能度量方案P的前提下,某计算机程序可以自主学习任务T的经验E;随着提供合适、优质、大量的经验E,该程序对于任务T的性能逐步提高。
*/

看起来很官方的说法对吧,接下来粗略的说明是怎么回事。

一句话版本:抓了一把混着豆子的米(数据),根据你对豆子和米的特征的认识(已有经验),把豆子和米分开分别装在两个袋子里(分类),随后验收的人看你是否真的把米和豆子分开了(性能度量)。

数学版本:X*P=Y,Y是分类的类别,X是一个数据,我们找的是矩阵P能使所有的数据X都能对应到相迎的分类Y。

简单来说,机器学习就是分类器,通过学习已有的数据,得到一个数据和类别的关系,再用这个关系来对未来未分类的数据进行预测,这就是我理解的机器学习。

机器学习&人工智能&深度学习有什么区别

说到这里,有些学过深度学习的人肯定就会疑惑这个和机器学习好像一样啊,深度学习也是把图片分类啊。是的,深度学习准确的来说算是机器学习的一部分,而机器学习和深度学习又可以被人工智能所包含。只不过深度学习在图像识别和语音识别的方便有着突出的优势,而机器学习在数据挖掘,统计学习和自然语言处理方面已经有了很大的发展。

它的工作流程是什么样子

数据收集=>数据预处理(数据清洗)=>特征提取=>模型构建=>模型测试评估=>上线=>迭代

数据收集和数据清洗:可以理解为,做饭前的买菜(为模型提供训练用的有效数据,去除显而易见的无效数据)

特征提取:可以理解为,炒菜前的切菜,切的越好,炒完越好吃(即从数据中选出可能能代表数据特征的属性)

模型构建:可以理解为炒菜,用切好的菜,以一定的顺序进行翻炒(选择合适的算法来训练模型)。

模型测试评估:试吃,如果不好吃,则反思是不是切的不好,菜买的不对,或者炒的顺序不对(测试用例看是否符合标准,如果不对责重复前面的步骤)。

特别的说,训练的部分,其实就是以当前的权值运算出来的结果和已知结果对比,然后根据差距来修改权值,如此往复,使预测结果和已知结果无限接近。

算法的分类和选择

机器学习分为如下几个分类:

1、有监督学习:也就是训练用的数据是有标签的,在训练前是人工分好类的。再用训练过后的模型,对未来收到的数据进行分类,来达到预测的目的。

2、无监督学习:和有监督学习相比,训练的数据是没有分类的,在无监督学习中,就是通过学习,把这些为分类的数据进行分类,来推断出数据的一些内在结构。

3、半监督学习:训练的数据包含少量的含有标签的数据,通过这些数据来训练和分类。顾名思义就是无监督和有监督的结合。

然后从算法的角度来看,又可以分为如下三种:

1、分类:标签是整形的,是一个一个独立的离散的。分类标识的时候使用int型。

2、回归:标签是浮点型,分类是连续的而不是离散的。分类表示用float的型。

3、聚类:1,2都是有监督学习,而3则是无监督学习。

最后附上一个算法的选择图:(图很清楚只需要一点的英文水平就能看懂)

classification:分类 regression:回归 clustering:聚类 dimensionality reduction:降纬度

algorithm cheat-sheet

公开数据获取渠道

http://archive.ics.uci.edu/ml/datasets.html (新手推荐这个,有标签)

https://aws.amazon.com/cn/public-datasets/

https://www.kaggle.com/competitions

http://www.kdnuggets.com/datasets/index.html

http://www.sogou.com/labs/resource/list_pingce.php

https://tianchi.aliyun.com/datalab/index.htm

http://www.pkbigdata.com/common/cmptIndex.html

下回更新

回归算法!

Piece

data:2018.4.11

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容