BAT大牛教你:怎样透彻的掌握一门机器学习算法

机器学习算法都是一个个复杂的体系,需要通过研究来理解。学习算法的静态描述是一个好的开始,但是这并不足以使我们理解算法的行为,我们需要在动态中来理解算法。

机器学习算法

机器学习算法的运行实验,会使你对于不同类型问题得出的实验结论,并对实验结论与算法参数两者的因果关系有一个直观认识。在这篇文章中,你将会知道怎么研究学习一个机器学习算法。你将会学到5个简单步骤,你可以用来设计和完成你的第一个机器学习算法实验,你会发现机器学习实验不光是学者们的专利,你也可以;你也会知道实验是通往精通的必经之路,因为你可以从经验中学到因果关系的知识,这是其它地方学不到的。

什么是研究机器学习算法

当研究一个机器学习算法的时候,你的目标是找到可得到好结果的机器算法行为,这些结果是可以推广到多个问题或者多个类型的问题上。你通过对算法状态做系统研究来研究学习机器学习算法。这项工作通过设计和运行可控实验来完成。一旦你完成了一项实验,你可以对结论作出解释和提交。这些结论会让你得以管窥在算法变化中因果关系。这就是算法行为和你获得的结论间的关系。

怎样研究学习机器学习算法

在这一部分,我们将学到5个简单的步骤,你可以通过它来研究学习一个机器算法

1.选择一个算法

选择一个你有疑问的算法,这个算法可能是你正在某个问题上应用的,或者你发现在其他环境中表现很好,将来你想使用,就实验的意图来说,使用现成的算法是有帮助的。这会给你一个底线:存在bug几率最低。自己实现一个算法可能是了解算法过程的一个好的方式,但是,实验期间,会引入额外的变量,比如bug,和大量必须为算法所做的微观决策。欢迎加入大数据学习交流分享群: 658558542   一起吹水交流学习(☛点击即可加入群聊

2.确定一个问题

你必须有一个你试图寻找答案的研究问题。问题越明确,问题越有用。给出的示例问题包括以下几个方面:

KNN算法中,作为样本空间中的一部分的K值在增大时有什么影响?

在SVM算法中,选择不同的核函数在二分类问题上有什么影响 ?

在二分类问题中,逻辑回归上的不同参数的缩放有什么影响 ?

在随机森林模型中,在训练集上增加任意属性对在分类准确性上有什么影响?

针对算法,设计你想回答的问题。仔细考虑,然后列出5个逐渐演变的问题,并且深入推敲那个最精确的。

3.设计实验

从你的问题中挑选出关键元素然后组成你的实验内容。 例如,拿上面的示例问题为例:“二元分类问题中逻辑回归上的不同的参数缩放有什么影响?”

你从这个问题中挑出来用来设计实验的元素是:

属性缩放法:你可以采用像正态化、标准化,将某一属性提升至乘方、取对数等方法

逻辑回归:你想使用哪种已经实现的逻辑回归。

二元分类问题:存在数值属性不同的二分类问题标准。需要准备多种问题,其中一些问题的规模是相同的(像电离层),然而其他一些问题的属性有不同的缩放值(像糖尿病问题)。

性能: 类似分类准确性的模型性能分数是需要的

花时间仔细挑选你问题中的组成元素以便为你的问题给出最佳解答。欢迎加入大数据学习交流分享群: 658558542   一起吹水交流学习(☛点击即可加入群聊

4. 进行试验并且报告你的结论

完成你的实验,如果算法是随机的,你需要多次重复实验操作并且记录一个平均数和标准偏差;如果你试图寻找在不同实验(比如带有不同的参数)之间结果的差异,你可能想要使用一种统计工具来标明差异是否统计上显著的(就像学生的t检验),一些工具像R和scikit-learn/SciPy完成这些类型的实验,但是你需要把它们组合在一起,并且为实验写脚本。其他工具像Weka带有图形用户界面,你所使用的工具不要影响问题和你实验设计的严密,总结你的实验结论。你可能想使用图表。单独呈现结果是不够的,他们只是数字。你必须将数字和问题联系起来,并且通过你的实验设计提取出它们的意义

对实验问题来说,实验结果又暗示着什么呢?

保持怀疑的态度。你的结论上有留什么样的漏洞和局限呢。不要逃避这一部分。知道局限性和知道实验结果一样重要。

5. 重复

重复操作

继续研究你选择的算法。你甚至想要重复带有不同参数或者不同的测试数据集的同一个实验。你可能想要处理你试验中的局限性,不要只停留在一个算法上,开始建立知识体系和对算法的直觉通过使用一些简单工具,提出好的问题,保持严谨和怀疑的态度,你对机器算法行为的理解很快就会到达世界级的水平研究学习算法不仅仅是学者才能做的你也可以学习研究机器学习算法。

你不需要一个很高的学位,你不需要用研究的方式训练,你也不需要成为一名学者,对每个拥有计算机和浓厚兴趣的人来说,机器学习算法的系统研究学习是开放的。事实上,如果你主修机器学习,你一定会适应机器学习算法的系统研究。知识根本不会自己出来,你需要靠自己的经验去得到

当谈论你的发现的适用性时,你需要保持怀疑和谨慎,你不一定提出独一无二的问题。通过研究一般的问题,你也将会收获很多,例如根据一些一般的标准数据集总结出一个参数的普遍影响。你保不住会发现某些具有最优方法的常例的局限性甚至反例。

行动步骤

通过可控实验你知道了研究学习机器学习算法行为的重要性。你掌握了简单的5个步骤,你可以在一个机器学习算法上设计和运行你的第一项实验采取行动。使用你在这篇博文中学到的步骤,来完成你的第一个机器学习实验。一旦你完成了一个,甚至是很小的一个,你将会获得自信,工具、能力来完成第二个以及更多。

结语

感谢您的观看,如有不足之处,欢迎批评指正。

如果有对大数据感兴趣的小伙伴或者是从事大数据的老司机可以加群:

658558542    (☛点击即可加入群聊

里面整理了一大份学习资料,全都是些干货,包括大数据技术入门,海量数据高级分析语言,海量数据存储分布式存储,以及海量数据分析分布式计算等部分,送给每一位大数据小伙伴,这里不止是小白聚集地,还有大牛在线解答!欢迎初学和进阶中的小伙伴一起进群学习交流,共同进步!

最后祝福所有遇到瓶颈的大数据程序员们突破自己,祝福大家在往后的工作与面试中一切顺利。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,546评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,224评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,911评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,737评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,753评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,598评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,338评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,249评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,696评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,888评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,013评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,731评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,348评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,929评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,048评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,203评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,960评论 2 355

推荐阅读更多精彩内容