数据科学资源整理

数据科学主要包括两个方面:用数据的方法研究科学和用科学的方法研究数据(好吧,这明显是在玩文字游戏~),前者包括生物信息学、天体信息学、数字地球等领域;后者包括统计学、机器学习、数据挖掘、数据库等领域。

所以大家形容数据科学家“比软件工程师更擅长统计学,比统计学家更擅长统计工程”。看来数学、统计学和机器学习……一样都跑不脱了。

数学的话这里推荐一下可汗学院出的讲解视频,非常经典:网易公开课

麻省理工的线性代数课也值得一看:麻省理工公开课:线性代数_全35集

关于机器学习的资源我之前已经整理过了 ,所以这里就不过多赘述了。偷懒:)

这里主要就介绍一些课程和数据库吧,大致内容是这样的:

1)学习网站

2)从入门到进阶的项目

3)获取数据集的网站

4)工具列表

5)其它

那就继续往下看吧。

一、学习网站

国内的搜了下基本都是零零散散的,专题性不是很强,所以喜欢看视频的话可以去慕课网网易公开课找主题相关的课程(关键词:机器学习/数据挖掘/数据分析等),实验楼提供文档和在线实操,w3cschool的课也不错,阶段性也比较强。

国外对数据科学可能针对性更强一点,大家可以了解下这几个网站:

EdX

DataCamp(赞!)

Dataquest

Udemy

二、从入门到进阶的项目

这样写会比较系统,而且都是比较经典的一些项目,大家看看都会不会。

1、初级

刚入门还是会推荐一些比较容易的数据集,而且也不需要复杂的数据科学技术,可以使用基本回归或分类算法来解决。

鸢尾花分类:根据可用属性预测花的种类

贷款预测:预测贷款是否会获得批准

Big mart销售预测:预测商店的销售情况

波士顿住房数分析:预测自住房屋的中位数值

学生在校表现评估:使用分类和聚类技术来处理数据

研究身高与体重:预测一个人的身高或体重

2、中级

中级的话会更有挑战性一点,数据集更大,需要一些良好的模式识别技能。

黑色星期五销售预测:预测购买金额

文本挖掘:根据标签对文档进行分类

歌曲年代预测

人口普查分析:预测美国人口的收入水平

电影推荐:向用户推荐新电影

Twitter情感分析:确定哪些推文容易受欢迎

3、高级

下面会涉及到神经网络,深度学习,推荐系统等高级主题。

数字识别:识别图像中的数字

城市声音分类:从音频中分出声音类型

人声识别:寻找声音的主人

芝加哥犯罪分析:预测犯罪类型

演员年龄预测

上面的项目都挺有意思的,大家可以跟着动手练练。

又给大家找了几个中文文档:

NBA常规赛结果预测

神经网络实现手写字符识别系统

K-近邻算法实现手写数字识别系统

三、获取数据集的网站

1、亚马逊网络服务

亚马逊在其AWS web service上提供大型数据集,比如

Google图书的n-gram列表:大量书籍的常用词汇和词汇组

Common Crawl Corpus:来自超过50亿个网页的爬行数据

Landsat图像:地球表面的中等分辨率卫星图像

2、谷歌云平台

和亚马逊一样,谷歌也有一个云托管服务。Google BigQuery公共数据集列出了网页上的所有数据集,比如

Github活动:包含280多万个公共Github存储库的所有公共活动。

历史天气:数据来自9000 NOAA气象站从1929年到2016年。

3、Kaggle

Kaggle是一个组织机器学习竞赛的数据科学社区,网站上有各种外部贡献的有趣数据集。你可以通过参加比赛从Kaggle下载数据。每个比赛都有自己的相关数据集。在新的Kaggle Data sets中也有用户提供的数据集。

4、UCI机器学习库:用户提供的有趣数据集

5、Quandl:经济和金融数据的存储库

6、Twitter:拥有强大的流媒体API

7、Quantopian:开发,测试和操作股票交易算法的网站

四、工具列表

Tableau:数据可视化分析软件,帮助快速轻松地分析数据

Bokeh:一个交互式可视化库,面向现代Web浏览器进行演示。它的目标是提供优雅、简洁的多功能图形构造

Apache Hadoop:允许使用简单的编程模型跨计算机集群分布式处理大型数据集

D3.js:用于根据数据操作文档的JavaScript库。

Jupyter:一个开源Web应用程序,允许创建和共享包含实时代码、方程式、可视化和叙述文本的文档。

OpenRefine:处理凌乱数据的强大工具

Orange:新手也能用的开源机器学习和数据可视化工具

KNIME:无缝地混合工具和数据类型

DataMelt:面向科学家、工程师和学生的免费数学软件,可用于数值计算,统计,符号计算,数据分析和数据可视化等。

RapidMiner:通过使用最新的机器学习算法和技术(如Tensorflow,Hadoop和Spark)消除了尖端数据科学的复杂性。

五、其它:

什么是数据科学?数据科学的基本内容

如何成为数据科学家?

统计学习方法学习笔记一

Iris Data Set(鸢尾属植物数据集)

数据挖掘的一般过程

很棒的机器学习项目

数据集大全:25个深度学习的开放数据集

数据极客|数据科学交流社区

没资源?下一秒就可以加入的10个数据科学项目!

最适合练手30个的机器学习开源项目


以上就是我整理的关于数据科学的一些内容,如果不全还请各位大佬多多包涵(o°ω°o)

大家可以补充,我看到也会再更新上来滴。

希望小伙伴们能多分享一点学习经验,带带二师弟~们啊~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容