数据分析的基本过程

Live 简介:

  1. 谁适合本课程?
    想从零开始学会数据分析,实现升职加薪或者转行数据分析的你,零基础即可加入。
  2. 你将从本次课程中学到什么?
    通过真实案例数据集,从开始到结束,使用 Numpy 和Pandas 了解整个数据分析过程。

内容大纲:

  • 数据分析的基本过程是什么?
  • 如何使用Numpy和Pandas分析一维数据?
  • 如何使用Numpy和Pandas分析二维数据?
  • 你将挑战的实战项目:如何用Python对销售数据进行分析?

1、斜杠青年的问题在哪里?

我们现在把这种有多重身份的人叫做斜杠青年。

很多人也受此影响开始各种跨界,但是跨界并没有成功,还影响了原本自己的收入,那么跨界的问题出在哪里呢?

要想跨界并且跨界成功有一个前提条件,那就是你要先在某个领域里做成一件事情。在我们决定了做一件事情以后,不管是业余爱好还是工作外的其他事情,都要按照专业水平去做,不能因为这只是一个业余爱好就放低对自己的要求,而是应该用专业和职业的要求去系统地学习。

在这个商业社会,有很多公司是跨界的,同样有很多公司是聚焦的。判断一个公司价值是否重要的标准就是,如果世界上少了这家公司对我们的生活有没有影响。例如:如果一家银行倒闭了,我们可以换其他的银行。但是如果腾讯和阿里巴巴倒闭了,那就影响很大了。

同样的道理,我们也可以根据这个标准来评价自己是不是具有不可替代的核心竞争优势。例如:有一个好的数据分析师,公司缺少了他就不能看到有价值的数据分析报告,从而无法完成正确的决策,那么这个人就是有不可替代性的!

所以我们要在一个方向上把自己打磨成具有专业水平的人才,让自己具有不可替代性,从而增加自己的收入。

世界上最大的技术问答平台 Stack Overflow 在2017年有一份数据报告,这份报告显示:django 和 flask 是用于web开发的Python包,在数据分析领域中用到最多的Python包是 numpy、pandas 和 matplotlib。

其中numpy是用于数学计算,比如线性代数中的矩阵计算(在机器学习中非常有用);pandas是基于numpy的数据分析工具,该工具是为了解决数据分析任务而创建的,它提供了一套名为数据框的数据结构,可以方便地对表结构的数据进行分析;matplotlib是一个图形绘制库,专门用于数据分析结果的可视化。

下面我们详细介绍numpy和pandas这两个数据分析包的使用,最后通过完成一个数据分析项目来实践我们学习的理论知识。至于数据分析结果的可视化,可以参考 如何用Python绘图和制作数据分析报告?


2、一维数据分析:Numpy

numpy 和 pandas 都有表示一维数据的特殊数据结构。

在 pandas 中,它的一维数据结构叫做:Series
在 numpy 中,它的一维数据结构叫做:Array(数组)。
Series比Array的功能更多。

pandas是建立在numpy的基础上的,首先我们需要掌握numpy的一维数组Array。

切片操作部分,不包括结尾部位:
通常一个切片操作要提供三个参数
[start_index: stop_index: step]
start_index是切片的起始位置
stop_index是切片的结束位置(不包括)
step可以不提供,默认值是1,步长值不能为0,不然会报错ValueError。

numpy 数组中的每个元素都必须是同一种数据类型,而列表中的元素可以是不同的数据类型。


3、练习:使用Numpy存放一维数据


4、一维数据分析:Pandas


5、练习:存放6家公司今天的股价


6、二维数据分析:Numpy

二维数据结构是指这个数据既有行又有列,有点类似于Excel里的二维表格。

在numpy中通过Array来创建一个二维数组,在pandas中通过一个叫做数据框(DataFrame)的数据结构来创建二维数组。


7、练习:如何使用numpy二维数组?


8、二维数据分析:Pandas

numpy数组中的每一个元素都属于同一种数据类型,这在数值计算和科学计算中是非常有用的。但是它不利于我们表示类似于Excel中的内容,因为Excel中每一列的数据类型可能都不一样。这时候pandas中的二维数组DataFrame (数据框)就派上用场了。

DataFrame 相对于 Array 的两个优点:
① DataFrame 的每一列数据可以是不同类型,这就方便表示 Excel 中的数据内容了。
② DataFrame 也有索引的功能,这使得其很容易存储常见的表格数据。

loc属性用于根据索引查询值用的最多,应熟练掌握!!!


9、练习:从数据框中获取销售数据


10、数据框复杂查询


11、练习:听歌曲获取描述统计信息


12、数据分析的基本过程

数据分析步骤:

提出问题
一切数据分析的目的都是为了解决我们生活或工作中的实际问题,明确的问题为我们后续的数据分析提供了一个大的方向和目标。

理解数据
① 采集数据 ;
② 导入数据 ;
③ 查看数据集的信息,包括描述统计信息,从整体上理解数据。

数据清洗(数据预处理)

构建模型
对清洗过的数据进行分析。简单的分析就是得出一些业务指标;复杂的分析就要用到机器学习的算法来构建模型。

数据可视化
与他人交流你的研究成果,最好的展示方式就是图表。


13、提出问题

在实际数据分析项目中,前期我们就需要和业务人员一起讨论明确他们的需求以及各个指标的计算公式。


14、理解数据


15、练习:理解数据


16、数据清洗的步骤

在数据分析的工作中,有多达60%的时间是花在了分析前数据的清洗上的。比如处理缺失数据、删除异常值等等。

数据预处理的目的是把数据改变为我们喜欢的样子,以便于后期的数据探索和分析。

业务部门给我们的原始数据很多时候并不符合我们数据分析的需求,这时候就需要对数据进行清洗。

原始数据经常会由于记录缺失错误,这时候就会导致有些数据是缺失的。我们可以采用两种办法来处理:
① 直接删除缺失的数据;
② 如果缺失数据太多,我们可以通过建立模型进行插值的办法来补充这些数据。
(以后在机器学习中具体集合算法介绍)


17、练习:社保卡号缺失值处理


18、数据清洗:类型转换

由此可见,数据清洗的几个步骤不是运行一次就OK的,需要不断反复地根据数据清洗的目的反复做几次!!!


19、练习:学习利用搜索引擎解决问题

两个学习道具:
1)这个网页可以调用全球最大的搜索引擎(长按此处可以复制):https://busca.uol.com.br/
2)全球最大的技术问答平台Stack Overflow如何使用(长按此处可以打开链接):如何优雅地使用 Stack Overflow?


20、数据清洗:排序


21、练习:对销售时间进行排序


22、数据清洗:异常值处理


23、练习:销售数据异常值处理


24、构建模型:月均消费次数


25、练习:计算业务指标1


26、构建模型:月均消费金额和客单价

门店的销售金额是由客单价和顾客数所决定的。因此要提升门店的销售额,除了尽可能多的吸引顾客,增加顾客交易的次数以外,提高客单价也是非常重要的途径。


27、练习:计算业务指标2、3


28、总结

到目前为止我们已经完成了3个业务指标的分析计算,只剩1个业务指标——数据趋势。它的分析需要用到pandas的更多高级功能和数据可视化方面的内容,这块内容会在之后的课程中详细地介绍。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,366评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,521评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,689评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,925评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,942评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,727评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,447评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,349评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,820评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,990评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,127评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,812评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,471评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,017评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,142评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,388评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,066评论 2 355

推荐阅读更多精彩内容