学习数据分析的核心是培养数据思维,掌握挖掘工具,熟练实践并积累经验。
数据分析可分成三个重要的组成部分:1 数据采集 2 数据挖掘 3 数据可视化。
数据采集:任何分析都要有数据源,它是数据分析的原材料。要获得数据源,需要用工具进行采集,使用最广的是python爬虫。在数据的预处理中,有几个处理步骤,分别是数据清洗,数据集成和数据转换。数据清洗主要是去除重复数据,干扰数据以及填充缺失值。数据集成主要是将多个数据源的数据统一存放。数据转换就是将数据格式统一,转换成有利于数据挖掘的格式。
数据挖掘:就是在纷繁复杂的数据中找到规律。在数据挖掘中,有几个非常重要的任务,就是分类、聚类、预测和关联分析。
数据可视化:数据往往是隐性的,尤其是当数据量大的时候很难感知,可视化可以帮我们很好地理解这些数据的结构,以及分析结果的呈现。可视化常用的工具python,可以使用matplotlib、seaborn等第三方库。