数据分析需要掌握的概念
商业智能 BI、数据仓库 DW、数据挖掘 DM 三者之间的关系
- 商业智能（Business Intelligence，BI） - 预测用户行为
基于数据仓库，经过了数据挖掘后，得到了商业价值的过程 - 数据仓库（Data Warehouse，DW）： - 存储用户数据 - 金矿
数据仓库将多个数据源进行汇总、整理，数据仓库量比较庞大，相比数据库是升级的概念 - 数据挖掘（Data Mining，DM）： - 对个体进行行为分析总结出来规律 - 炼金术
包括分类、聚类、预测、关联分析等任务，从数据仓库中得到有用的信息，绘制成商业报告
元数据 VS 数据元
- 元数据（MetaData）：描述其它数据的数据，也称为“中介数据“
- 数据元 Data Element）：就是最小数据单元。
数据挖掘的流程
英文解释为 Knowledge Discovery in Database，KDD，数据库中的知识发现
包含分类、聚类、预测和关联分析
分类: 就是通过训练集得到一个分类模型，然后用这个模型可以对其他数据分类
聚类: 人以群分，物以类聚。聚类就是将数据自动聚类成几个类别，聚到一起相似度大，不在一起差异性大。我们往往用聚类做数据划分。
预测: 就是通过当前和历史数据来预测未来趋势，可以更好地帮助我们识别风险和机遇。
-
关联分析: 就是发现数据中的关联规则，它被广泛应用在购物篮分析，或事务数据分析中。
image.png
KDD 过程:
输入数据 -> 数据预处理 -> 数据挖掘 -> 后处理 -> 信息
数据预处理通常包括:
数据清洗：去除重复数据，去噪声
数据集成：将多个数据源数据统一存放在数据存储中
数据变换：将数据转换成合适的数据挖掘形式，比如相同的计量单位
- 归一化 - 数据落到 0 - 1 之间
数据后处理: 将模型预测的结果进一步处理后导出
- 比如 0-1 之间的数据以 0.5 为界限进行四舍五入就可以实现后处理
白话数据概念 - 追女孩
- 商业智能会告诉你要追哪个？成功率多大？
- 数据仓库会告诉你存储了这几个女孩的信息，你要吗？
- 每个女孩有单独文件夹（元数据），里面有姓名生日（数据元 - 数据单元）等
- 数据挖掘会帮助你确定追哪个女孩，并且整理好套路给你用
- 分类算法：御姐还是萝莉
- 女孩太多 - 聚类算法
- 你想要女孩的闺蜜 - 关联分析算法
- 给你推荐女孩的人太多，有重复 - 数据清洗
- 为了方便记忆，把不同朋友推荐的女孩信息和成一个 - 数据集成
- 有些女孩给你的体重信息是斤有些是公斤 - 数据变换
- 最后数据可视化
