数据挖掘概况

数据挖掘（Data mining，简称DM），是指从大量的数据中，通过统计人工智能，机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
数据挖掘是一门交叉学科，覆盖了统计学、数据可视化、算法、数据库、机器学习、市场营销、其他学科等多门学科的知识。

认为：数据挖掘是某些大量数据操作的算法，这些算法能够自动地发现新的知识
数据挖掘需要非常高深的分析技能，需要精通高深的算法，需要熟练程序开发。
实际：数据挖掘是人们处理商业问题的某些方法，我们通过它来获得有价值的结果。
实际上，最好的数据挖掘工程师往往是那些熟悉和理解业务的人。

定义：根据分析目的，用适当的分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。
作用：现状分析、原因分析、预测分析
方法：对比分析、分组分细、交叉分析、回归分析等
结果：指标统计量结果，如综合、平均值等

定义：从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
作用：解决四类问题：分类、聚类、关联、预测
方法：决策树、神经网络、关联规则、聚类分析等
结果：输出模型或规则

模型：

算法：实现数据挖掘技术、模型的具体步骤与方法

从商业角度，需要解决哪些问题？

用户流失预测——分类问题
促销活动响应——分类问题
目标市场细分——聚类问题
交叉销售提升——关联问题
未来销售预测——预测问题

分类型目标变量（Y）——有监督学习
使用已知目标分类的历史样本来训练
需要对未知分类的样本预测所属的分类
常见分类方法有：决策树、贝叶斯、KNN、支持向量机、神经网络、逻辑回归等
分类商业问题：
用户流失预测、促销活动响应、用户信用评估等

无目标变量（Y）——无监督学习
基于数据项关联，识别频繁发生的模式
常见的关联算法：Aprior算法、Carma算法、序列算法
关联商业问题：
哪些商品同时购买几率高、如何提高商品销售和交叉销售等

数值型目标变量（Y）——有监督学习
需有已知目标值的历史样本来训练模型
对未知的样本预测其的目标值
常见的预测方法有：简单线性回归分析、多重线性回归分析、时间序列等
预测商业问题：
未来气温预测、GDP增长预测、收入、用户数预测等

CRISP-DM数据挖掘方法论：