什么是数据挖掘

数据挖掘（Data Mining，MD）：

数据挖掘是一种技术，它将传统的数据分析方法与处理大量数据的复杂算法相结合。

数据挖掘是在大型数据存储库中，自动地发现有用模式（信息、知识、规律、模型）的过程。

数据挖掘是从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。

数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构。

数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。

数据挖掘要解决的问题

1. 算法可伸缩性

海量数据集越来越普遍，且数据类型的不同。

2. 高维性

具有成百上千属性的数据集。

具有时间或空间分量的数据集。

3. 异种数据和复杂数据

非传统的数据类型的出现。

需要分析数据之间的联系。

4. 数据的所有权与分布

数据并非存放在一个站点，或归属于一个机构。

5. 非传统的分析

当前的数据分析任务常常需要产生和评估数以千计的假设。

数据挖掘所分析的数据集通常不是精心设计的实验的结果。

数据挖掘的起源

1. 起源

1. 来自统计学的抽样、估计和假设检验。

2. 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。

2. 发展

第一代数据挖掘系统：

支持一个或少数几个数据挖掘算法，这些算法设计用来挖掘向量数据，这些数据模型在挖掘时候，一般一次性调进内存进行处理。许多这样的系统已经商业化。

第二代数据挖掘系统：

目前的研究，是改善第一代数据挖掘系统，开发第二代数据挖掘系统。第二代数据挖掘系统支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性。例如，第二代系统能够挖掘大数据集、更复杂的数据集、以及高维数据。这一代系统通过支持数据挖掘模式和数据挖掘查询语言增加系统的灵活性。

第三代数据挖掘系统：

第三代的特征是能够挖掘 Internet / Extranet 的分布式和高度异质的数据，并且能够有效地和操作型系统集成。这一代数据挖掘系统关键的技术之一是提供对建立在异质系统上的多个预言模型以及管理这些预言模型的元数据提供第一级别的支持。

第四代数据挖掘系统：

第四代数据挖掘系统能够挖掘嵌入式系统、移动系统、和普遍存在计算设备产生的各种类型的数据 。

数据挖掘任务

数据挖掘任务分为两大类：

预测任务：这些任务的目标是根据其他属性的值，预测特定属性的值。被预测的属性一般称为目标变量（Target Variable）或因变量（Dependent Variable），而用来做预测的属性称说明变量（Explanatory）或自变量（Independent Variable）.

描述任务：其目标是导出概括数据中潜在联系的模式（相关、趋势、聚类、轨迹和异常）。

1. 预测建模（Predictive modeling）

涉及以说明变量函数的方式为目标变量建立模型。

1) 分类（Classification）

用于预测离散的目标变量。 

分类与估值

分类指通过分析一个类别已知的数据集的特征来建立一组模型，该模型可用以预测类别未知的数据项的类别。

分类模型可以表现为多种形式：分类规则(IF-THEN)，决策树或者数学公式，乃至神经网络。

估值与分类类似，只不过它要预测的不是类别，而是一个连续的数值。

2) 回归（Regression）

用于预测连续的目标变量。

2. 关联分析（Association analysis） 

用来发现描述数据中强关联特征的模式。

从一个项目集中发现关联规则，该规则显示了给定数据集中经常一起出现的属性－值条件元组。

3. 聚类分析（Cluster analysis）

旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能类似。 

聚类分析又称为“同质分组”或者“无监督的分类”，指把一组数据分成不同的“簇”，每簇中的数据相似而不同簇间的数据则距离较远。 

相似性可以由用户或者专家定义的距离函数加以度量。

好的聚类方法应保证不同类间数据的相似性尽可能地小，而类内数据的相似性尽可能地大。

4. 异常检测（Anomaly detection）

识别其特征显著不用于其他数据的观测值。

这样的观测值称为 异常点（Anomaly）或离群点（Outlier）。

5. 时间序列分析（Time-Series Analysis）

时间序列分析即预测(Prediction)，是指通过对大量时间序列数据的分析找到特定的规则和感兴趣的特性，包括搜索相似序列或者子序列，挖掘序列模式、周期性、趋势和偏差。

预测的目的是对未来的情况作出估计。