聚类模型

什么是聚类

聚类，即把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。目前常用的聚类算法有基于划分的算法，基于层次的算法，基于密度的算法，基于网格的算法以及基于模型的方法。

从机器学习的角度来看，聚类属于无监督学习，因为它没有事先定义的类别标记。聚类只是从数据的角度，将相似的样本点聚集在一起，将大量的样本聚集成一个一个的簇。

聚类既可以作为单独的数据分析工具使用，如根据城市的各项数据，将城市划分为一线城市、二线城市、三线城市等，并且提取出它们的共同特征。也可以作为其他方法的数据预处理手段，如发现孤立点，进行数据离散化等等。

那什么是高质量的聚类呢？从理论的角度分析，如果聚类之后可以达到“高类内相似性、低类间相似性”，则这样的聚类在理论上具有较高的质量。事实上，聚类的质量不仅依赖于所使用的方法，同时也依赖于具体的实现方式。

虽然我们刚刚提出了一个高质量聚类的判断标准，我们依然很难将其进行量化。最终评价聚类质量高低的，往往是聚类之后相关利益方的满意程度。只要需求方对你的聚类结果比较满意，从中得到了有价值的信息，那么聚类便是有效的，高质量的。

最后，根据聚类的对象不同，聚类又可以分为Q型聚类和R型聚类。其中Q型聚类主要用于对样本进行分类，也是我们最为常见的一种聚类，例如对城市进行聚类分析，将其分为一线、二线等城市簇。

而R型聚类用于对变量，或者说对特征进行聚类分析。例如对城市进行聚类分析时会涉及到许多的指标，GDP、人口、空气质量、耗电量、耗水量、绿化面积等等，那么我们可以通过对这些指标进行聚类分析，找出相关性较强的一簇簇指标，进而归纳出评价城市的几大主要因素：环境因素、人口因素、经济因素等等。

相似性的度量

聚类的一个原则是“高类内相似性，低类间相似性”，那么问题来了，我们如何度量这种相似性呢？

一般来说，我们会使用距离函数来描述两个样本点和之间的相似程度。如果两个样本点之间的距离越小，我们就认为这两个样本越相似。极端情况下，两个样本点之间的距离为0，则此时两个样本点是完全一模一样的。

距离函数的性质

一般而言，距离函数必须满足以下几条性质：

1. ，非负性
2. 
3. ，对称性
4. ，满足三角不等式

常用的距离函数

常用的的距离函数主要有明考夫斯基距离、兰氏距离、马氏距离、斜交距离。

明考夫斯基距离定义如下：

其中是样本的第个特征的取值，为特征的数量，则取自然数。

针对的取值不同，我们可以得到几个常用的距离。

1. 时，，称之为绝对距离
2. 时，，就是我们常见的欧氏距离。
3. 时，，称之为切比雪夫距离。

最为常用的距离当然就是欧式距离啦。

考虑到在实际问题中，不同的特征对于样本的影响是不同的，因此在计算距离的时候，我们有时候会加上相应的权重，此时明考夫斯基距离的计算公式就变成了

对于欧氏距离，则变成了

一般来说，为了消除不同特征数据量纲的影响，在计算明考夫斯基距离之前，需要先对数据进行规范化处理，如使用z-score方法。但是一般我们会使用平均绝对偏差代替标准差。即此时的规范化公式为

使用平均绝对偏差，相对于标准差抗噪声能力更强，且更容易检测到噪声。

明氏距离没有考虑到数据中的协方差模式，马氏距离则考虑了协方差，且不受指标测量单位的影响：

斜交距离：

仅作了解仅作了解

对于向量对象，如文档中的关键字等等，可以使用cosine measure衡量，也就是夹角的余弦值。

聚类的类型

聚类根据不同的维度可以分为不同的类型。

根据分类对象的不同，可以分为Q型聚类和R型聚类。

根据结果展现形式的不同，可以分为分割聚类和层次聚类。

分割聚类是指将样本分割为不重叠的子集，使得每个样本对象只属于其中一个子集。

层次聚类是将数据对象分割为一系列嵌套的、树状的簇。

根据具体实现方式的不同，又可以分为以下几种不同的类型。

1. 良分割聚类
   在良分割聚类中，每个点到簇内其他点的距离都小于到簇外其他点的距离。按照字面意思应该很好理解。

2. 基于中心的聚类
   对于该聚类，每个点与其所在簇中心的距离都小于其他簇中心的距离。依然需要满足距离的限制，只是相对于良分割聚类，使用了“中心”代替一个簇。
   簇的中心可以是质心，即簇内所有点的均值；也可以是medoid，即簇内最具有代表性的点（它到簇内其他所有点的距离之和最小）。

3. 基于密度的聚类
   在这种实现方式中，簇是密度超过一定阈值的点的集合，簇与簇之间被一些低密度区域分开。主要适用于簇不规则，或者相互纠缠，以及存在噪声或者孤立点的情况。可以打开看一下基于密度的聚类是如何实现的。
   

4. 基于目标的函数的聚类
   对于这种聚类的实现方式，往往需要枚举所有可能的把对象点构成簇的方式，并使用目标函数对这些簇进行评价，评价结果最好的作为最终的聚类方式。可以证明，这是一个NP Hard的问题。

5. K-means聚类
   K-means是典型的基于邻近聚类的方式，也是最常用的聚类手段之一。它是一种分割聚类的方法。开始时，我们给需要定我们希望得到的簇的数目K，K-means会选择K个簇的初始中心点。之后按照根据其他点到中心点的距离，将每个点归属于一个与其距离最近的中心点所决定的簇。之后对簇的中心点进行更新，再次将所有的点归类。不断重复上述步骤直至每个簇的中心点不再发生变化。可以打开看一下K-means是如何实现的。
   

   两个中心点

三个中心点

五个中心点

对于K-means聚类，其中心点一般是簇的均值，相似性一般使用欧几里得距离度量。我们可以使用

来评价K-means聚类的质量。其中是簇内所有的样本点，代表簇内的一个代表性点，如中心点（一般是均值点）。在评价时，给定两种不同的聚类方案，取SSE更小的方案作为我们的选择。

最后说一说K-means的优缺点。

其主要优点是使用起来简单、快速、高效，对于大数据也能在较快的时间内获得一个不错的解；其缺点也很明显，首先，K-means要求用户必须事先给定K值，这本身就不太好确定。其次，K-means对于初值很敏感，选取不同的初值作为中心点，其结果往往是不同的。而且，K-means对于噪声和孤立点也很敏感，对于簇的划分有较大的影响。

此外，还有一种称之为K-Medoids的方法，他与K-means的区别在于，其聚类中心不再是簇内数据的均值，而是簇内最中心的实际数据点。即此时的聚类中心必须是一个真实的样本点。

但无论是K-means还是K-Medoids，初始点的选取都是至关重要的。一般，我们采用“最远初始点法”选取聚类中心。简单描述如下：首先选择第一个样本点作为第一个聚类中心，之后选择距离第一个点最远的点作为第二个聚类中心，再之后选择的点，需要满足到最近的聚类中心的距离最远。直至选到所有的聚类中心，之后开始进行迭代。

通过这种选取方式，初始聚类中心彼此之间距离较远，可以较快地得到较为稳定的聚类结果，并且有效的处理了孤立点、噪声点等。

当然，为了更好地实现聚类，我们也可以使用一些前处理和后处理的手段。

常见的前处理手段包括对数据进行规范化、消除孤立点等等；常见的后处理手段包括

1. 消除有可能是孤立点的较小的簇
2. 分割“松散”的簇，即SSE高的簇
3. 合并紧凑的簇，即距离进且SSE小的簇

通过这些处理的手法，可以让我们的聚类结果更加高质量。

关联模型

关联规则

描述两个或两个以上变量的取值之间存在的某种规律性，就称之为关联。关联分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般使用支持度和置信度两个阈值来度量关联规则的相关性。

关联规则的挖掘就是在事务数据库中找出具有用户给定的最小支持度和最小置信度的关联规则。

• 最小支持度：用户规定的关联规则必须满足的最小支持度，它表示了一组物品集在统计意义上需满足的最低程度。
• 最小置信度：用户规定的关联规则必须满足的最小置信度，它反映了关联规则的最低可靠度。

啤酒和尿布的例子

一个经典的关联规则挖掘的例子，就是啤酒和尿布。为什么超市要把啤酒和尿布的位置放得比较近呢？毕竟这两个完全不是一类生活物品。

首先我们给出一个简单的事务数据库，这里表示一些人购物篮中的物品。

对于每一个物品，如面包、牛奶等，我们可以称之为一项。而一项或几项物品组成的集合，我们称之为项集。如{牛奶}是一个项集，{牛奶，面包}也是一个项集。

之后，我们可以定义项集的支持度这一概念。所谓支持度，就是事务数据库中包含某一项集的比例。例如对于{面包，牛奶}这一项集，上面的五条事务中，1，4，5都包含有{面包，牛奶}，因此该项集相对于上述事务数据库的支持度就是。

那在事务数据库中，什么是关联规则呢？

形如的表达式，其中和是不相交的项集。例如。该规则表达的意思是，如果购物篮里有牛奶和尿布，那么里面也会存在啤酒。

对于这个规则，我们可以使用“支持度(s)”和“置信度(c)”来对其强度，或者说正确性进行衡量。此时，所谓的支持度就是项集即的支持度，为。

置信度则为所有包含项集的事务中，也包含项集的比例。对于项集，包含它的事务有3，4，5这三条。其中包含的事务有3，4这两条。因此，关联规则的置信度则为。

从概率的角度去理解，支持度就是事件和相对于事务数据库同时发生的概率，而置信度就是在事件发生的情况下，也发生的概率，也就是条件概率。这样看，当同时发生的概率和条件概率都比较大的时候，我们有理由认为，在一定程度上，的发生就会带来的发生。

以上只是关联规则的一个简单例子，实际中的应用往往要更加复杂，有兴趣可以自行搜索。