判别分析

判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。

判别分析和聚类分析都是要求对样本进行分类，但两者的分析内容和要求是不一样的。聚类分析是给定数量的样品，但样品应划分出怎样的类别还不清楚，需要聚类分析来判别。判别分析是已知样品应分为怎样的类别，判断每一个样品应属于怎样的类别。

文章结构

距离判别

距离判别是以给定样品与各总体之间的距离的计算值为准则进行类别判断的一种方法。由于马氏距离不受量纲的影响，因此，在距离判别法中，也采用马氏距离作为类别判断的依据。

两个总体的判别规则

（1）若ω（x）>0 则x属于G₁
（2）若ω（x）<0 则x属于G₂
（3）若ω（x）=0 则待判
其中，ω（x）为x的线性函数：（推导过程略）

$d^{2}(x,G_{1})-d^{2}(x,G_{2})=-2\omega (x)$

故常称ω（x）为线性判别函数

多总体的判别规则

协方差阵相同时：
判别函数为：

$\omega _{ij}(x)=(x-\frac{\mu _{i}+\mu _{j}}{2})^{T}\Sigma ^{-1}(\mu _{i}-\mu _{j})$

相应的判别规则为：

协方差阵不同时：
判别函数为：

$\omega{}' _{ij}(x)=(x-\mu _{i})^{T}\Sigma _{i}^{-1}(x-\mu _{i})-(x-\mu _{j})^{T}\Sigma _{j}^{-1}(x-\mu _{j})$

相应的判别规则为：

Fisher判别法

该法是按照类内方差尽量小，类间方差尽量大的准则来要求判别函数。组与组的分开借用了方差分析的思想。

1. 两总体Fisher判别

从两个总体中抽取p个指标的样品观测数据，根据方差分析的思想构造一个判别函数：

$y=c_{1}x_{1}+c_{2}x_{2}+\cdots +c_{p}x_{p}$

其中系数确定的原则是使两组间的区别最大，而使每个组内部的离差最小。

有了判别式以后，对于一个新的样品，将它的p个指标带入判别函数中求出y值。然后与判别临界值进行比较，就可以判断它属于哪一个总体。

分析过程：

建立判别函数
计算临界值，然后根据判别准则对新样品进行判别分类。
检验判别效果（当两个总体协方差阵相同且总体服从正态分布）——F检验

2. 多总体Fisher判别

设有k个总体G₁，G₂，…，Gk，从中抽取的样品数为n₁，n₂，…，nk，令n=n₁+n₂+…+nk。设判别函数为：

$y=c_{1}x_{1}+c_{2}x_{2}+\cdots +c_{p}x_{p}=c^{T}x$

其中，

$c=\left ( c_{1},c_{2},\cdots ,c_{p} \right ),x=\left ( x_{1},x_{2},\cdots ,x_{p} \right )^{T}$

在多总体情况下继续选取系数向量c即可。
注：一般来说，对经验样品回判率大于80%就可以使用Fisher判别。

Bayes判别法

贝叶斯判别的基本思想是认为所有G个类别都是空间中互斥的子域，每个观测都是空间中的一个点。

在考虑先验概率的前提下，利用Bayes公式按照一定的准则构建一个判别函数，分别计算该样品落入各个子域的概率，所有概率中最大的一类就被认为是样品所属的类别。

Bayes判别的数学推导略，其数学模型的建立可参考：[百度文库](https://wenku.baidu.com/view/37949474a8114431b80dd803.html)，P5-P14

但在Bayes判断规则之前，设

$G_{i}\sim N_{p}(\mu _{i},\Sigma )$

有必要进行统计检验H₀₁：μ₁=μ₂=…=μk。当H₀₁被接受，说明k个总体是一样的，也就没有必要建立判别函数；

若H₀₁被拒绝，就需要检验每两个总体之间差异的显著性，重复操作。

逐步判别法

逐步判别的思想类似于逐步回归。变量按照其重要性逐步引入，已经引入的变量也可能因为新的变量而被剔除。每次引入或剔除变量都进行相应的统计检验。

利用威尔克斯统计量对变量的重要性进行区分：

$\Lambda (X_{j}\mid X^{*})=\Lambda (X^{*},X_{j})/\Lambda (X^{*})$

其中Λ（X，Xj）表示X与Xj的威尔克斯检验统计量，Λ=组内离差平方和/样本点总离差平方和。

SPSS应用

步骤：分析->分类->判别，选入变量，如下图：

判别对话框

定义分组变量范围，如下图：

范围对话框

点击Statistics按钮，选择如下图：

统计对话框

Fisher's：
实际是对新样品进行判别分类的贝叶斯判别系数。因为按判别函数值最大的一组进行归类这种思想是Fisher提出的，所以SPSS用Fisher对贝叶斯方法进行命名。
未标准化：
即一般意义上的费舍尔判别函数系数（系统一般给出的是标准化的费舍尔判别函数系数）

单击分类按钮，如下图：

分类对话框

单击Save按钮，选项如下图：

Save对话框

主要输出结果：

Fisher、Bayes的判别函数系数表（从左至右）

右图是贝叶斯判别函数系数表，将样品的各参数带入2个贝叶斯判别函数，比较得出的函数值，哪个函数值较大就将该样品归于哪一类。

以及最后的样品判别结果见下表：

样品判别

可以直接读出预测组的分类为第2类。

SPSS与判别分析