模式识别

模式识别：获取关于某一事物的信息并将其归于某一类别的过程，从样本到类别的映射；
根本样本的类别是否已知，模式识别可分为监督学习和非监督学习；
在模式识别中，特征通常蕴含着领域知识，可分为低层，中层和高层特征；

统计决策方法：

基本概念和名词约定：

-先验概率 $P(\omega_{i})$ :未对样本进行任何观测的概率。
-样本分布概率密度(总体概率密度) $P(x)$
-类条件概率密度 $P(x|\omega_{i})$
-后验概率： $P(\omega_{i}|x)$
-条件错误概率： $P(e|x)$
-平均错误概率： $P(e) = \int{P(e|x)P(x)dx}$
-正确率： $P(c) = 1 - P(e)$
-贝叶斯公式： $P(\omega_{i}|x) = \frac{P(\omega_{i},x)} {P(x)} = \frac {P(x|\omega_{i})P(\omega_{i})} {P(x)} = \frac {P(x|\omega_{i})P(\omega_{i})} {\sum{P(x_{i}|\omega_{i})P(\omega_{i})}}$
-test: $a = \frac bc$

最小错误率贝叶斯决策

$min P(e) = \int{P(e|x)P(x)dx}$
使错误率最小的决策就是使后验概率最大的决策，故决策规则如下：
如果 ${P(\omega_{1}|x)} \gt {P(\omega_{2}|x)}$ ,则 $x \in \omega_{1}$ ;反之，则 $x \in \omega_{2}$ ，后验概率可用贝叶斯公式进行计算；

等价判断规则如下：

$P(x|\omega_{1})P(\omega_{1}) \gt P(x|\omega_{2})P(\omega_{2})$ ,则 $x \in \omega_{1}$ ;反之， $x\in \omega{2}$

$l(x) = \frac {P(x|\omega_{1})}{P(x|\omega_{2})} \gt \frac {P(\omega_{2})} {P(\omega_{1})}$ , 则 $x \in \omega_{1}$ ;反之， $x\in \omega{2}$

对于多类别情况，则需选择后验概率最大的类；

最小风险贝叶斯决策

在一些情况下，我们更加关注不同错误所带来的的损失而不是错误率本身，故在这种情况下用最小风险贝叶斯决策；
状态空间： $\Omega = \{ \omega_{1},\omega_{2},\ldots,\omega_{c}\}$
决策空间： $A = \{ \alpha_{1},\alpha_{2},\ldots,\alpha_{k}\}$
损失函数： $\lambda(\alpha_{i},\omega_{j})$ ,表示对实际状态 $\omega_{j}$ 作出决策 $\alpha_{i}$ 带来的损失；
条件风险：对特定 $x$ 采取决策 $\alpha_{i}$ 时的期望损失：
$R(\alpha_{i}|x) = \sum_{j=1}^c \lambda(\alpha_{i}, \omega_{j})P(\omega_{j}|x)$
期望平均风险，对所有可能的 $x$ 采取决策 $\alpha_{i}$ 时可能造成的损失：
$R(\alpha) = E[R(\alpha(x)|x)] = \int R(\alpha(x)|x)p(x)dx$
最小风险贝叶斯决策规则和计算步骤：
Decide $\alpha_{i}$ , if $R(\alpha_{i}|x) = \min_{j = 1,\ldots,k}R(\alpha_{i}|x)$

两种决策之间的关系：

如果损失函数使0-1损失函数，则这两种决策等价。

两类错误率，Neyman-Pearson决策与ROC曲线

状态与决策的可能关系

状态	决策	决策
阴性	真阴性（TN）	假阳性(FP)
阳性	假阴性(FN)	真阳性(TP)

灵敏度 $S_{n} = \frac {TP} {TP + FN}$ ,表示阳性样本有多少能被正确的检测出来；
特异度 $S_{p} = \frac {TN} {TN + FP}$ ,表示真正的阴性样本中有多大比例没有被误判；

假阳性率又被称为第一类错误率，用 $\alpha$ 表示；假阴性率称为第二类错误率，用&\beta&表示；

$\alpha = \frac {FP}{TN + FP},\beta = \frac {FN} {TP + FN}$
固有 $S_{n} = 1 - \beta, S_{p} = 1 - \alpha$

在某些情况下需要使第二类错误率达到某一水平，以此为约束让第一类错误率尽可能低：
$\min P_{1}(e)$
$s.t. P_{2}(e) - \epsilon_{0} = 0$

决策规则为：
$l(x) = \frac {P(x|\omega_{1})} {P(x|\omega_{2})} \gt \lambda$ , $x \in \omega_{1}$ ;否则， $x \in \omega_{2}$

$\lambda$ 很难求得封闭解，可以采用数值方法求解，采用试探法计算几个不同的 $\lambda$ 使其满足下式并使得 $P_{1}(e)$ 尽可能的小；
$P_{2}(e) = 1 - \int_{0}^\lambda P(l|\omega_{2})dl = \epsilon_{0}$

ROC曲线

灵敏度 $S_{n}$ （真阳性率）作为纵坐标轴，假阳性率（1 - $S_{p}$ ）作为横坐标轴得到的曲线就是ROC曲线，常用于比较两种不同分类方法的性能，曲线下的面积AUC值常用于比较方法的性能；

正态分布时的统计决策

在统计决策理论中，类条件概率密度函数 $P(x|\omega_{i})$ 起着重要的作用，这一节将探讨概率密度是正态分布的一些具体结论。

正态分布及其性质回顾

单变量正态分布 $p(x) \sim N(\mu, \sigma^{2})$
$p(x) =\frac {1}{\sqrt{2\pi\sigma}} \exp\{ -\frac 1 2 (\frac {x - \mu} {\sigma})^2\}$
多元正态分布
$d$ 维多元正态分布概率密度函数，
$p(x) = \frac {1}{{(2\pi)}^{\frac d 2} |\sum|^{\frac {1}{2}}} \exp\{ - \frac 1 2 (x - \mu)^T |\sum|^{-1}(x - \mu)\}$
协方差矩阵 $\sum$ 总是对称非负定阵
等密度点的轨迹为超椭球面；

不相关性和独立性

不相关性：对于两个随机变量 $x_{i}, x_{j}$ ,若有 $E(x_{i},x_{j}) = E(x_{i})E(x_{j})$ ,则称 $x_{i}, x_{j}$ 是不相关的。
独立性：对于两个随机变量 $x_{i}, x_{j}$ ,若有 $p(x_{i},x_{j}) = p(x_{i})p(x_{j})$ ,则称 $x_{i}, x_{j}$ 是独立的。
在多元正泰分布中，不相关性等价于独立性；
推论：若多元正泰分布随机向量 $x$ 的协方差矩阵是对角矩阵，则 $x$ 的分量是相互独立的正态分布随机量；
多元正态分布的边缘分布和条件分布仍然是正态分布；
多元正态随机向量的线性变换仍为多元正态分布的随机向量；
线性组合则正态性：若 $x$ 为多元正态随机向量，则线性组合 $y = \alpha_T是一维的正态随机向量$ ， $p(y) \sim N(\alpha^T\mu,\alpha^T\sum\alpha)$ , $\alpha$ 是与 $x$ 同维的向量；

正态分布概率模型下的最小错误率贝叶斯决策

正态分布下判别函数为
$g_{i}(x) = -\frac{1}{2} (x - \mu_{i})^{T}|\Sigma_{i}|^{-1}(x - \mu_{i}) -\frac d 2 \ln2\pi - \frac 1 2 \ln |\Sigma_{i}|+ \ln P(\omega_{i})$

第一种情况， $\Sigma_{i} = \sigma^{2}I$

若 $P(\omega_{i}) \neq P(\omega_{j})$ , $g_{i}(x) = -\frac{1}{2} (x - \mu_{i})^{T}|\Sigma_{i}|^{-1}(x - \mu_{i}) + \ln P(\omega_{i})$
若 $P(\omega_{i}) = P(\omega_{j})$ , $g_{i}(x) = -\frac{1}{2} (x - \mu_{i})^{T}|\Sigma_{i}|^{-1}(x - \mu_{i})$
决策面为一个超平面