特征选择与特征提取
模式识别的大致流程如下：
模式识别基本框架图
从图中我们可以知道，特征提取与选择是在分类器设计之前完成，它主要的工作是针对数据原始特征的缺陷，降低特征维数，提高分类器的设计与性能。
原始特征
模式识别中把每个对象都量化为一组特征来描述，构建特征空间是解决模式识别问题的第一步，其中通过直接测量得到的特征称为原始特征。如：
- 人体的各种生理指标（以描述健康状况）
- 数字图像中的每点的灰度值（以描述图像内容）
原始特征的形成一般包含三大类：物理、结构和数学特征
- 物理和结构特征：易于为人的直觉感知，但是有时难以定量描述，因此不利于机器判别；
- 数学特征：易于用机器判别和分析，如统计特征。
原始特征是我们直接测量获得的，但是往往不用于模式识别中，主要有以下几个原因：
- 原始特征不能反映对象的本质特征；
- 高维的原始特征不利于分类器的设计；
- ** 计算量大*，如对于一幅1024768的灰度图像，灰度级为256级，直接表示需要786432 bytes，进行训练识别所需的空间、时间和计算量都无法接受；
- 冗余，原始特征空间中，大量的特征都是相关性强的冗余特征；
- 样本分布十分稀疏，对于有限训练样本而言，在高维的原始特征空间中分布十分稀疏。
- 如果将数目过多的测量值不做分析，直接用于分类特征，不但耗时，而且会影响分类效果，产生“维数灾难”等问题。
针对原始特征以上的特性和不足，为了设计出更好的分类器，通常需要对原始特征的测量值集合进行分析，经过选择和变换处理，组成有效的识别特征。
处理方式主要有以下思路：
- 在保证一定分类精度的前提下，减少特征维数，进行“降维”处理，使分类器实现快速、准确、高效的分类；
- 去掉模棱两可、不利于分类的特征，使得提供的特征具有更好的可分性，使分类器容易判别；
- 提供的特征不应重复，即去掉相关性强但是没有增加更多分类信息的特征。
特征选择
特征选择（feature selection） 是指从原始特征中挑选出一组最有代表性、分类性能好的特征。
注意!注意!注意! 特征选择是指从已有的特征集合中按某一分类准则选出一组子特征集和作为降维的分类特征使用。
特征选择的方法大致分为两类：
Filter 方法 和Wrapper 方法。
