姓名：刘帆；学号：20021210609；学院：电子工程学院
转载于：
https://blog.csdn.net/donghua_wu/article/details/45746569
【嵌牛导读】以2009 KDD Challenge 大数据集来预测客户流失量为例子。 该数据集维度达到 15000 维。 大多数数据挖掘算法都直接对数据逐列处理，在数据数目一大时，导致算法越来越慢。那么如何能实现在减少数据列数的同时保证丢失的数据信息尽可能少呢。
【嵌牛鼻子】数据降维
【嵌牛提问】如何实现数据降维
【嵌牛正文】
随着数据集的增加，衍生出大数据平台和并行数据分析算法，同时数据的降维过程的使用重要性也随之凸显。数据的维度并不是越多越好，在数据分析的过程大量的数据也可能产生很差的表现效果。现在就自己最近看的一篇文章总结降维的几种方法：
1.缺失值的比例
数据列如果存在太多的缺失值是不可能有太多的有用信息，因此设定一个阈值，如果数据列缺失的数据大于阈值时将数据列删除，设定的阈值越大删除的数据列越多随之维度减少的幅度也越大
2.低方差过滤
和缺失值比例很相似，数据列中的数据很小的变动即方差过小时（低于预先设定的阈值）删除数据列。特别注意的是：方差是依赖于范围的，因此在应用该方法前对数据正则化处理。
3.高相关过滤
数据列中有相似趋势往往也存在着相似的信息，这种情况下往往一个数据列就可以参与机器学习的模型的建立了，因此我们需要计算数值列之间的相关系数和标称列之间的皮尔逊积矩系数和皮尔逊卡方值，双列的相关系数高于设定的阈值时可以减少到只有一个。提醒一下：相关量比较敏感，因此列的归一化需要一个相对有意义的相关性比较。
4.Random Forests / Ensemble Trees
决策树的ensemble也成为RF（随机森林），除了在做有效的分类器很有用外，在特征选择方面也很有效果。一种降维的方法是针对目标属性生成一个大的和构造的树,然后使用每个属性的使用统计数据发现大多数信息的特征子集。特别地，我们可以生成大量层次很低的树（2层），与每棵树正在训练总额的一小部分数量的属性。如果一个属性经常被选为最佳的，它是最有可能被保留的一个有效特征。在RF中分数计算的随机属性的使用统计数据告诉我们——相对于其他属性——这是最有预测力的属性。
5.PCA（主成分分析）
主成分分析(PCA)是一种正交统计过程,将一个数据集的原始n坐标转换成一个新的n组坐标（叫做主成分）。转化的结果，第一个主成分具有最大可能的方差，在正交于（不相关）先前的主成分的限制条件下，每个成功转化后的成分都具有最高可能的方差。只保留第一个m < n成分降低了数据的维度,同时保留大部分的数据信息也就是变化的数据。注意,PCA转化对原始变量的变化比例很敏感。数据列（维度）范围在应用PCA之前需要正则化；同时也要注意新的坐标系（PCs）不再是真正的系统变量了；PCA在应用到你的数据集产生新的维度时也就失去了它的可解释性，如果结果的可解释性对于你的数据分析很重要，那么在针对你的项目分析时，PCA不能作为你的首要选择转化方法。
6.反向特征的消除
这个方法中，在给定的迭代次数下选定的分类算法对n个输入特征进行训练，然后我们每次删除一个输入特征用相同的模型对剩下的n-1个输入特征训练n次，删除的输入特征在错误率上已产生最小的增长应该就将其删除，留给我们将剩余的n-1个输入特征。分类器接着使用n-2个特征作为输入，等等…每次迭代k产生一个模型训练n-k特征和一个出错率e(k)；选择一个最大可容许的错误率，我们定义的最小数量的特性必须达到所选的机器学习算法的分类器的性能。
7.正向特征的构建
这种方法和反向特征消除方法具有相反的处理过程。刚开始只处理一个特征，然后逐步每次添加一个特征，也就是说输入特征即特征维度在分类器的性能上产生最大的增加。就这两种算法而言，计算特别耗时而且计算量也特别大，它们实际上只适用于一个数据集已经相对具有较少的输入列（特侦维度）。
除了上面谈到的几种方法外，随机推测、NMF、自动编码器、卡方检验或信息增益、多维度等级法、一致性分析、因子分析、聚类和贝叶斯模型在数据降维上表现也不错。
