数据处理过程中，通常需要对数据进行预处理，包括缺失值填充，异常值检测等。异常值处理对于后续数据分析，建模具有非常很重要的影响。
基于描述统计
1.基于常识判断
针对数据进行简单的描述统计，查看数据的极大值和极小值。判断数据是否处于合理的范围。进行数据筛选，筛选掉明显不符范围的数据。
2.基于3倍标准差进行筛选
如果数据整体成正态分布，可以根据常识的3σ原则进行异常值筛选。对于标准正态分布来说，（μ-3σ，μ+3σ）之间的面积为99.730020%。统计学中小概率事件为5%，则可以初略的认为处于数据3σ之外的数据为异常数据。不过在具体场景中还需要具体的讨论。
正态分布.jpg（图片来源于网络，侵删）
3.box-cox数据转化+3σ准则
3σ准则假设是数据整体呈正态分布。但是如果数据是有偏数据，则需要转化后再进行筛选，box-cox数据转化在前文已有描述box-cox数据转化。不再赘述。
4.基于四分位进行筛选
我们在进行箱线图描述时，通常都会绘制出上下四分位线以及处于四分位线外的离群点。通常认为位于4分位线外的点为异常值。位于上下四分位外的为异常值。
boxplot.png
基于机器学习的异常值检测方法
1.孤立森林算法
对于孤立森林的个人理解。孤立森林算法是基于决策树的算法。在我们的一堆数据中，如果以散点图的形式，可以将每个点进行分类。对于数据中大多数点来说，大多密集的数据区分要达到的树的深度基本都是相近的，而对于异常点，应该是处于密集点之外的离群点，则区分该数据的深度应该是小于平均的树的深度。以下为我个人数据处理的代码
def Anomaly_detect(self):
'''
:param self:
:param datamatrix:
'''
rng = np.random.RandomState(42)
clf = IsolationForest(max_samples=len(self.data.columns), random_state=rng, behaviour="new",contamination='auto')
X_train = np.array(self.data).T
clf.fit(X_train)
y_pred = clf.predict(X_train)
x_left = X_train[y_pred == 1]
x_sample = []
for x in range(len(y_pred)):
if y_pred[x] == 1:
x_sample.append(self.data.columns[x])
self.data = pd.DataFrame(x_left.T,columns = x_sample ,index = self.data.index)
最终结果大致如图
IsolationForest.jpg（来源于网络，侵删）
2.one-class svm
未完待续
