定量方法

Kurtosis measure（峰度）

• 统计学中，峰度（Kurtosis）衡量的是随机变量概率分布的峰态。峰度越大,说明该数据系列中的极端值越多。

峰度的计算公式

• 缺点：这个指标会根据样本量的大小而变化，一般样本量越大峰度也就越大，不同样本量大小的峰度是不可比的。

• 代码

kurtosis <- function(x){
  scale_x <- scale(x)
  sum(scale_x**4)/length(scale_x)
}

统计检验

• Grubbs' Test: 这是测试单个异常值时推荐的检验。
• Tietjen-Moore Test: 这是 Grubbs 检验对多个异常值情况的推广。它的限制是必须准确指定异常值的数量。
• Generalized Extreme Studentized Deviate (ESD) Test : 此检验仅需要可疑异常值数量的上限，并且是在不知道异常值的确切数量时推荐的测试。

Grubbs' Test

• 需要使得数据服从正态分布
• H0 (null hypothesis): There is no outlier in the data.
  HA (alternative hypothesis): There is an outlier in the data.
• 代码

library(outliers)
grubbs.test(x, type = 10, opposite = FALSE, two.sided = FALSE)

基于近邻度的模型

• 基于近邻度的模型（proximity-based models），其核心观念是：基于相似度和距离函数，离群点是那些与其他节点孤立的数据点。近邻模式是离群值分析这一领域中最流行的一类方法。其中包括聚类方法（clustering）、基于密度的方法（density-baed）和最近邻方法（nearest-neighbor）。
• 在最近邻方法中，计算每个数据点到其k个最近邻的距离，并将其视为离群得分。
• 选定k (k>1)，在该方法中，会将那些与大部队相去甚远的小节点群体视为离群点。这是情有可原的，因为在数据生成过程中，如若发生了异常，也可能会产生一系列比较少的相关节点，它们虽然相互之间离的很近，但也应视作异常点。

Local Outlier Factor （LOF, 局部离群因子）

• LOF算法的基本思想是，根据数据点周围的数据密集情况，首先计算每个数据点的一个局部可达密度，然后通过局部可达密度进一步计算得到每个数据点的一个离群因子，该离群因子即标识了一个数据点的离群程度。LOF值越大，表示离群程度越高，LOF值越小，表示离群程度越低。

• 代码

wget http://www2.uaem.mx/r-mirror/src/contrib/DMwR_0.3.1.tar.gz
devtools::install_local('./software/DMwR_0.3.1.tar.gz')
DMwR::lofactor(data, k)      # k为根据几个最近邻居计算

• 缺点：只能根据LOF的大小筛选前n个离群点，不好定cutoff

定性方法

3 sigma原则

如果任何数据点超过标准偏差的3倍，那么这些点很可能是异常值。

3 sigma原则

四分位间距（IQR）

四分位间距（IQR）是我们常画的boxplot中用于定义异常值，低于（Q1 - 1.5 * IQR）或高于（Q3+1.5 * IQR）的观测值定义为异常值。

IQR

参考

https://blog.csdn.net/weixin_36274103/article/details/112717897
https://zhuanlan.zhihu.com/p/385238291
https://www.itl.nist.gov/div898/handbook/eda/section3/eda35h.htm