0x00场景事件说明：
与有监督学习相比，有监督学习有一条最佳拟合曲线，曲线的一边被认为是正常数据，曲线的另一边被认为是异常数据。
无监督学习是个分类集合的过程，根据特征对输入的数据进行划分，根据数据所属的簇进行预测。
实践场景说明：
用户阶段性行为数据的判断，如果不采用规则的形式，是否可用算法替代或补充。
考虑到使用有监督将带来巨大的制造样本压力，并且样本会极端化，故考虑无监督模型。
0x01选择算法
参考
https://zhuanlan.zhihu.com/p/33919957
调研算法优劣，得到几个比较符合需求的算法，但是都有不满足的问题。
-
TSNE聚类算法:
问题1：只能对数据进行操作，没办法生成模型再为其他数据所用。 放弃。 -
k-means算法
问题1:对于孤立点是敏感的，但是需要确认k值进行聚类。同一时间段内我们无法提前感知需要设置的k值量。 放弃。 -
孤立森林算法（倾向）:
问题1.孤立森林样本多特征无法降维放进二维图表展示 问题2.如果异常请求过多，容易将异常请求决策为为正常结果由于比较感兴趣孤立森林的决策树，在此对比官网示例了解其运行机制：
0x01示例demo
官方链接这里这里～
http://scikit-learn.org/stable/auto_examples/ensemble/plot_isolation_forest.html
IsolationForest demo：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest
rng = np.random.RandomState(100) #种子数量
# Generate train data
X = 0.3 * rng.randn(100, 2)
#创建100*2的训练样本数组，
X_train = np.r_[X + 2, X - 2]
#将样本中的所有数据分别+2 ，-2，np.r_()并将这两个结果合并到一维数组。
#关于np.r_()与np.c_()可见特别说明2
# Generate some regular novel observations
X = 0.3 * rng.randn(20, 2)
X_test = np.r_[X + 2, X - 2]
# Generate some abnormal novel observations
X_outliers = rng.uniform(low=-5, high=5, size=(20, 2))
#生成最大为4，最小-4的20*2的数组。
# fit the model
clf = IsolationForest(behaviour='new', max_samples=100,
random_state=rng, contamination='auto')
#创建对象并对模型做配置，最大样本数量100。
clf.fit(X_train)
#用训练数据拟合模型
y_pred_train = clf.predict(X_train)
#用拟合好的模型去分类训练数据
y_pred_test = clf.predict(X_test)
#用拟合好的模型去分类测试数据 ,该数据样本与训练数据差不多相同。
y_pred_outliers = clf.predict(X_outliers)
#用拟合好的模型去分类测试数据,该数据样本与训练数据有些偏差。取的是-5 到5 范围内。
for i,tree in enumerate(y_pred_test):
print(X_test[i],tree)
#tree为-1为异常，1为正常。特别说明1中详述。
###后面都是图片展示的功能了，如果无需可视化，可直接注销掉后面所有代码。
# plot the line, the samples, and the nearest vectors to the plane
xx, yy = np.meshgrid(np.linspace(-10, 10, 50), np.linspace(-10, 10, 50))
#生成-5到5之间，包含50个数字的等差数列。如np.linspace(0,100,5) 则生成[0 25 50 75 100]
#meshgrid生成网格函数，xx,yy说明为二维网格函数
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
#.ravel()为降一维-行序优先
# np.c_矩阵相加
#decision_function为样本距离超平面的距离。
Z = Z.reshape(xx.shape)
#reshapce()将某个数组维度调整为和另一数组维度相同
plt.title("IsolationForest")
plt.contourf(xx, yy,Z, cmap=plt.cm.Blues_r)
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white',
s=20, edgecolor='k')
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green',
s=20, edgecolor='k')
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red',
s=20, edgecolor='k')
plt.axis('tight')
plt.xlim((-10, 10))
plt.ylim((-10, 10))
plt.legend([b1, b2, c],
["training observations",
"new regular observations", "new abnormal observations"],
loc="upper left")
plt.show()
特别说明1：
for i,tree in enumerate(y_pred_test): print(X_test[i],tree)此段代码可直接对鼓励森林作出结果的展示。
若此时选择展示出y_pred_test的结果，如下。
可见根据训练X_train的数据来说，与他基本相同的数据集仅有一小部分为异常数据。[2.18132706 1.72789087] 1 [2.17760698 1.86888068] 1 [2.03053273 2.39250405] -1 [2.41628054 1.47938266] -1 [2.08651323 1.89827437] 1 [2.15821074 1.88770913] 1 [2.14312769 1.5710712 ] 1 [2.12231196 1.75151588] 1 [2.12703718 1.95214479] 1 [2.37232463 2.49906089] -1 [1.80141869 3.03956814] -1 [2.11743159 2.09817361] 1 [1.90659588 1.57260332] 1 [1.81253834 1.96700138] 1 [2.28588783 1.70499121] 1 [1.67163284 1.92759538] 1 [1.82146585 1.70515643] 1 [2.02646898 1.81917219] 1 [2.33766664 2.27811599] -1 [1.3192529 1.89554881] -1 [-1.81867294 -2.27210913] 1 [-1.82239302 -2.13111932] 1 [-1.96946727 -1.60749595] -1 [-1.58371946 -2.52061734] -1 [-1.91348677 -2.10172563] 1 [-1.84178926 -2.11229087] 1 [-1.85687231 -2.4289288 ] 1 [-1.87768804 -2.24848412] 1 [-1.87296282 -2.04785521] 1 [-1.62767537 -1.50093911] -1 [-2.19858131 -0.96043186] -1 [-1.88256841 -1.90182639] 1 [-2.09340412 -2.42739668] 1 [-2.18746166 -2.03299862] 1 [-1.71411217 -2.29500879] 1 [-2.32836716 -2.07240462] 1 [-2.17853415 -2.29484357] 1 [-1.97353102 -2.18082781] 1 [-1.66233336 -1.72188401] 1 [-2.6807471 -2.10445119] -1可视化如下：
(白色数据为训练数据集，绿色为测试数据集)for i,tree in enumerate(y_pred_outliers): print(X_outliers[i],tree)若这里采用差异较大的X_outliers作为数据集，结果如下。可见除了一个正常的点，其他均为异常点。
[ 3.39970099 -0.45836448] -1 [-1.78634161 -4.07280133] -1 [-4.39562068 -4.09048833] -1 [1.82706456 1.80735767] 1 (唯一正常数据) [-2.56825834 1.40461442] -1 [-4.30860817 3.72919962] -1 [-3.9039305 -3.30944235] -1 [-0.32622009 2.75949219] -1 [ 3.54444516 -2.89613555] -1 [-4.23358131 2.88914797] -1 [0.47500001 2.86254863] -1 [ 4.20047043 -0.19027234] -1 [-0.4044633 0.98979155] -1 [0.99318781 0.04373451] -1 [-1.9312147 0.4135298] -1 [4.24926943 4.70550802] -1 [-1.0420539 2.98745273] -1 [ 1.35088148 -2.70030835] -1 [-4.48792907 -4.71536194] -1 [-3.77152248 -2.79787482] -1可视化如下：
(白色数据为训练数据集，绿色为差异小的测试数据集，红色为差异较大的测试数据集)
特别说明2：
np.r_和np.c_的区别：
>>> import numpy as np
>>> a=np.array([1,2,3])
>>> b=np.array([4,5,6])
>>> print(np.r_[a,b])
[1 2 3 4 5 6]
>>> print(np.c_[a,b])
[[1 4]
[2 5]
[3 6]]
>>> c=np.array([a,b])
>>> c
array([[1, 2, 3],
[4, 5, 6]])
>>> c=np.c_[a,b]
>>> c
array([[1, 4],
[2, 5],
[3, 6]])
>>> print(np.c_[b,c])
[[4 1 4]
[5 2 5]
[6 3 6]]
0x02孤立森林的决策方法调整
由于这种方法存在两种前面提过的问题，考虑能否将此算法决策部分做调整。适应场景。
待更。
0x03数据集准备
由flink计算每个时间段内关注点的值，传入算法中得出正负结果集。
待更。
