异常检测所解决的问题

• 解决一些基于规则或者Dashboard难以实时发现的问题
• IT运维
  • 如何知道系统正常运行 / 如何调节阈值触发合适的报警 / 如何进行归因分析
• 信息安全
  • 哪些用户构成了内部威胁 / 系统是否感染了病毒
• 物联网 / 数据采集监控
  • 工厂和设备是否正常运营

什么是正常

• 随着时间的推移，某个个体一直表现出一致的行为
• 某个个体和他的同类比较，一直表现出和其他个体一致的行为

什么是异常

• 和自己比：个体的行为发生了急剧的变化
• 和他人比：个体明显区别于其他的个体

相关术语

• Elastic平台的机器学习功能
  • Elastic的ML，主要针对时序数据库的异常检测和预测
• 非监督机器学习
  • 不需要使用人工标签的数据来学习，仅仅依靠历史数据自动学习
• 贝叶斯统计
  • 一种概率计算方法，使用先验结果来计算现值或者预测未来的数据
• 异常检测
  • 异常代表的是不同的，但未必代表的是坏的
  • 定义异常需要一些指导，从哪个方面去看

如何学习“正常”

• 观察不同的人每天走的步数，由此预测明天他会走多少步
• 需要观察不同的人，需要观察多久？
  • 一天 / 一周 / 一个月 / 一年 / 十年
• 直觉：观察的数据多，你的预测越准确
• 使用这些观察来创建一个模型
  • 概率分布函数：使用这个模型找出什么事几乎不可能的事件

机器学习帮你自动挑选模型

• 使用成熟的机器学习技术，挑选合适数据的正确的统计模型
• 更好的模型 = 更好的异常检测 = 更少的误报和漏报
• 出现在低概率区域，发现异常

模型与需要考虑任何的周期

• 周期选择
  • 需要一定周期的学习，才能使的置信区间的范围更小
  • 时间太长：影响因素太多，导致随机分布
  • 时间太短：完全是随机波动

周期学习

ES ML：单指标 / 多指标 / 种群分析

es ml

DEMO

• 新建分析数据index pattern
• 选择machine learning，选择index
• 选择单指标分析、多指标类型，进行配置
• 创建job，进行分析
• View result 查看结果