以下内容根据RSA 阿里安全的PPT学习得来，如果涉及版权问题，请与我联系。我立即删除。
安全数据分析中机器学习和统计模型
Machine Learning vs. Statistical Modeling
机器学习：依赖数据和算法
Machine Learning: Rely on data and algorithms
- 大量加了标签的数据Large amount of labeled data
- 特征工程 / 日志嵌入Feature engineering / log embedding
- 合适的学习算法 Proper learning algorithms
统计模型：依赖人的经验
Statistical Modeling: Rely on human’s experiences
- 查找攻击行为的共同特征 Find common trait of attack behavior
- 特征工程 Feature engineering
- 合适的统计算法 Proper statistical algorithms
相比起来「机器学习」在攻击检测上效果不佳。
机器学习擅长找到「正常模式」，但是入侵是异常行为。不能简单认为异常数据就是非正常的那部分。
‘大数据’不等同于‘大标签(labeled)数据’，无人监督学习的准确度和召回率不能支持安全运营的应用。
很难定义一个合适的功能来判断是否一个记录代表入侵没有。只有“是或否”不足以做安全分析。
适合机器学习的场景是一些特定领域，容易积累标签数据的那种。比如垃圾邮件、DGA域名检测、网络爬虫检测。
解决办法：使用统计模型解构威胁
Solution: Use Statistical Modeling to Deconstruct Threats
关键点：入侵的发现路径
入侵通常需要很长时间，有多个阶段，路经多个节点。
因此安全数据分析的过程如下：
1）数据预处理
去除正常数据中的干扰项。
- 正常行为导向模型：重复的行为总是正常的
- 过滤出大概率的正常数据
- 召回是最重要的指标
2）攻击模型
识别可疑行为。
- 攻击导向模型：相同类型的攻击倾向于有同样的特征
- 检索更多疑似攻击行为构成异常行为模型
- 精确度是最重要的指标：假阳性（识别为攻击但其实不是真的攻击）成本最高。比如增加打印机可能会导致网络重新扫描；一些基于云的服务可能有心跳检测；防病毒工具可能使用DNS通道抽样可疑文件。
3）告警关联
基于风险给告警设置优先级。
- 基于图形的路径发现和风险优先排序
- 节点：资产、IP地址、网络
- 连线：攻击关系、或者风险传播
- 一对节点只能有一个连线，不管有多少告警在他们之间
- 建立完整的攻击场景
- 不同的攻击阶段
- 资产的网络分布
- 风险和每个告警的准确度
- 精确度是最重要的指标：假阳性成本很高
真实攻击要一直保持总结在100个告警以内！（运营单天处理能力上限）
