来源：https://community.hortonworks.com/articles/30842/metron-extensibility-adding-a-new-data-source-to-t.html
来源：https://community.hortonworks.com/articles/30842/metron-extensibility-adding-a-new-data-source-to-t.html
简短描述:
一篇多部分的文章，介绍如何向平台添加一个新的自动测试记录数据源。
Apache Metron的一个关键设计原则是它应该易于扩展。我们设想许多用户使用Metron作为平台，并在其之上构建自定义功能;其中之一就是增加新的自动测试记录数据来源。在这个多部分文章系列中，我们将介绍如何添加一个新的数据自动测试记录数据源:Squid代理日志。
本系列文章由以下几部分组成:
1、本文:为这个多部分文章系列设置用例
2、用例1:收集和解析自动测试记录事件——本教程将指导您如何将事件收集/接收到Metron中，然后解析它们。
3、用例2:丰富自动测试记录数据——描述如何使用Apache Metron来丰富自动测试记录事件的元素。
4、用例3:添加/丰富/验证Intel威胁情报输入——描述如何向系统添加新的Intel威胁情报输入，以及每个自动测试记录数据如何交叉引用威胁情报数据。当发生命中时，将生成警报并显示在Metron UI上。
一、设置用例场景
Foo客户已经安装了Metron TP1，并且他们正在使用开箱即用的数据源(PCAP、YAF/Netflow、Snort和Bro)。他们喜欢Metron !但是现在他们想要向平台添加一个新的数据源:Squid代理日志。
以下为客户关于该新数据源的Metron要求:
1、来自Squid日志的代理事件需要实时接收；
2、必须将代理日志解析为Metron可以理解的标准JSON结构；
3、实时地，需要对squid代理事件进行丰富，使所域名信息丰富IP信息；
4、在实时的情况下，在代理事件中的IP必须与intel威胁情报进行检查；
5、如果与有英特尔威胁情报匹配，需要提高警报；
6、最终用户必须能够看到新的自动测试记录事件和来自新数据源的警报。
7、所有这些需求都需要在不编写任何新的java代码的情况下轻松实现。
二、Squid是什么?
Squid是支持HTTP、HTTPS、FTP等Web的缓存代理。它通过缓存和重用频繁请求的web页面来减少带宽并提高响应时间。有关Squid的详细信息，请参见Squid - cache.org。
三、Metron如何丰富Squid自动测试记录事件
当您从给定的主机建立到https://www.cnn.com的出站http连接时，以下条目将被添加到名为access.log的Squid文件中。
以下代表了Metron将对这个自动测试记录事件所做的魔法，因为它是实时的流到平台上。
四、要点
在这个多部分的文章系列中，我们将重点介绍一些要点。
我们将在不编写任何代码的情况下添加一个新的数据源。Metron力求易于扩展，这是一个很好的例子。
这是大多数自动测试记录数据源的可重复模式。
阅读下一篇文章，关于如何收集和推动数据到Metron，然后在Metron平台上解析数据:收集和解析自动测试数据。
