来源：https://logz.io/blog/bro-elk-part-1/
本系列介绍如何将ELK套件与Bro集成在一起进行网络分析和监视。第1部分将解释如何建立集成框架，第2部分将展示如何使用kibana分析和可视化示例数据。
网络攻击不断增加已不是秘密。勒索软件，DDoS，数据泄露——你能够说出来的攻击。各组织争相采用各种协议和安全策略，以增强自身抵御这些攻击的能力，日志记录和监控在这些尝试中扮演了关键角色。
已经开发了大量的解决方案和工具来帮助保护IT体系结构的不同层，从基础结构级别开始，到应用程序级别。本系列着重于探索一个这样的工具——Bro，与ELK套件的集成。
一、Bro是什么?
Bro由最初的开发人员Vern Paxson和伯克利的一个研究小组共同开发，是一个功能丰富、功能强大的开源网络安全监视器，可以实时跟踪网络流量。
Bro将使您立即了解所有网络活动，包括文件类型、部署的软件和网络设备，就像任何网络入侵检测系统(NIDS)一样。但它的强大之处在于它的策略脚本和分析程序，这些脚本和分析程序允许用户分析数据、识别模式并采取基于事件的操作。此外，Bro很好地利用外部工具(如Critical Stack)帮助从监控数据中获得更多的见解。
正如人们所期望的那样，Bro日志记录了所有的事情。取决于您如何使用Bro，您可能会将日志记录到50多个不同的日志文件。稍后我将深入介绍Bro的日志记录特性，但即使是用于监视小型环境的Bro部署也会生成大量日志数据。
通过允许用户将Bro将日志集中到一个位置，并提供分析和可视化工具，ELK套件就可以提供帮助。在本系列的第一部分中，我们将探索如何将Bro日志与ELK套件连接起来。在第二部分中，我们将提供一些技巧和最佳实践来分析数据。
二、设置Bro
如果你已经设置好了，Bro，可以直接跳到下一节。如果没有，下面是在Ubuntu 16.04服务器上安装Bro的说明。整个过程大约需要15-20分钟。
（1）准备您的环境
开始更新你的系统:
（2）Bro有很多依赖项需要安装:
（3）安装Bro
我们现在准备安装从源代码安装Bro。
首先，克隆来自GitHub的Bro仓库:
访问目录并运行Bro的配置:
是时候构建程序了(这需要很长时间，所以你可能想去喝杯咖啡):
一旦构建过程完成，安装Bro:
Bro安装在/usr/local/bro目录中，完成安装过程的最后一步是将/usr/local/bro/bin目录导出到您的$PATH中:
（4）配置Bro
Bro有一些配置文件，都位于/usr/local/bro/etc目录下。首先需要对node.cfg文件进行调整，node.cfg文件用于配置要监视的服务器。
默认情况下，Bro被配置为在独立模式下操作，这应该足以用于本地安装。尽管如此，请查看文件中的Bro部分，并确保该接口与服务器的公共接口相匹配(在Linux上，您可以运行ifconfig来验证)。
接下来，在networks.cfg文件中配置要监视的服务器的IP网络。
打开文件:
删除现有条目，并输入服务器的公共和私有IP空间(在Linux上，使用IP addr show检查网络地址)。
您的文件应该是这样的:
日志和邮件配置在broctl.cfg文件中。在这里，我们所要做的就是输入一个有效的电子邮件地址来接收来自Bro的通知:
(5)运行bro
最后，使用以下命令运行Bro(也用于随后应用配置更改):
要确保所有程序都按照预期运行，请使用:
三、Bro日志101
如上所述，Bro的一个最强大的特性是其日志功能。Bro记录一切。
您可以查看这里提供的一些日志文件。在实现与外部插件(例如 Critical Stack)的集成后，还可能创建其他日志。
默认情况下，所有Bro日志都被写入/usr/local/bro/logs/current(在Linux上)，并每天进行轮换。看一看:
仔细看一看样本日志:
每个Bro日志都在文件顶部包含一些定义——文件中的不同字段及其类型的列表。请注意日志文件的结构——字段由一个tab(\t)字符分隔，您将在本文后面看到它如何影响Logstash的处理。
四、将日志运送至ELK
要将日志发送到ELK堆栈中，我们将使用Filebeat跟踪日志文件，并通过Logstash将它们发送到本地Elasticsearch实例中。对于Logz.io用户，我还将解释如何将日志从Filebeat直接发送到Logz.io。
重要!我们将只关注一个Bro日志文件，conn.log文件。要收集所有日志文件，需要配置多个管道。
(1)配置Filebeat
假设你已经安装了Filebeat，打开你的Filebeat配置文件:
在Filebeat配置文件中，定义到日志文件和输出目的地的路径。
下面的示例定义了Bro的conn.log文件的一个勘探者，该文件包含网络TCP/UDP/ICMP连接上的数据。要跟踪其他日志，您需要以类似的方式为每个文件添加一个勘探者。输出是一个本地Logstash实例。
(2)配置Logstash
接下来，我们需要配置Logstash。我将在本节末尾提供完整的示例，但让我们逐个介绍不同的部分。
1、输入
输入部分非常简单。我们将使用beats输入插件，并相应地定义主机和端口:
2、过滤器
由于不同的Bro日志文件的结构，所以过滤器部分更加复杂。
我们将从使用if语句开始，告诉Logstash删除日志文件顶部的注释:
接下来，我们将使用Logstash CSV过滤器插件来处理数据。我们将首先使用if语句将后续的过滤器配置应用到“bro-conn”日志类型(如上面的Filebeat配置文件中定义的那样)。
columns选项允许我们将每个列头定义为一个字段。CSV过滤器插件使用逗号作为默认分隔符，但在本例中，我们使用separator选项来定义标签作为分隔符。
接下来，我们将使用date filter插件和内置的Unix模式将提供的ts字段定义为时间戳字段:
为了用地理信息丰富我们的ip，我们将使用geoip过滤器插件:
我们将使用的最后一个过滤器插件是mutate插件，用于重命名字段(Elasticsearch存在字段名称中的句点问题)和定义字段类型:
3、输出
和输入一样，这个部分也很简单:
4、完整的配置文件
下面是完整的配置文件，用于从Filebeat输入Bro conn日志，对其进行处理并发送到Elasticsearch中进行索引:
五、启动数据管道
既然我们已经把所有的部分都准备好了，现在是启动管道的时候了。
开始Logstash:
开始Filebeat:
一段时间后，如果您的配置文件中没有错误，将创建一个新的Logstash索引，其模式可以在Kibana中定义:
输入索引模式，选择timestamp字段，并创建新的索引模式。
打开Kibana中的Discover页面，您应该会看到显示的Bro conn.log消息。在左边，将显示Logstash处理的所有可用分析字段的列表:
总结
恭喜!您的Bro日志在Elasticsearch中被索引，可以在Kibana进行分析和可视化。这将直接引导我们进入本系列文章的下一部分，该部分将解释如何分析Bro日志数据。
为了重申上面强调的内容，这里的工作流程将通过运输一种类型的Bro日志(conn.log)的步骤。您将需要构建多个管道来运送其他日志类型。另外，就Bro的能力而言，日志只是冰山一角。高级用户将希望更深入地使用它支持的分析程序和策略脚本。
