一 前言
有机会接触到这款软件，还是同事的一个图，图介绍了开源项目Zed和基于Zed做的一款全流量安全产品Brim。整个产品其实是不少开源项目的一个小集成，只所以感兴趣，除了brim在github有1.5k个star的原因外，更吸引我的是它使用了一种新的数据结构，超结构化的数据模型，通过这种结构可以集数据的压缩、索引、数据的分析于一体，而不用数据存储的各类数据库、NoSQL，简单方便。
二 Zed和它的支持格式
Zed简单来看就是一款开源的命令行工具，可以操作Zed新型的超结构化的模型数据，复杂来看，可以看看官方的解释：
1. zed 数据模型和语义的抽象定义；
2. zed是ZNG、VNG、ZSON格式、这些格式都遵循相同的Zed数据模型。
3. zed是存储可选索引的Zed数据模型。
4. zed是一种数据流语言、可以执行查询、搜索、分析、转换或上面的组合；
2.1 Zed数据模型
zed数据为一个或多个类型化的数据值的有序序列、可以支持常见的编程语言中的原始数据类型比如：
uint8(无符号8位整数）
decimal128（IEEE-754 十进制128）
bytes（8字节的有界序列）
...
ip（ipv4、ipv6）
net (IPv4 或 IPv6 地址和网络掩码)
type 一个zed类型值
null(空类型）
还支持复杂的数据类型:
record - 具有零个或多个排序的集合、每个称字段
array、set、map、union、enum、error
2.2 Zed支持的格式
zed原始格式包括ZNG，VNG和ZSON。
ZNG是高效的、面向序列的序列化格式，适用于任何数据，类似于Apache Avro、没有结构定义、在数据流中嵌入所有类型信息。
ZSON 是人类可读的、基于文本的序列化格式 超结构化数据格式。
VNG，发音为“ving”，是基于Zed 数据模型的列式数据的文件格式。
除了支持以上三种Zed的数据模型格式外，还支持arrows、json、csv、parquent、zjson、zeek（等多种格式）。
三 brim一款基于zed数据模型的pcap分析工具
3.1 brim 简单说明
brim是一种分析zed数据模型的pcap工具，相对于wireshark来说，分析的速度更快，而且可以和wireshark 联动，从而通过wireshark来获得更多分析，相对于wireshark来说，brim的速度要快的多：
brim 官方说明：
Brim 是一个用于安全和网络的开源桌面应用程序 专家。Brim 可以轻松搜索和分析来自以下方面的数据：
* 数据包捕获，如[Wireshark](https://www.wireshark.org/)创建的数据包捕获，以及
* 结构化日志，尤其是来自[Zeek](https://www.zeek.org/)网络分析框架的日志。
Brim 对于需要处理大型数据包捕获的安全和网络运营商特别有用， 尤其是那些对于 Wireshark、tshark 或其他数据包分析器来说很麻烦的。
从我理解的角度来看，它是由以下几种软件组合而成，如下：
brim后台通过brimcap将pcap文件转成zng格式，并且通过zeek和suricat工具进一步丰富解析信息，然后brim UI借助zed分析zng文件进行展示。
可以看下官方的图：
3.2 brim使用说明
相对于wireshark来说，brim的分析pcap的速度要快的多，界面如下图：
拖拽pcap文件到如上图的红框中，即可以进行分析，来看看分析是什么样子。
左下脚处的菜单处可以点击(里面还包含suricata告警信息)，调出分析命令，比如点击第一个Activity Overview 如下图：
点击后，会在输入栏中显示zq命令，下面数据支持两种格式，一种是表格，一种是类似 json数据格式。
树状数据结构展示：
3.3 详细分析
我们可以通过点击列表里面协议名，右键，选择Open details，得到信息如下图：
在细节里面可以看到流信息和传输的http和文件信息：
点击文件会显示文件md5值通过右键VirusTotal lookup 查看这个文件是否是恶意木马等：
我们还可以通过右键Whois Lookup查询域名的信息，查看域名详细信息：
brim的输入栏是zq的命令，复制这个命令，直接可以在命令行中运行。
四开源地址
brim开源地址：https://github.com/brimdata/brim
zed开源地址：https://github.com/brimdata/zed
brimcap开源地址：https://github.com/brimdata/brimcap
