0x00 致谢
感谢FB的老司机给翻译的文章，么么哒~~ FB的介绍FB_joy
joy包的官网：joy
0x01 joy概述
joy是个BSD许可的，基于libpcap的软件包，用于从实时流量或者已捕获的数据包文件中提取数据包特征，使用面向流的模型，随后以JSON文件的方式将数据特征呈现出来。它同时提供适用于该文件的分析工具。Joy能够浏览大规模数据，尤其是安全和威胁相关的数据。
使用JSON是为了使输出更容易被分析工具识别使用。当输出较长时，json文件可以相当小，且他对压缩的响应很棒。
这确实很赞！具体看joy的文档吧。
0x02 安装joy
下载源码
git clone https://github.com/davidmcgrew/joy.git
编译-链接-清除-复制到特定的主目录
make
用于离线分析pcap文件和在线实时捕获数据来提取数据特征的主程序是pcap2flow,它未编译时处于子目录src中，当make后就会被复制到joy的主目录下。它在该主目录下被执行以下命令来进行运行和安装，那么pcap2flow则会成为linux的守护进程开机自动运行。
sudo ./install-sh
要在系统中安装joy，则必须执行之前的make。随后需要以root权限执行
sudo ./install-sh
就可以安装这个包了。
如果我们不带参数运行该脚本，那么默认的配置文件将被安装到/etc/p2f目录下。要想安装不同的配置文件，那么我们可以通过-c参数来指定不同的配置文件。其中joy主目录下有两个配置文件linux.cfg和macosx.cfg，都可以为我们编写自己的配置文件作参考。
sudo ./install-sh -c my-config-file.cfg
当然我们可以在install-sh后面加上-h来获取更多帮助文档。
PS: 尝试过在SUSE系统上安装，由于找不到chkconfig和update-rc.d这两个命令，所以很是麻烦，我暂时没找到好的替代方案。而在ubuntu上并没有这个问题，因此，我选择了ubuntu。
0x03 试用pcap2flow
离线分析pcap数据
./pcap2flow [OPTIONS] output=data.json filename.pcap [filename2.pcap ...]
在线实时分析流量数据
sudo ./pcap2flow interface=eth0 bidir=1 output=data.json
比如我们要抓取本网卡上的web数据，并进行实时流量分析。
sudo ./pcap2flow interface=eth0 bidir=1 output=data.json
随后我们打开web服务器，从外网访问服务器，等访问成功后关闭刚启动的程序。可以看到当前目录下已经有data.json文件出现了。
随后在saltUI目录下，键入命令：
python server.py
可能会提示你numpy模块不存在，解决方案：
sudo apt-get install python-numpy
随后在8080端口开启了服务器。
在浏览器上输入该url进入分析工具。
点击Upload JSON File即可上传待分析的json文件。
上传后即可对JSON文件进行分析了。如图
可以观察到这个行为的SA，DA，SP，DP等内容。
0x04 深入理解JOY & pcap2flow
刚才只是使用当前目录下的pcap2flow，当我们安装了JOY之后，我们就可以直接使用它了。
pcap2flow 配置文件
首先粗略介绍下。/usr/sbin/pcap2flow是我们可以在命令行直接运行的命令，同之前介绍的方式一样，他可以截获数据包，分析后以json方式导出。
然而在命令行中直接输入参数太长太蛋疼，所以本程序提供配置文件导入参数的方式-x config.cfg，而pcap2flow在安装时将其配置文件安装在了/etc/p2f目录下了，其下的linux.cfg就是我们的模板。对模板进行修改，以-x /etc/p2f/linux.cfg进行指定，就可以完成命令参数的输入了，是不是很方便呢~
由此，我们的命令就变成了：
sudo pcap2flow -x /etc/p2f/linux.cfg
下面我们进入/etc/p2f/linux.cfg看看。其中注释啥的我删了哈~
interface = eth0
promisc = 1
daemon = 0
output = data.json
outdir = /path/to/output
logfile = /var/log/p2f
count = 200
keyfile = /etc/p2f/upload-key
retain = 1
bidir = 1
num_pkts = 200
type = 1
zeros = 0
dist = 1
entropy = 1
exe = 1
tls = 1
idp = 1500
bpf = ip host A.B.C.D and tcp port 80
anon = /etc/p2f/internal.net
verbosity = 0
以上是我刚配置的cfg文件。一点一点讲，恩。
首先是设置监听的网卡，虚拟机里是eth0（你的机子是用哪个网卡写的我就不造了）：
interface = eth0
接着是设置网卡的混杂位，混杂位为1，则我的网卡可以监听目标地址非本网卡的数据包信息。为0，则只能监听针对自己的信息。
promisc = 1
随后是设置本程序是否在后台作为守护进程运行，为了方便操控进程和读取JSON文件，我选择，不。
daemon = 0
设置output文件的名称。PS：这里有个问题，我设置一个名称，输出文件的末尾总是自己加个0，不知道为何。
output = data.json
设置输出目录。
outdir = /path/to/output
设置日志文件，该文件用于接收程序的error warning info debug信息。要是设置为none的话，这些信息就会在stderr中打印。
logfile = /var/log/p2f
设置流记录的条数。用于表示每个输出文件中的记录条数。这里每个输出的文件里可以装100条记录。
count = 100
设置SSH私钥文件。
keyfile = /etc/p2f/upload-key
上传文件后是否删除。 1是不删除。
retain = 1
设置BPF过滤器。用于表示我该抓哪些包。
bpf = ip host A.B.C.D and tcp port 80
设置抓包格式。0是简单模式，1是概览模式，2是详尽模式。我设置为简单模式。不明为何只有verb=0导出的输出文件才能被salt读取。
verbosity = 0
详尽模式虽然有很多信息，但是还是无法深入到应用层协议内部去，很可惜。
saltUI 配置文件
saltUI是joy提供的分析用Web UI界面，其配置文件saltUI/laui.cfg可以设置上传的json分析结果中的各个表项，以及其他的映射。我现在只用了表项这一栏。
# fields to display in the UI
display_field sa Source_Address 0
display_field da Dest.Address 1
display_field sp Source_Port 2
display_field dp Dest._Port 3
display_field ip Inbound_Packets 4
display_field op Outbound_Packets 5
#display_field ib Inbound_Bytes 6
#display_field ob Outbound_Bytes 7
display_field pr Protocol 8
#display_field scs Selected_Ciphersuite 9
#display_field tls_ckl TLS_CKL 10
#display_field tls_v TLS_Version 11
# logistic regression classifiers
classifier Malware logreg logreg_parameters.txt logreg_parameters_bd.txt
classifier TLS logreg logreg_parameters_tls.txt logreg_parameters_tls_bd.txt
# "mapping" classifiers, use "_\tval" for unknown values
#classifier CKL mapping 10 client_key_length.txt
#classifier SCS mapping 9 ciphersuites_classifier.txt
其中的Protocol域是用于表示协议号的，我抓到的经常是6，即TCP。
0x05 总结
经过尝试，发现即使是在verbose=2的模式下进行数据获取，也无法识别并解析应用层协议内部的数据，这样的功能无法满足我们的需求，即获知通过数据的内容，并对其进行基于特征的日志导出。
