安装
官方文档：https://elastalert.readthedocs.io/en/latest/running_elastalert.html
我简单总结一下附带我遇到的坑：
环境
- Elasticsearch
- Python 2.7 坑：一定要2.7，2.6和3.*都有问题
- Ubuntu : python-pip python-dev libffi-dev libssl-dev
- centos： gcc libffi-devel python-devel openssl-devel python-setuptools
安装
可以setup.py脚本安装也可以使用pip 安装，但是必须从git上拉下来，因为好多配置文件是必须要有的。
#安装依赖包
yum install gcc libffi-devel python-devel openssl-devel python-setuptools
#安装
git clone https://github.com/Yelp/elastalert.git
pip install -r requirements.txt
pip install "setuptools>=11.3"
python setup.py install
#或者 pip install elastalert
Elasticsearch 5.0+:
pip install "elasticsearch>=5.0.0"
Elasticsearch 2.X:
pip install "elasticsearch<3.0.0"
配置
cd elastalert
cp config.yaml.example config.yaml #基本信息
vim config.yaml
基本配置 config.yaml
#将从该文件夹下读取*.yaml配置文件
rules_folder: your_rule_folder
#查询es中 elastalert_status 索引的频率，也可以是minutes，days 等等
run_every:
hours: 1
# 每两分钟查询一次es 匹配 rules 的数据，存放到elastalert_status中
buffer_time:
minutes: 2
#host
es_host: 127.0.0.1
#port
es_port: 9200
# Option basic-auth username and password for Elasticsearch
es_username: username
es_password: pwd
规则配置 your_rule.yaml
例子：
es_host: 127.0.0.1
es_port: 9200
es_username: xxx
es_password: xxx
# (Required)
# Rule name, must be unique
# 给rule一个唯一的名字
name: prod
# (Required)
# Type of alert.下面各种type详细介绍
type: any
#注意了！！！！
#这是最大的坑，而且官方文档也没有比较明确的说明，elastalert只会把一条hit的记录发送给你，如果你想获取多条需要使用聚合功能，
aggregation:
# "* * * * *" means: run as the "run_every" in config.yaml
schedule: "* * * * *"
aggregate_by_match_time: true
# (Required)
# sd asd Index to search, wildcard supported
index: '*-prod-*'
# (Required)
#这里使用的是ES 的DSL语句做过滤条件
filter:
#逻辑组合
- bool:
#必须存在
must:
- match:
level: "ERROR"
#必须不存在，即过滤掉的
must_not:
- match:
stackTrace: "org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe"
- match:
message: "[SUCCESS]"
# (Required)
# 报警方式，有邮件 jira等等，github上还有微信等,官网介绍https://elastalert.readthedocs.io/en/latest/ruletypes.html#alerts
#我用的是command 即执行一个命令，比较灵活一些
alert:
- command
#- email
pipe_match_json: true #把参数以json文件流的形式传入，python中以 sys.stdin.read()接受
command: ["/root/elastalert/your_rule_folder/command_alert.py"]
rule设置各自独立以文件方式存储在rules_folder设置的目录里。其中可以定义下面这些参数：
-
name配置，每个规则需要有自己独立的名称，一旦重复，进程将无法启动。 -
type配置，选择某一种数据验证方式。 -
index配置，从某类索引里读取数据，目前已经支持Ymd格式，需要先设置use_strftime_index：true，然后匹配索引，配置形如：index：logstash-es-test-％Y。％m。％d，表示匹配logstash-ES-测试名称开头，以年月日作为索引后缀的索引。 -
filter配置，设置向ES请求的过滤条件。 -
timeframe配置，累积触发报警的时长。 -
alert配置，设置触发报警时执行哪些报警手段。
type :不同的类型还有自己独特的配置选项。目前ElastAlert有以下几种自带ruletype：
-
any：只要有匹配就报警; -
blacklist：compare_key字段的内容匹配上blacklist数组里任意内容; -
whitelist：compare_key字段的内容一个都没能匹配上whitelist数组里内容; -
change：在相同query_key条件下，compare_key字段的内容，在timeframe范围内发送变化; -
frequency：在相同query_key条件下，timeframe范围内有num_events个被过滤出来的异常; -
spike：相同在query_key条件下，两个前后timeframe范围内数据量相差比例超过spike_height。可以其中通过spike_type设置具体涨跌方向的英文up，down，both。可以还通过threshold_ref设置要求上一个周期数据量的下限，threshold_cur设置要求当前周期数据量的下限，如果数据量不到下限，也不触发; -
flatline：timeframe范围内，量数据小于threshold阈值; -
new_term：fields字段新出现之前terms_window_size（默认30天）范围内最多的terms_size（默认50）个结果以外的数据; -
cardinality：在相同query_key条件下，timeframe范围内cardinality_field的值超过max_cardinality或者低于min_cardinality。
初始化
安装完成后会自带三个命令：
- elastalert-create-index ElastAlert会脚执行记录存放到一个ES索引中，该命令就是用来创建这个索引的，默认情况下，索引名叫
elastalert_status。其中有4个_type，都有自己的@timestamp字段，所以同样也可以用kibana来查看这个索引的日志记录情况。 - elastalert-rule-from-kibana从Kibana已保存的仪表盘中读取Filtering设置，帮助生成
config.yaml里的配置。不过注意，它只会读取过滤，不包括查询。 - elastalert-test-rule测试自定义配置中的规则设置。
直接运行：
elastalert-create-index
elastalert-test-rule your_rule_folder/your_rule.yaml
使用
在elastalert/下运行
python -m elastalert.elastalert --config ./config.yaml --verbose --rule your_rule_folder/your_rule.yaml
-m 相当于import,叫做当做模块来启动
--config 指定配置文件 默认./config.yaml
--verbose 把详细信息打印出来
--rule 指定 rule文件
