open-falcon配置flume监控
- 官方文档：http://book.open-falcon.org/zh_0_2/usage/flume.html
- 补充文档：https://www.cnblogs.com/tonglin0325/p/8979180.html
配置步骤：
flume配置项
- 修改 ${flume_home}/conf/flume-env.sh.template
cd ${flume_home}/conf
cp lume-env.sh.template lume-env.sh
# 添加语句,http的端口指定为3000
export JAVA_OPTS="$JAVA_OPTS -Dflume.monitoring.type=http -Dflume.monitoring.port=3000"
- flume启动脚本如下
#!/bin/bash
nohup bin/flume-ng agent -c conf -f conf/flume_s3_taildir.conf -n a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=3000 > logs/flume_a1.log 2>&1 &
open-falcon配置
- 启动flume，确认http://localhost:3000/metric 可访问到监控参数 （此处url及端口3000需与后续open-falcon的监控脚本中保持一致）；
- 进入open-falcon工作目录，修改agent/config/cfg.json中的相应内容如下：
"plugin": {
"enabled": true,
"dir": "./plugin",
"git": "https://github.com/mdh67899/openfalcon-monitor-scripts.git",
"logs": "./logs"
},
- 此处./plugin指的是open-falcon工作目录下的plugin目录，而不是agent目录下同样存在的plugin目录；若遵循以下步骤则git项不用修改
- cfg.json中
enable需要修改为true - 3.（由于参考补充文档中直接访问1988端口更新配置与下载插件不成功，）手动下载open-falcon的官方flume监控脚本，并放置到上一步的dir路径下
git clone https://github.com/mdh67899/openfalcon-monitor-scripts.git
cd openfalcon-monitor-scripts
mv flume ${open-falcon-home}/plugin/
# 为脚本添加执行权限
cd ${open-falcon-home}/plugin/flume
chmod +x 60_flume-monitor.py
IMPORTANT: 由于falcon-agent调度运行脚本时使用的是系统默认的python环境而不是安装open-falcon后端时安装的虚拟环境，一定要确定当前python环境package齐全（例如requests包）；
-
登录到open-falcon面板，创建HostGroup，并绑定host与plugin
创建HostGroup，自定义group名（如flume）
falcon-01
-
-
绑定host，hostname为主机名
falcon-02 -
绑定plugin，plugin dir为第二步中dir路径下的相对路径，dir路径为./plugin时，plugin dir为flume （绝对路径为${open-falcon-home}/plugin/flume）
falcon-03 - 重启falcon-agent
./open-falcon restart agent
- 查看日志
- 工作中一定要学会查看日志；一定要学会查看日志；一定要学会查看日志；
#查看agent启动日志
tail -f ${open-falcon-home}/agent/logs/agent.log
#查看监控脚本执行日志
tail -f ${open-falcon-home}ogs/flume/60_flume-monitor.py\(\).stderr.log
-
-
成功启动且监控脚本无报错后，查看dashboard是否存在flume相关counters
falocn-04
- !!初始化需要时间，约1-3分钟!!
-
8.可以根据实际业务需要配置阈值报警；
