决定写一遍文档 记录容器化elk+filebeat 的学习过程的心得日志, 记录的出发点是从我一脸懵逼的状态开始的,所以应该会很适合第一次接触elk的朋友们.
Tips:
- 原则上filebeat 需要跟elk的大版本号一致, 我目前使用的elk是6.3.0 filebeat是6.3.1 docker.elastic.co/beats/filebeat:6.3.1
- 默认的logstash读取beat是打开ssl的. 取消logstash里的ssl或者在filebeats正确使用ssl证书.
获取镜像
docker pull sebp/elk:630
docker pull docker.elastic.co/beats/filebeat:6.3.1
运行 elk
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
启动elk意外的简单,体现出了容器化的优点,非常简单的就能启动程序, 打开kibana的5601端口进去溜达一下了, 但是里面是空的 没有数据. 我学习elk的目的是为了监控我目前正在使用的docker log,所以下一步是打断用filebeat来转发日志到elk上.
首先用filebeat转发本地的一个log.txt文件 一会我们往里面echo 东西做调试.
运行 filebeat
docker run -v /home/daniel/Documents/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /home/daniel/Documents/elk/:/home/daniel/Documents/elk/ docker.elastic.co/beats/filebeat:6.3.1
filebeat可以把日志直接转发到ES 或者转发到logstash, 其中的区别取决于你是否需要在ES之前需要对数据进行过滤 聚合等操作, 如果暂时没需求 也可以直接转到ES上, (这里建议先发到ES上, logstash会遇到SSL证书的问题) 或者转到redis或者kafka后面再学习这种情况.
filebeat启动也很简单, 问题是启动了之后 elk里啥也没有.查了很多文档 发现filebeat启动需要挂载filebeat.yml配置文件
output.logstash:
enabled: false
hosts:
- 192.168.0.98:5044
output.elasticsearch:
enabled: true
hosts:
- 192.168.0.98:9200
filebeat:
inputs:
- type: log
enabled: true
paths:
- /home/daniel/Documents/elk/nima.log
这里的output配置了logstash跟es的,暂时先把logstash的disable掉, 注意不要使用localhost, 不然连不上 需要使用LAN ip.
启动filebeat时挂载了两个目录,第一个是filebeat.yml, 这是filebeat的配置文件,需要挂载进去.
第二个是需要监控的log目录 也需要挂载进去.
挂载log目录跟filebeat.yml配置一样的 log目录之后, 会发现filebeat启动时会打印
Harvester started for file: /home/daniel/Documents/elk/nima.log
如果没有挂载log目录,则没有havester启动信息.
现在就可以在elk里看到Log了. 第一步成功了.
这里如果要output到logstash的话,需要注意要么filebeat要使用logstash里的ssl证书,要么logstash把默认的配置filebeat的文件去掉ssl功能.
我是通过重新打docker image的方式去掉logstash里的ssl配置
把 /etc/logstash/conf.d/02-beats-input.conf 拷贝出来 把里面关于SSL的三行去掉
docker cp CONTAINER_ID /etc/logstash/conf.d/02-beats-input.conf .
创建Dockerfile
FROM sebp/elk
# overwrite existing file
ADD ./02-beats-input.conf /etc/logstash/conf.d/02-beats-input.conf
docker build -t my_elk .
docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name my_elk my_elk
有一个问题是 每次把filebeat docker 关了 再run之后发现 elk里的log每次都重新读取了一次,都是重复的,
然后查看文档 在filebeat里 有一个registry的文件是负责记录读取的log的状态的, 而我每次启动filebeat都是docker run一个新的
而不是 继续用老的filebeat 容器, 所以会重复, 总之就是 filebeat跟elk的容易不需要每次都创建,因为他们在容器内都会需要记录一下内容.
下一步是准备用filebeat转发目前使用中的docker的log
首先需要要需要转发log的机器上运行filebeat
docker tag docker.elastic.co/beats/filebeat i71:5000/filebeat
docker push i71:5000/filebeat
后面这个是我在使用的docker private registry
然后再目标机器上pull下来
docker pull i71:5000/filebeat
docker log所在的目录是 /var/lib/docker/containers//.log
可以在path中 指定这个地方
然后别忘了启动filebeat时挂在docker container log目录
docker run -v /root/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /var/lib/docker/containers:/var/lib/docker/containers i71:5000/filebeat
发现filebeat启动时没有havester启动的日志
docker exec CONTAINER_ID bash
进去看一下发现挂在的docker目录没权限 进不去
所以需要在宿主机执行sudo chmod -R 755 /var/lib/docker/containers
给上读与执行的权限
再次启动filebeat就可以看到havester的消息了.
这样的配置方法是可以拿到所有docker的log 优点是 以后新创建的docker的log也会被捕获到, 缺点是 如果机器上的docker 太多的话,log会很多,目前我还不会过滤 所以 看着很难受
elk 官方提供了一种实验性的读取docker log的 filebeat配置方式
https://www.elastic.co/guide/en/beats/filebeat/6.3/filebeat-input-docker.html
- type: docker
containers:
path: "/var/lib/docker/containers"
stream: "stdout"
ids:
- "CONTAINER_ID"
- "CONTAINER_ID"
注意这里的container_id不能使简写 , 可以先用docker ps看到简写id之后在ls /var/lib/docker/containers/里去找
或者 使用命令 docker ps --no-trunc=true 获得container 完整ID
这样就简洁多了,就是发版本时docker 新容器需要重新配置, 暂时就这么用吧,先研究一下
现在就算是正式的可以使用elk 查看我们的docker log了
我现在首先遇到的一个明显的问题是 当python出异常时 打印出来的log 在elk里都分散开了, 而且时间顺序也没对,查看起来非常难受. 后来查到 这种事情需要配置一个叫multipleline的东西,它负责决定什么时候出换行
贴一下现在的filebeat配置文件, 整个世界清爽了很多啊
output.logstash:
hosts: ["192.168.0.98:5044"]
filebeat.inputs:
- type: docker
enabled: true
multiline.pattern: ^\[
multiline.negate: true
multiline.match: after
containers.ids:
- 'd64f1da9c5bc647f8ede44ba8bebb13c31b047103ed6033297f3c4bd666cfa05'
- '5ae2f7cec9aa7c0a525c0e0c0201892b08e89e12b0b618491e45186848955f5c'
关于multiline,参考:
参考 http://www.madhur.co.in/blog/2017/04/30/view-exceptions-in-elk.html 这个是不以空格开头的 都合并
我感觉这个不适合python所以选择了 下面这种正则 不以[开头的都合并.
https://blog.csdn.net/xiaoliuliu2050/article/details/77867401 这个适合python
