ELK的介绍

严格来说日志的ELK 已经是个很"古老"但非常有用的技术, 但居然有公司还是不用? 我在某个公司的经历是: 该公司部署了4个tomcat 形成集群, 然后线上排查问题要找log的时候, 只能一个个机器去登录, 或者写脚本down下来. 要求上ELK, 被拒绝????

作为程序员, 不能无视业务尝试新技术, 但对于一些已经非常成熟能够提升工作效率的玩意, 那肯定要上啊, 所以我不知道那个负责人到底在想啥...

什么是ELK

ELK 三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件, 组合而成来形成中央式日志查询架构. 这样在各个服务器的日志都会汇总到某个机器, 方便统一的查询和其他处理. 像微服务这种随意部署几十个服务集群的, 上ELK之类系统理所当然.

(其中, 真正收集log的软件是 filebeat, 确切的名字应该是 EFLK)

我的目标是总结在spring cloud 里集成 ELK, 所以物理机上怎么装就不写了, 网上能找到. 这里总结怎么用docker 来完成任务.

工程配置

工程位于: https://gitee.com/xiaofeipapa
目录: elk-demo

增加 logback-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="true" scan="true" scanPeriod="1 seconds">

    <contextName>logback</contextName>

    <property name="app.name" value="orderApi"/>
    <appender name="stdout_info" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>INFO</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <encoder>
            <pattern>%d [%thread] %-5level %logger{36} [%file : %line] - %msg%n</pattern>
        </encoder>
    </appender>
    <appender name="stdout_warn" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>WARN</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <encoder>
            <pattern>%yellow(%d [%thread] %-5level %logger{36} [%file : %line] - %msg%n)</pattern>
        </encoder>
    </appender>
    <appender name="stdout_error" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>%red(%d [%thread] %-5level %logger{36} [%file : %line] - %msg%n)</pattern>
        </encoder>
    </appender>

    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>/tmp/spc_demo_logs/elk-demo/${app.name}.json</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>/tmp/spc_demo_logs/elk-demo/${app.name}.%d{yyyy-MM-dd.HH}.json.gz
            </fileNamePattern>
            <maxHistory>365</maxHistory>
            <totalSizeCap>20GB</totalSizeCap>
        </rollingPolicy>
        <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <maxFileSize>100MB</maxFileSize>
        </triggeringPolicy>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <customFields>{"app":"${app.name}"}}</customFields>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="stdout_info"/>
        <appender-ref ref="stdout_warn"/>
        <appender-ref ref="stdout_error"/>
        <appender-ref ref="file"/>
    </root>

    <logger name="com.example.logback" level="error"/>

    <logger name="stdout_log" level="info" additivity="false">
        <appender-ref ref="stdout_info"/>
        <appender-ref ref="stdout_warn"/>
        <appender-ref ref="stdout_error"/>
    </logger>

</configuration>

这个配置文件将 log 放到 /tmp/spc_demo_logs/elk-demo 目录下

修改 application.yaml

spring:
  profiles:
    active: dev
logging:
  config: classpath:logback-config.xml

启动工程, 访问 http://localhost:11000/hello

然后确保在log 目录能够看到日志输出:

image.png

docker 相关

安装 sebp/elk

这是git上一个封装好的docker 镜像, 运行它需要vm.max_map_count 和至少262144内存, 所以修改如下

sudo vi /etc/sysctl.conf
# 在尾行添加以下内容   
vm.max_map_count=262144
# 并执行命令
sudo sysctl -p

安装docker elk

sudo docker pull sebp/elk
sudo docker run -d -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 -it --name elk sebp/elk 

进入容器修改 logstash 配置:

sudo docker exec -it elk /bin/bash
# 修改02-beats-input.conf
cd /etc/logstash/conf.d/
vi 02-beats-input.conf

将配置文件修改如下(主要去除 ssl的配置)

input {
  beats {
    port => 5044
  }
}

重启 elk 容器

sudo docker restart elk

配置启动filebeat

安装 filebeat

可以在这里看最新版本: https://www.elastic.co/downloads/beats/filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.11.2-amd64.deb
sudo dpkg -i filebeat*

filebeat 配置文件

cd /etc/filebeat 
sudo vim filebeat.yml

主要的配置是:
设置日志目录

设置logstash 并注释 es相关配置

image.png

启动 filebeat 并查看状态

sudo systemctl start filebeat
sudo systemctl status filebeat

如果没有红字, 表示filebeat 顺利启动

查看 kibana

登录 http://127.0.0.1:5601/ 在左侧菜单点击 Discover

image.png

然后会提示 需要创建 index pattern

image.png

点击之后如图创建:

image.png

如果filebeat 启动不成功(则没有收集数据到logstash) , 那么你会看不到以filebeat- 开头的索引, 也就无法创建 index pattern

一路点next , 然后再次打开 Discover, 就能看到:

image.png

至此, elk + filebeat 的安装就完成了.

TODO

理论上将 filebeat 也放到docker , 一键启动最为理想. 但是在写博客试验的时候 docker filebeat 总是不成功. 希望以后补上.

参考

https://www.jianshu.com/p/5df9db5cda8f