k8s 容器日志方案-log-pilot（java多行&json格式）

前言：由于log-pilot阿里云停止更新，有些不完善的地方，只能修改容器模板来支持java多行&json格式数据。我采用log-pilot将日志发到kafka的方式完成我日志采集。

版本：

log-pilot 0.9.5

logstash-6.5.1

kafak-0.10.2

1、log-pilot介绍

log-Pilot 是一个智能容器日志采集工具，它不仅能够高效便捷地将容器日志采集输出到多种存储日志后端，同时还能够动态地发现和采集容器内部的日志文件。针对前面提出的日志采集难题，Log-Pilot 通过声明式配置实现强大的容器事件管理，可同时获取容器标准输出和内部文件日志，解决了动态伸缩问题，此外，Log-Pilot 具有自动发现机制，CheckPoint 及句柄保持的机制，自动日志数据打标，有效应对动态配置、日志重复和丢失以及日志源标记等问题。目前 log-pilot 在 Github 完全开源，项目地址是 https://github.com/AliyunContainerService/log-pilot 。您可以深入了解更多实现原理。

2、改造 log-pilot容器

1）下载log-pilot容器

git pull registry.cn-hangzhou.aliyuncs.com/acs/log-pilot:0.9.5-filebeat

2）修改配置服务的yaml文件

{{range .configList}}

- type: log

enabled: true

paths:

- {{ .HostDir }}/{{ .File }}

scan_frequency: 10s

fields_under_root: true

{{range $key, $value := .Tags}} # 看了很久的源代码，发现改不动，最后觉得用tags的方式判断很不错，

{{if eq $key "java"}} # 如果是tag的key是java就多行采集和网上的不一样

multiline.pattern: '^[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9]' #新增正则条件，以日期开头网上抄的

multiline.negate: true #新增网上抄的

multiline.match: after #新增网上抄的

multiline.max_lines: 10000 #新增网上抄的

{{end}}

{{end}}

{{if .Stdout}}

docker-json: true

{{end}}

{{if eq .Format "json"}}

json.keys_under_root: true

{{end}}

fields:

{{range $key, $value := .Tags}}

{{ $key }}: {{ $value }}

{{end}}

{{range $key, $value := $.container}}

{{ $key }}: {{ $value }}

{{end}}

tail_files: false

close_inactive: 2h

close_eof: false

close_removed: true

clean_removed: true

close_renamed: false

{{end}}

3）打包镜像并推送

    #vim Dockerfile

    FROM registry.cn-hangzhou.aliyuncs.com/acs/log-pilot:0.9.5-filebeat

    COPY filebeat.tpl /pilot/filebeat.tpl

这里你自己push哈

3、安装log-pilot

---

apiVersion: extensions/v1beta1

kind: DaemonSet

metadata:

name: log-pilot

namespace: kube-system

labels:

k8s-app: log-pilot

kubernetes.io/cluster-service: "true"

spec:

template:

metadata:

labels:

k8s-app: log-es

kubernetes.io/cluster-service: "true"

version: v1.22

spec:

tolerations:

- key: node-role.kubernetes.io/master

effect: NoSchedule

serviceAccountName: dashboard-admin

containers:

- name: log-pilot

image: registry-vpc.cn-beijing.aliyuncs.com/XXX/log-pilot:0.9.2 #你自己镜像地址记得私有仓库需要认证的

resources:

limits:

memory: 200Mi

requests:

cpu: 100m

memory: 200Mi

env:

- name: "LOGGING_OUTPUT"

value: "kafka" #输出到kafka，官方的例子是输出到es

- name: "KAFKA_BROKERS" #和官方不一致的地方

value: "XXX:9092,XXX:9092,XXX:9092" #kafka地址

- name: "NODE_NAME"

valueFrom:

fieldRef:

fieldPath: spec.nodeName

volumeMounts:

- name: sock

mountPath: /var/run/docker.sock

- name: root

mountPath: /host

readOnly: true

- name: varlib

mountPath: /var/lib/filebeat

- name: varlog

mountPath: /var/log/filebeat

securityContext:

capabilities:

add:

- SYS_ADMIN

terminationGracePeriodSeconds: 30

volumes:

- name: sock

hostPath:

path: /var/run/docker.sock

- name: root

hostPath:

path: /

- name: varlib

hostPath:

path: /var/lib/filebeat

type: DirectoryOrCreate

- name: varlog

hostPath:

path: /var/log/filebeat

type: DirectoryOrCreate

4、配置服务的yaml文件

---

apiVersion: apps/v1

kind: Deployment

metadata:

name: microservice-eureka

namespace: sit

spec:

selector:

matchLabels:

app: springcloud-eureka

replicas: 1

template:

metadata:

labels:

app: springcloud-eureka

spec:

containers:

- name: springcloud-eureka

image: registry-vpc.cn-beijing.aliyuncs.com/XXXX/microservice-eureka:20200728-d584876 #你自己仓库地址

env:

- name: eureka.instance.hostname

value: springcloud-eureka

- name: eureka.instance.preferIpAddress

value: "true"

- name: aliyun_logs_sit-log #当然如果你不想使用aliyun这个关键字，Log-Pilot 也提供了环境变量 PILOT_LOG_PREFIX可以指定自己的声明式日志配置前缀，比如 PILOT_LOG_PREFIX: "aliyun,custom"，最好是和官方一致，省去多余的配置

value: "/src/logs/console.log" #需要收集的日志路径

- name: aliyun_logs_sit-log_tags

value: "topic=sit-log,java=java" #kafka topic的名字，这个定义是关键，不定义这个，日志是无法输出到kafka内的我看了源代码一定要写 topic key的，java=java 是我们设置的多行采集的tag

volumeMounts:

- mountPath: /src/logs

name: datalog

imagePullSecrets:

- name: imagehub

volumes:

- name: datalog

emptyDir: {}

---

kind: Service

apiVersion: v1

metadata:

name: springcloud-eureka

namespace: sit

spec:

selector:

app: springcloud-eureka

ports:

- protocol: TCP

port: 80

targetPort: 8000

#type: NodePort

5、利用logstash消费kafka内的数据

input {

kafka {

bootstrap_servers => ["xxx:9092, xxx :9092, xxx :9092"]

#client_id => "sink"

group_id => "sink"

auto_offset_reset => "latest"

consumer_threads => 3

decorate_events => true

topics => ["sit-log"] # 我们上边配的 topic

codec => "json"

}

}

filter

{

if [java] != "java" { #判断是不是字段java，方便处理json和java多行

json { source => "message"} #再进行解析

}

}

output {

#stdout { codec => rubydebug } # 调试的时候记得打开

if [java] == "java" { #通过不同的tag 指向不同的index

elasticsearch {

hosts => ["http://172.17.187.169:9200"]

index => "sit-micr-%{+YYYY.MM.dd}"

}

}

if [vytype] == "mobile" {

elasticsearch {

hosts => ["http://172.17.187.169:9200"]

index => "sit-mobile-%{+YYYY.MM.dd}"

}

}

if [vytype] == "nginx" {

elasticsearch {

hosts => ["http://172.17.187.169:9200"]

index => "sit-nginx-%{+YYYY.MM.dd}"

}

}

}

6、最后展示一张kibana收集日志的图例

7、参考博客

https://www.cnblogs.com/uglyliu/p/12382214.html

https://help.aliyun.com/document_detail/86552.html https://github.com/AliyunContainerService/log-pilot/issues/101 https://www.iyunw.cn/archives/k8s-tong-guo-log-pilot-cai-ji-ying-yong-ri-zhi-ding-zhi-hua-tomcat-duo-xing/

8、总结

对于未知的领域不要太害怕，时间是你本钱，可以慢慢磨，就怕没时间。