听说,你的Loki还是单体?(下篇)

image.png

相信大家看过《听说,你的Loki还是单体?(上篇)》之后对Loki的分布式架构有了一定的认识,那么本篇主要就是对上篇内容的实践。小白主要提供docker-composehelm两种方式将部署Loki集群的Demo版本。

在正式部署之前,我们还是先来看下Loki整体架构如下图:


image.png

我们本次部署清单里面主要涉及到的组件如下:

组件 副本数 说明
Cassandra 1 Loki Index存储
Minio 1 Loki S3存储
Consul 1 Loki 组件状态和哈希环存储
Redis 1 Loki 缓存
Gateway 2 Loki 网关
Distributor 3 Loki 组件
Ingester 3 Loki 组件
Querier 3 Loki 组件
Query-Frontend 2 Loki 组件
Table-Manager 1 Loki 组件

下载部署代码

$ git clone https://github.com/CloudXiaobai/loki-cluster-deploy.git

声明:以下部署均适用于demo环境,大家切勿直接用于生产环境
对于生产环境,请务先解决Cassandra和Consul服务的高可用

通过docker-compose部署

  • 启动服务
$ cd loki-cluster-deploy/demo/docker-compose
$ docker-compose up -d
  • 服务清理

如果部署过程中遇到问题要清理环境的话,需要执行两个步骤

1. 停止容器
$ docker-compose down
2. 删除本地卷
$ docker volume rm 
<docker-compose_cassandra_data> 
<docker-compose_consul_data>
<docker-compose_minio_data>

通过helm部署

  • 进入helm 目录
$ cd loki-cluster-deploy/demo/helm/loki-cluster-demo
  • 声明StorageClass
$ cat values.yaml

...
loki-minio:
  persistence:
  - name: data
    storageClass: "<your-StorageClass>"
    size: 10Gi
    accessMode: ReadWriteOnce
    mount_path: /data
loki-consul:
  persistence:
  - name: data
    storageClass: "<your-StorageClass>"
    size: 1Gi
    accessMode: ReadWriteOnce
    mount_path: /consul/data
loki-cassandra:
  persistence:
  - name: data
    storageClass: "<your-StorageClass>"
    size: 5Gi
    accessMode: ReadWriteOnce
    mount_path: /bitnami
...
  • 启动服务
$ kubectl create ns <your_namespace>
$ helm template --name stable --namespaces <your_namespace> . - | kubectl apply -f -
  • 服务清理

如果部署过程中遇到问题要清理环境的话,执行如下命令:

$ helm template --name stable --namespaces <your_namespace> . - | kubectl delete -f -

提示:部署完成后Minio S3的默认认证信息如下:
ACCESS_KEY: key123456
SECRET_KEY: password123456

部署之后

按照如上完成配置后,我们需要将日志采集的客户端指向到Loki Gateway上

对于Gateway多实例部署在k8s的,需要在前端挂载一个负载均衡器做分流。
小白之前考虑用ingress做代理,考虑到现实意义不大,所以放弃。建议大家在外部的LoadBlance直接转发给loki-gateway的NodePort上

同理,Grafana的数据源,我们也要切换到Loki Gateway的地址,然后在Explor上查询日志验证是否正常

image.png

最后我们可以再看下Minio上的Bucket是否已经有日志块,如果有数据的话说明你的Loki Ingester已经工作正常.


image.png

关于云原生小白

云原生小白的创号目的是将平日里离大家较远云原生应用以实用的角度展现出来,站在小白的角度来看待和使用云原生,并以每篇文章解决一个实际问题的出发点带领大家走进云原生。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351