1.业务背景 数据处理链路 源端:kafka 接入端:ETL 处理端1:服务1 处理的2:服务2 存储端:clickhouse 系统某次升级后,发现数据一直延迟,ETL cp...

1.业务背景 数据处理链路 源端:kafka 接入端:ETL 处理端1:服务1 处理的2:服务2 存储端:clickhouse 系统某次升级后,发现数据一直延迟,ETL cp...
1.积压问题排查 最常使用的命令: 2.查看某个topic分区情况 Leader:当前分区的 Leader 节点 ID。 Replicas:该分区的所有副本所在的节点 ID ...
1.现象 平台开启数据接入任务后,发现CPU一直居高不下,持续在90%以上 2.排查方式 发现有很多标签相关的sql语句,一直在执行。经定位发现是自动标签相关的业务。停掉相关...
1.linux机器配置 yum makecache报错:Could not retrieve mirrorlist http://mirrorlist.centos.org?...
kafka连接报错: 经排查,是因为需要配置hosts: 原因是kafka客户端连接到broker是成功的,但连接到集群后更新回来的集群meta信息是错误的即是会返回的是节点...
官方下载:https://www.ej-technologies.com/jprofiler/download[https://www.ej-technologies.com...
1.主从模式 一个Master与若干Slave组成主从关系,当Slave与Master首次建立连接时,Master向Slave进行全量数据复制,复制结束后,再根据Master...
服务发现:为服务提供自动发现下游服务地址列表的能力。 1.注册与发现 服务注册中心 管理每个服务的地址列表(注册) 将某服务的地址告知调用者(发现) 2.可用地址管理 服务的...
1.主从模式 正常情况下,只有Master处理写数据请求,同时Master与Slave通过主从复制技术保持数据一致。当Master发生故障宕机时,某个Slave会被提升为Ma...
LVS作为Nginx集群的四层负载均衡器,可以有效提高Nginx的可扩展性。Nginx作为业务HTTP服务器的七层负载均衡器,能将不同的HTTP URL调度到不同的业务服务并...
LVS(Linux Virtual Server,Linux虚拟服务器)是一个虚拟的服务器集群系统,从Linux 2.6开始成为了Linux内核的一部分,即LVS运行于操作系...
1.DNS DNS维护域名与对应IP地址的映射关系,提供将域名翻译为IP地址的域名解析功能。 DNS功能 维护域名与多个IP地址的映射关系 变更IP地址时,仅需在DNS服务器...
1.Linux虚拟内存管理 当程序运行起来之后就变成了进程,业务数据结构的引用在进程的视角里全都都是虚拟内存地址,因为进程无论是在用户态还是在内核态能够看到的都是虚拟内存空间...
1.组成部分 Java内存分为两部分: 堆内存堆内存由GC垃圾回收期进行管理。 非堆内存非堆内存包括:Java方法栈、本地方法栈、元空间Metaspace、直接内存、代码缓存...
1.Leader选举 1.1 预选举 1.2 正式选举 1.3 Leader降级 2.日志复制 2.1 日志生成 2.2 pipeline机制 2.3 发送探针 2.4 日志...
1.为什么引入快照机制? 快照机制本质上也是一种对日志数据复制的优化手段。 两个问题: 1)因为日志数据需要落盘存储,当日志数据量大到磁盘空间无法容纳时,除了扩容是否还有其它...
1.日志复制原理 Raft 中的日志主要可以分为两类: 一类是协议自身运行所生成的日志,例如集群节点配置变更信息; 另外一类就是用户向集群提交的指令所生成的日志。 为了让集群...
1.term 和 logIndex Raft 算法设计了 term 和 logIndex 两个属性,分别用于表示 Leader 节点的任期,以及集群运行期间接收到的指令对应的...
1.RpcServer 添加系统自带的processors。RaftRpcServerFactory#addRaftRequestProcessors() 另外可以注册自定义...