一体化运维监控平台演进

一:运维平台演进

CMDB:HP ucmdb->bk-cmdb

ITSM: HP SM->云boss

Job:HP OO->ansible->bk-job

从运维开发平台-》devops平台-》一体化研发平台(ones)

二:蓝鲸平台源码分析

bk-job

源码走读:

gateway:job-gateway-{version}.jar后台网关微服务Springboot.jar

功能模块包括:鉴权、认证

sdk: cmdb部分请关注并发处理,参见并发处理工具类。

predicate: 自定义继承AbstractRoutePredicateFactory的谓词路由器。

filter:自定义继承AbstractGatewayFilterFactory的过滤器。比如CsrfCheckGatewayFilterFactory实现csrf检查。

Ansible:使用paramiko模块实现远程主机的,sshclient用于连接远程服务器并执行基本命令。

三:运维监控演进

1 CMDB+监控告警

2 监控平台的统一规划

3 作业平台+多集群管理+日志分析

一:监控范围变更

从基础架构到数据库到服务端应用再到客户端。

基础架构:网络设备、存储设备、单片机演进到虚拟化、Openstack、容器、K8S组件。

数据库:单机-》分布式数据库-》缓存-》大数据平台。

服务端:CS架构-》BS架构-》微服务-》Service Mesh-》支付订单/资金业务监控。

客户端:PC-》APP-》小程序-》IOT设备等。

二:监控的架构演进

监控软件演进:HP sitescope(snmp)等->ansible/zabbix->promethues/skyworking/蓝鲸。

服务端监控:已集成Sprint Boot Actuator 的应用平台可自动采集指标数据。

三:统一监控基础架构

架构源码:

高可用方案:

thanos

thanos是prometheus的高可用解决方案之一,thanos与prometheus无缝集成,并提高了一些高级特性,满足了长期存储 + 无限拓展 + 全局视图 + 无侵入性的需求。

Cortex

每个微服务采用了最合适的技术来实现水平拓展;大部分是无状态的,可以处理任意用户的请求,也有一些如ingesters则是半有状态的,依赖一致性哈希。

VictoriaMetrics

VictoriaMetrics使用更优的压缩算法;由于使用本地文件系统作为存储。

大规模集群治理方案:

痛点:为了规避promethues采集节点压力,出现oom等情况。所以提出了kvass+tsdb+promethues整体方案。其中tsdb可以选型thanos或者VictoriaMetrics

架构设计:

采集层:通过在promethues上加Kvass Sidecar来实现横向扩缩容。

存储层:TSDB接收Prometheus远程写的数据并将数据持久化存储(外部对象存储、本地文件系统等)。

应用层:应用层包含直接面向用户的应用,如Grafana大屏展示、Alertmanager告警分发。

Kvass coordinaor :取代promethues hashmod方案。优势在于:无侵入,单配置文件:**我们希望使用者看到的,修改的都是一份原生的配置文件,不用加任何特殊的配置。


一体化开发平台

1、以微服务为中心的一站式企业协同研发平台。

提供从“项目创建->开发->部署->治理->应用观测”端到端的研发全流程服务。

参照:https://github.com/XiaoMi/mone

2、一体化技术中台

a 可以直接获取到AI等服务能力

b 可以直接通过微服务平台创建应用

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容