最近在docker环境下,搭建了一套使用clickhouse作为数据库,存储日志数据的基础日志平台。目前,已投入到生产使用中,clickhous所在服务器资源为8核cpu,32G内存,每天数据条数大约在400W700W之间,数据量大小约710G,clickhouse数据查询基本在500ms内返回结果。
基于目前良好的性能表现和资源消耗,有必要进行技术梳理,加深技术沉淀,为后续持续高效运维、性能优化打好基础;同时,也将自己使用心得总结后,反馈给广大clickhouse爱好者。
为什么选择clickhouse
在选择clickhouse前,对elastic进行了1周的测试。在docker平台下用单机环境进行测试后,发现资源消耗大(公司小,服务器资源有限),技术复杂度高(sql支持程度有限),从而pass掉了。
使用clickhouse的优势:
- 标准sql支持的不错。
- 资源消耗相对es低。
- 自带kafka、mysql引擎。
- 上手难度低,类似传统关系型数据库。
- 能解决现有日志业务场景。
搭建clickhouse集群的准备工作
申请好服务器资源:
- 8C16G -- 用于fluentd、kafka、zookeeper使用。
- 8C32G -- 用于clickhouse、grafana使用。
由于没有对于硬件资源,以上组件都在docker环境下进行搭建,每台服务都需要安装docker和docker-comopse。
下一篇 将记录docker安装clickhouse集群。clickhouse日志平台建设2 - 集群搭建