前言

ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 ClickHouse的全称是Click Stream，Data WareHouse，简称ClickHouse。

ClickHouse是一个完全的列式分布式数据库管理系统(DBMS)，允许在运行时创建表和数据库，加载数据和运行查询，而无需重新配置和重新启动服务器，支持线性扩展，简单方便，高可靠性，容错。它在大数据领域没有走 Hadoop 生态，而是采用 Local attached storage 作为存储，这样整个 IO 可能就没有 Hadoop 那一套的局限。它的系统在生产环境中可以应用到比较大的规模，因为它的线性扩展能力和可靠性保障能够原生支持 shard + replication 这种解决方案。它还提供了一些 SQL 直接接口，有比较丰富的原生 client。

优点

• 1、灵活的MPP架构,支持线性扩展，简单方便，高可靠性
• 2、多服务器分布式处理数据 ,完备的DBMS系统
• 3、底层数据列式存储,支持压缩,优化数据存储,优化索引数据 优化底层存储
• 4、容错跑分快：比Vertica快5倍，比Hive快279倍，比MySQL快800倍,其可处理的数据级别已达到10亿级别
• 5、功能多：支持数据统计分析各种场景，支持类SQL查询，异地复制部署
  海量数据存储,分布式运算,快速闪电的性能,几乎实时的数据分析 ,友好的SQL语法,出色的函数支持

缺点

• 1、不支持事务，不支持真正的删除/更新 (批量)
• 2、不支持高并发，官方建议qps为100，可以通过修改配置文件增加连接数，但是在服务器足够好的情况下
• 3、不支持二级索引
• 4、不擅长多表join *** 大宽表
• 5、元数据管理需要人为干预 ***
• 6、尽量做1000条以上批量的写入，避免逐行insert或小批量的insert，update，delete操作

应用场景

• 1、绝大多数请求都是用于读访问的, 要求实时返回结果
• 2、数据需要以大批次（大于1000行）进行更新，而不是单行更新；或者根本没有更新操作
• 3、数据只是添加到数据库，没有必要修改
• 4、读取数据时，会从数据库中提取出大量的行，但只用到一小部分列
• 5、表很“宽”，即表中包含大量的列
• 6、查询频率相对较低（通常每台服务器每秒查询数百次或更少）
• 7、对于简单查询，允许大约50毫秒的延迟
• 8、列的值是比较小的数值和短字符串（例如，每个URL只有60个字节）
• 9、在处理单个查询时需要高吞吐量（每台服务器每秒高达数十亿行）
• 10、不需要事务
• 11、数据一致性要求较低 [原子性 持久性 一致性 隔离性]
• 12、每次查询中只会查询一个大表。除了一个大表，其余都是小表
• 13、查询结果显著小于数据源。即数据有过滤或聚合。返回结果不超过单个服务器内存大小

一、系统要求

ClickHouse可以在任何具有x86_64，AArch64或PowerPC64LE CPU架构的Linux，FreeBSD或Mac OS X上运行。 官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。下面是检查当前CPU是否支持SSE 4.2的命令:

$ grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

要在不支持SSE 4.2或AArch64，PowerPC64LE架构的处理器上运行ClickHouse，您应该通过适当的配置调整从源代码构建ClickHouse

clickhouse中文文档地址：

https://clickhouse.com/docs/zh/getting-started/tutorial/

采用tgz的方式安装

官网上安装部署有比较详细的说明，具体文档地址如下,支持deb、rpm、tgz、docker等安装部署方式
https://clickhouse.com/docs/zh/getting-started/install/

tgz包下载地址：
https://packages.clickhouse.com/tgz/

https://github.com/ClickHouse/ClickHouse/releases

下载的版本是22.3.2.2，以此版本为例，tgz包上传到同一个目录下，执行以下操作

tar -xzvf "clickhouse-common-static-22.3.2.2.tgz"
sudo "clickhouse-common-static-22.3.2.2/install/doinst.sh"
 
tar -xzvf "clickhouse-common-static-dbg-22.3.2.2.tgz"
sudo "clickhouse-common-static-dbg-22.3.2.2/install/doinst.sh"

tar -xzvf "clickhouse-client-22.3.2.2.tgz"
sudo "clickhouse-client-22.3.2.2/install/doinst.sh"
 
//这一步会让你填写默认的用户密码，可填可不填
tar -xzvf "clickhouse-server-22.3.2.2.tgz"
sudo "clickhouse-server-22.3.2.2/install/doinst.sh"

二、安装前准备

• 1.文件打开数调整

在 /etc/security/limits.conf和/etc/security/limits.d/20-nproc.conf 这两个文件的末尾加入以下内容：

sudo vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

重启服务器之后生效，用 ulimit -n 或者 ulimit -a 查看设置结果

• 2.取消selinux
  修改 /etc/selinux/config 中的 SELINUX=disabled 后重启

vim /etc/selinux/config
SELINUX=disabled

• 3.关闭防火墙

systemctl status firewalld.service
systemctl stop firewalld.service

• 4.安装依赖

root用户执行:
yum install -y libtool
yum install -y *unixODBC*

• 5.验证是否支持sse 4.2指令集
  需要验证当前服务器的CPU是否支持SSE 4.2指令集，因为向量化执行需要用到这项特性

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not
supported"

三、快速安装(单机)

本次安装操作系统为CentOS 7

1. 登陆官网 https://clickhouse.tech/#quick-start

2. 在Quick start上选择Centos or RedHat，安装步骤进行安装

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo
sudo yum install -y clickhouse-server clickhouse-client
 
sudo /etc/init.d/clickhouse-server start    # 启动服务端
clickhouse-client  # or "clickhouse-client --password" if you set up a password.    # 连接客户端

clickhouse-client #启动客户端默认在localhost:9000
clickhouse-client --host=localhost --port=9000 --user=xxx --password=xxx -m

具体在/etc/clickhouse-server/ 里的 config.xml文件 修改listen_host和相关port

-m:多行模式, 是指在数据表里写sql时可以将一条sql语句分行输入，否则只能将一条sql语句完整输入

3. 服务管理常用命令:

CentOS 7系统下，我们推荐使用如下命令管理clickhouse-server的启停及状态查看

systemctl start clickhouse-server
systemctl stop clickhouse-server
systemctl status clickhouse-server

4. ClickHouse的目录信息

/var/log/clickhouse-server/ # clickhouse-server的日志文件
/etc/clickhouse-server/  #config.xml包含的是clickhouse全局的配置，users.xml包含用户相关的配置
/var/lib/clickhouse/  #里面有许多文件，主要关注 data 和 metadata, data里面包含clickhouse的数据库 , metadata存放对应库表的元数据信息

5. 示例

四、集群搭建

1. 集群节点信息

• 192.168.200.91 cdh01
• 192.168.200.98 cdh02
• 192.168.200.99 cdh03

2. 搭建一个zookeeper集群(如果有则跳过)

• 下载 zookeeper-3.4.8.tar.gz 安装包，放置到上面三台服务器相同目录下(/usr/local)
• 进入到/usr/local目录下，解压tar包，tar -zxvf zookeeper-3.4.8.tar.gz
• 进入zookeeper的conf目录，拷贝zoo_sample.cfg为zoo.cfg，cp zoo_sample.cfg zoo.cfg 修改zoo.cfg文件:

tickTime=2000
dataDir=/opt/zookeeper
clientPort=2181
initLimit=10
syncLimit=2
server.1=cdh01:2888:3888
server.2=cdh02:2888:3888
server.3=cdh03:2888:3888

• 三台服务器分别创建目录：mkdir /opt/zookeeper
• 在/opt/zookeeper目录中创建一个名为myid的文件，三台服务器文件内容分别为1，2，3
• 进入zookeeper的bin目录，启动zookeeper服务，每个节点都需要启动：./zkServer.sh start
• 启动之后查看每个节点的状态 ./zkServer status , 其中有一个节点是leader，有两个节点是follower，证明zookeeper集群是部署成功的
• 测试zookeeper连接：./zkCli.sh -server cdh01:2181

3. ClickHouse集群部署

• 3.1 首先在三台服务器分别安装上clickhouse，安装参照如上单机方式。

下载的版本是22.3.2.2，以此版本为例，tgz包上传到同一个目录下，执行以下操作

tar -xzvf "clickhouse-common-static-22.3.2.2.tgz"
sudo "clickhouse-common-static-22.3.2.2/install/doinst.sh"
 
tar -xzvf "clickhouse-common-static-dbg-22.3.2.2.tgz"
sudo "clickhouse-common-static-dbg-22.3.2.2/install/doinst.sh"

tar -xzvf "clickhouse-client-22.3.2.2.tgz"
sudo "clickhouse-client-22.3.2.2/install/doinst.sh"
 
//这一步会让你填写默认的用户密码，可填可不填
tar -xzvf "clickhouse-server-22.3.2.2.tgz"
sudo "clickhouse-server-22.3.2.2/install/doinst.sh"

• 3.2 修改配置文件: vim /etc/clickhouse-server/config.xml

<!-- 修改端口:(默认9000端口跟hdfs冲突) -->
<tcp_port>9002</tcp_port>
 
<!-- 修改时区 -->  
<timezone>Asia/Shanghai</timezone>  
 
<!-- 配置监听网络 -->
<!--ip地址，配置成::可以被任意ipv4和ipv6的客户端连接, 需要注意的是，如果机器本身不支持ipv6，
    这样配置是无法连接clickhouse的，这时候要改成0.0.0.0 -->
<listen_host>0.0.0.0</listen_host>
 
<!-- 添加集群相关配置 -->
<remote_servers>
    <!-- 3个分片1个副本 -->
    <test_cluster_three_shards_internal_replication>
        <shard>
            <!-- 是否只将数据写入其中一个副本，默认为false，表示写入所有副本，
                         在复制表的情况下可能会导致重复和不一致，所以这里要改为true，
                         clickhouse分布式表只管写入一个副本，其余同步表的事情交给复制表和zookeeper来进行 -->
            <internal_replication>true</internal_replication>
            <replica>
                <host>cdh01</host>
                <port>9002</port>
            </replica>
        </shard>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>cdh02</host>
                <port>9002</port>
            </replica>
        </shard>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>cdh03</host>
                <port>9002</port>
            </replica>
        </shard>
    </test_cluster_three_shards_internal_replication>
    
</remote_servers>
 
 
<!-- zookeeper配置 -->
<zookeeper>
    <node>
        <host>cdh01</host>
        <port>2181</port>
    </node>
    <node>
        <host>cdh02</host>
        <port>2181</port>
    </node>
    <node>
        <host>cdh03</host>
        <port>2181</port>
    </node>
</zookeeper>
 
<!-- 复制标识的配置，也称为宏配置，这里唯一标识一个副本名称，每个实例配置都是唯一的 -->
<macros>
    <!-- 当前节点在在集群中的分片编号，需要在集群中唯一，3个节点分别为01，02，03 -->
    <shard>01</shard>
    <!-- 副本的唯一标识，需要在单个分片的多个副本中唯一，3个节点分别为cdh01，cdh02，cdh03 -->
    <replica>cdh01</replica>
</macros>

除了直接修改/etc/clickhouse-server/config.xml文件外，我们也可以在/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml的配置文件来配置remote_servers，zookeeper, macros。例如：

<?xml version="1.0"?>
<yandex>
     <!—ZooKeeper配置，名称自定义，和config.xml 对应，一般就用这个名字就好 -->
    <zookeeper-servers>
        <node index="1">
            <!—节点配置，可以配置多个地址-->
            <host>127.0.0.1</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
    <clickhouse_remote_servers>  <!--远程服务名称 config.xml使用-->
       ......
    </clickhouse_remote_servers>
    <macros>
       ......
     </macros>
</yandex>

接着，在全局配置config.xml中使用<include_from>标签导入刚才定义的配置。

<zookeeper incl="zookeeper-servers" optional="true" />
<remote_servers incl="clickhouse_remote_servers" optional="true" />
<macros incl="macros" optional="true"/>  
<include_from>/etc/clickhouse server/config.d/metrika.xml</include_from>

这里就再不继续扩展。

4. 简单测试

• 1. . 首先各节点启动 : systemctl start clickhouse-server 查看运行状态 : systemctl status clickhouse-server

     
     
• 2. . 任意节点连接clickhouse : clickhouse-client --host=cdh02 --port=9002 -m
     查询集群 ：

select cluster,shard_num,replica_num,host_name,port,user,is_local from system.clusters;
SELECT version();

五、配置和命令解释

1、配置文件中配置项的解释如下：

• remote_servers：
  clickhouse集群配置标签，固定写法。注意：这里与之前版本不同，之前要求必须以clickhouse开头，新版本不再需要。

• clickhouse_cluster_3shards_1replicas:
  配置clickhouse的集群名称，可自由定义名称，注意集群名称中不能包含点号。这里代表集群中有3个分片，每个分片有1个副本。
  分片是指包含部分数据的服务器，要读取所有的数据，必须访问所有的分片。
  副本是指存储分片备份数据的服务器，要读取所有的数据，访问任意副本上的数据即可。

• shard：
  分片，一个clickhouse集群可以分多个分片，每个分片可以存储数据，这里 分片可以理解为clickhouse机器中的每个节点，1个分片只能对应1服务节点 。这里可以配置一个或者任意多个分片，在每个分片中可以配置一个或任意多个副本，不同分片可配置不同数量的副本。如果只是配置一个分片，这种情况下查询操作应该称为远程查询，而不是分布式查询。

• replica：
  每个分片的副本，默认每个分片配置了一个副本。也可以配置多个，副本的数量上限是由clickhouse节点的数量决定的。如果配置了副本，读取操作可以从每个分片里选择一个可用的副本。如果副本不可用，会依次选择下个副本进行连接。该机制利于系统的可用性。

• internal_replication：
  默认为false,写数据操作会将数据写入所有的副本，设置为true,写操作只会选择一个正常的副本写入数据，数据的同步在后台自动进行。

• zookeeper：
  配置的zookeeper集群，注意：与之前版本不同，之前版本是“zookeeper-servers”。

• macros：
  区分每台clickhouse节点的宏配置，macros中标签代表当前节点的分片号，标签代表当前节点的副本号，这两个名称可以随意取，后期在创建副本表时可以动态读取这两个宏变量。注意：每台clickhouse节点需要配置不同名称。

• networks：
  这里配置ip为“::/0”代表任意IP可以访问，包含IPv4和IPv6。

注意：允许外网访问还需配置/etc/clickhouse-server/config.xml。

listen_host 表示能监听的主机，:: 表示任意主机都可以访问
<listen_host>::</listen_host>

• clickhouse_compression：
  MergeTree引擎表的数据压缩设置，min_part_size：代表数据部分最小大小。min_part_size_ratio：数据部分大小与表大小的比率。method：数据压缩格式。

2、在每台节点上启动/查看/重启/停止clickhouse服务

#每台节点启动Clickchouse服务
service clickhouse-server start

#每台节点查看clickhouse服务状态
service clickhouse-server status

#每台节点重启clickhouse服务
service clickhouse-server restart

#每台节点关闭Clikchouse服务
service clickhouse-server stop

3、客户端命令行参数

我们可以通过clickhouse client来连接启动的clickhouse服务，连接服务时，我们可以指定以下参数，这里指定的参数会覆盖默认值和配置文件中的配置。

• --host，-h：
  使用-h指定ip或者host名称时，需要在/etc/clickhouse-server/config.xml配置文件中114行配置：<listen_host>::</listen_host> ，代表可以任意ip可访问。配置完成后需要重启当期clickhouse节点生效。

clickhouse-client  -h node1
ClickHouse client version 20.8.3.18.
Connecting to node1:9000 as user default.
Connected to ClickHouse server version 20.8.3 revision 54438.

• --query，-q：

clickhouse-client -q "show databases"
_temporary_and_external_tables
default
system

• --database, -d：

clickhouse-client -d "system" -q "show tables"
aggregate_function_combinators
asynchronous_metric_log
asynchronous_metrics
build_options
... ....

• --multiline, -m：

clickhouse-client -m

node1 :) select 
:-] 1+1
:-] ;

SELECT 1 + 1
┌─plus(1, 1)─┐
│          2 │
└────────┘
1 rows in set. Elapsed: 0.004 sec.

• --time, -t：

clickhouse-client -t -q "show databases"
_temporary_and_external_tables
default
system
0.004

• --stacktrace：

clickhouse-client --stacktrace
ClickHouse client version 20.8.3.18.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.8.3 revision 54438.

node1 :) use aaa;
USE aaa
Received exception from server (version 20.8.3):
Code: 81. DB::Exception: Received from localhost:9000. DB::Exception: Database aaa doesn't exist. Stack trace:
0.Poco::Exception::Exception(std::__1 ... ....
... ....

• --multiquery，-n：

[root@node1 ~]# clickhouse-client  -n -q "show databases;use default;"
_temporary_and_external_tables
default
system

4、数据类型

ClickHouse提供了许多数据类型，它们可以划分为基础类型、复合类型和特殊类型。我们可以在system.data_type_families表中检查数据类型名称以及是否区分大小写。这个表中存储了ClickHouse支持的所有数据类型。

select * from system.data_type_families limit 10;
SELECT *
FROM system.data_type_families
LIMIT 10

┌─name────────────┬─case_insensitive─┬─alias_to─┐
│ Polygon          │                    0 │            │
│ Ring              │                    0 │            │
│ MultiPolygon    │                    0 │            │
│ IPv6              │                    0 │            │
│ IntervalSecond  │                    0 │            │
│ IPv4              │                    0 │            │
│ UInt32            │                   0 │             │
│ IntervalYear     │                   0 │             │
│ IntervalQuarter │                   0 │             │
│ IntervalMonth    │                   0 │             │
└─────────────────┴──────────────────┴──────────┘

10 rows in set. Elapsed: 0.004 sec.

下面介绍下常用的数据类型，ClickHouse与Mysql、Hive中常用数据类型的对比图如下：

参考：
https://clickhouse.com/docs/zh/getting-started/install/#from-sources

https://blog.csdn.net/mnasd/article/details/127648739

https://www.cnblogs.com/leolzi/p/16697369.html

https://www.cnblogs.com/lebaishi/p/15702020.html

https://www.cnblogs.com/hsyw/p/16839015.html

https://blog.csdn.net/qq_37056683/article/details/120993905

https://blog.csdn.net/wuxintdrh/article/details/119931658

https://blog.csdn.net/weixin_44087159/article/details/124477313