ClickHouse 21.7.3.14-2(二) 安装部署

准备工作

CentOS 取消打开文件数限制

  1. ulimit -a 查看配置信息
[root@localhost ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 31118
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 31118
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

其中我们最关心的是 open files 和 max user processes,max user processes 意思是当前用户最大能打开多少个进程。

  1. 在服务机上的 /etc/security/limits.conf 文件的末尾加入以下内容
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

一共四列,第一列代表用户组,* 代表所有用户组,要设定特定的用户可以把 * 替换为 用户名@用户组;第二列 soft 和 hard,意思就是 当前 和 最大(上限),注意 当前要 <= 最大;第三列 nofile 和 nproc ,即 打开文件数 和 进程数;

  1. 在服务机上的/etc/security/limits.d/20-nproc.conf 文件的末尾加入以下内容
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

该路径的文件会覆盖 第2步骤的配置,所以建议在该文件也配置。
以上配置生效,需要重启最好,不重启可以用以下命令。有没有生效可以通过 ulimit -a 来查看

# -n 或 -u 在 ulimit -a 中可以看到
# 修改 open files
ulimit -n 65536
# 修改 max user processes
ulimit -u 131072
  1. 如果是集群的话,其他服务器也需要同步以上配置

  2. 提前创建号 clickhouse 用户和组,并尝试登录没有问题

# 该命令默认会添加一个 clickhouse 组
useradd clickhouse -d /home/users/clickhouse
# 修改clickhouse用户登录密码
passwd clickhouse

安装依赖

  1. yum install -y libtool
  2. yum install -y *unixODBC*
  3. 其他服务器也是一样的步骤

CentOS 取消 SELINUX

  1. 修改 /etc/selinux/config 中的 SELINUX=disabled
vim /etc/selinux/config
SELINUX=disabled

SELINUX 是linux内核的安全软件,改了之后需要重启,否则不会生效。当然也可以让其临时生效,setenforce 0(0关闭,1开启 但是想开的话必须先重启),执行后可以通过 getenforce 查看状态。

  1. 其他服务器同步操作

单机安装

官网地址:https://clickhouse.com/
下载地址:https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/

下载的话注意要下载4个包,clickhouse-client、clickhouse-common-static、clickhouse-common-dbg、clickhouse-server。其中版本的话 20.5 后支持 final 多线程,20.6.3后支持 explain 执行计划,20.8 出了实时同步 Mysql。clickhouse端口默认 9000

linu 下载可以通过以下命令直接下载。

wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-21.7.3.14-2.noarch.rpm
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-21.7.3.14-2.x86_64.rpm
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-dbg-21.7.3.14-2.x86_64.rpm
wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-server-21.7.3.14-2.noarch.rpm

如果下载的文件在该文件夹下没有其他文件,可以使用以下命令直接安装,如果还有其他 rpm 文件,则把 * 就换成所对应的文件。

rpm -ivh *.rpm

在安装过程中新版本会让你设置一个密码,默认账户就是 default,不设置可以直接回车。

Enter password for default user: 

安装完成后可以通过如下命令来确定是否安装成功

rpm -qa|grep clickhouse

安装好的配置文件会放在 /etc/ 下,而 lib 数据会放在 /var/lib/clickhouse,日志会在 /var/log/clickhouse,命令会在 usr/bin/ 下。

bin/ ===>   /usr/bin/
conf/ ===>  /etc/clickhouse-server/
lib/ ===>   /var/lib/clickhouse
log/ ===>   /var/log/clickhouse

安装成功的 clickhouse 会自己创建一个 clickhouse 用户,如果你是用非 root 用户访问,可能会无法访问以上目录。

进入 /etc/clickhouse-server/ 可以看到有 4 个文件

config.d
config.xml
users.d
users.xml

其中 config.d 和 users.d 是文件夹,里面放的是一些默认配置。最核心的还是两个 xml 文件,config.xml 是通用的服务端配置,users.xml 为参数配置。

修改 config.xml

<!-- 默认本机访问,允许其他服务访问可以使用 :: ,意思不对IP做限制-->
<listen_host>::</listen_host>
<!-- 数据文件路径 -->
<path>/var/lib/clickhouse/</path>
<!-- 日志文件路径 -->
<log>/var/log/clickhouse-server/clickhouse-server.log</log>
<!-- 修改时区 -->
<timezone>Asia/Shanghai</timezone>

如果修改报错后报 E45: 'readonly' option is set (add ! to override),可以换成 wq!,就可以了。

启动 server

# 启动方式1,这种方式不会加载/etc下的配置文件,垃圾
clickhouse status[start,stop,restart]
# 启动方式2(比较好),但是不是后台启动,自己 nohup 启动就好
clickhouse-server  --config-file=/etc/clickhouse-server/config.xml 

clickhouse-server --config-file=/etc/clickhouse-server/config.xml 可能由于权限不足原因启动不了,此时要切换 clickhouse 用户启动,但是 su clickhouse可能无效,可以给 clickhouse 添加 用户目录 和 /bin/bash 权限,确保su clickhouse没有问题,然后通过命令启动。如果命令启动报错,大部分还是文件权限原因,如 Access to file denied: /var/log/clickhouse-server/clickhouse-server.log ,直接 chown clickhouse Access to file denied: /var/log/clickhouse-server/clickhouse-server.log 修改文件权限,再次执行就好了。

连接 server

clickhouse-client -m
  • -m 以 ; 号为语句的结束
  • -h 指定访问的IP
  • -p 指定访问的端口
  • --query "" 执行查询语句
  • -u [ --user ] arg (=default) 指定用户,默认就是 default
  • --password 如果设置了密码可以加上该参数

关闭开机自启动设置

systemctl disable clickhouse-server

如果机器缓存占用多没释放,可以使用 echo 3 > /proc/sys/vm/drop_caches

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,588评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,456评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,146评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,387评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,481评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,510评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,522评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,296评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,745评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,039评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,202评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,901评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,538评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,165评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,415评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,081评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,085评论 2 352

推荐阅读更多精彩内容