docker已老, 函数式运维才是未来-03:KSQL集群搭建

KSQL是个好东西 ，了解得人较少，我也不多介绍，愿者上钩。喜欢它的，拿起来就是用。

KSQL集群的组件有点多，这里使用了zookeeper + kafka + ksql + kafka connect + kafka schema registry.

a. zookeeper跟kafka是最基础的消列队列集群组件。
b. ksql是一套流式计算引擎的集群
c. kafka connect是一套管理外部系统输入输出接口的集群
d. kafka schema registry 是一套多模式管理集群。

所以我们主要有以下过程:

  1. 创建三台虚拟机及其用户
  2. 打包(confluent-oss-5.0.0 & postgres)服务依赖
  3. 部署(confluent-oss-5.0.0 & postgres )至远程服务
  4. 启动(zookeeper & kafka & schem-registry & ksql & kafka connect & postgres)远程服务
  5. ETL之extract: 使用avro-console-producer 生成输入数据 (后续切换成文件 实时读取)
  6. ETL之tranform: 使用ksql对数据进行简单处理
  7. ETL之load: 使 用kafka connect输出数据至postgres

相关代码请参见: https://github.com/clojurians-org/my-env/tree/master/run.sh.d/ksql-example

第0步-准备工作: 创建三台虚拟机并创建用户op

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/createvm.sh
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh create-vm nixos-ksql-001" && bash nix.sh create-vm nixos-ksql-001
echo -e "\n==== bash nix.sh create-vm nixos-ksql-002" && bash nix.sh create-vm nixos-ksql-002
echo -e "\n==== bash nix.sh create-vm nixos-ksql-003" && bash nix.sh create-vm nixos-ksql-003
image.png

第一步. 打包(confluent-oss-5.0.0 & postgres)服务依赖

由于 KSQL目前未集成到nixpkgs中，我们要么采用nix-build构建整合，或者自己打包依赖。这里我们采用后面一种方案，便于没有nix编程基础 的朋友使用, 后续提供nix-build整合方案。
gettext依赖为服务启动脚本调用命令envsubst的软件包

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/package.sh
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh export tgz.nix-2.0.4" && bash nix.sh export tgz.nix-2.0.4
echo -e "\n==== bash nix.sh export tgz.confluent-oss-5.0.0" && bash nix.sh export tgz.confluent-oss-5.0.0

echo -e "\n==== bash nix.sh export nix.gettext-0.19.8.1" && bash nix.sh export nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh export nix.openjdk-8u172b11" && bash nix.sh export nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh export nix.postgresql-10.4" && bash nix.sh export nix.postgresql-10.4
image.png

第二步: 部署(confluent-oss-5.0.0 & postgres )至远程服务

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/deploy.sh
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

export my_rhome=/home/op/my-env
export my_user=op
echo -e "\n==== bash nix.sh create-user 192.168.56.101" && bash nix.sh create-user 192.168.56.101
echo -e "\n==== bash nix.sh create-user 192.168.56.102" && bash nix.sh create-user 192.168.56.102
echo -e "\n==== bash nix.sh create-user 192.168.56.103" && bash nix.sh create-user 192.168.56.103

echo -e "\n==== bash nix.sh install 192.168.56.101 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.101 tgz.nix-2.0.4
echo -e "\n==== bash nix.sh install 192.168.56.102 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.102 tgz.nix-2.0.4
echo -e "\n==== bash nix.sh install 192.168.56.103 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.103 tgz.nix-2.0.4

echo -e "\n==== bash nix.sh import 192.168.56.101 tgz.confluent-oss-5.0.0" && bash nix.sh import 192.168.56.101 tgz.confluent-oss-5.0.0
echo -e "\n==== bash nix.sh import 192.168.56.102 tgz.confluent-oss-5.0.0" && bash nix.sh import 192.168.56.102 tgz.confluent-oss-5.0.0
echo -e "\n==== bash nix.sh import 192.168.56.103 tgz.confluent-oss-5.0.0" && bash nix.sh import 192.168.56.103 tgz.confluent-oss-5.0.0

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.101 nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.102 nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.103 nix.gettext-0.19.8.1

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.101 nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.102 nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.103 nix.openjdk-8u172b11

第三步: 启动(zookeeper & kafka & schem-registry & ksql & kafka connect & postgres)远程服务

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/ksql-example/start.sh 
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

export ZK_ALL="192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181"
# start confluent-oss-5.0.0:zookeeper
echo -e "\n==== bash nix.sh start 192.168.56.101:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}" 
                bash nix.sh start 192.168.56.101:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}
echo -e "\n==== bash nix.sh start 192.168.56.102:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}"
                bash nix.sh start 192.168.56.102:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}
echo -e "\n==== bash nix.sh start 192.168.56.103:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}" 
                bash nix.sh start 192.168.56.103:2181 confluent-oss-5.0.0:zookeeper --all ${ZK_ALL}

echo -e "\n==== sleep 10 " && sleep 10
# start confluent-oss-5.0.0:kafka
export KAFKA_ALL="192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092"
echo -e "\n==== bash nix.sh start 192.168.56.101:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor"                                                                                          
                bash nix.sh start 192.168.56.101:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor                                                                                           
echo -e "\n==== bash nix.sh start 192.168.56.102:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor"                                                                                          
                bash nix.sh start 192.168.56.102:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor                                                                                           
echo -e "\n==== bash nix.sh start 192.168.56.103:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor"                                                                                          
                bash nix.sh start 192.168.56.103:9092 confluent-oss-5.0.0:kafka --zookeepers ${ZK_ALL} --cluster.id monitor

echo -e "\n==== sleep 10 " && sleep 10
# start confluent-oss-5.0.0:schema-registry
echo -e "\n==== bash nix.sh start 192.168.56.101:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor"
                bash nix.sh start 192.168.56.101:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.102:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor"
                bash nix.sh start 192.168.56.102:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.103:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor"
                bash nix.sh start 192.168.56.103:8081 confluent-oss-5.0.0:schema-registry --kafkas ${KAFKA_ALL} --cluster.id monitor

echo -e "\n==== sleep 10 " && sleep 10
# start confluent-oss-5.0.0:ksql
echo -e "\n==== bash nix.sh start 192.168.56.101:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.101:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.102:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.102:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.103:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.103:8088 confluent-oss-5.0.0:ksql --kafkas ${KAFKA_ALL} --cluster.id monitor


# start confluent-oss-5.0.0:kafka-connect
echo -e "\n==== bash nix.sh start 192.168.56.101:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.101:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.102:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.102:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor
echo -e "\n==== bash nix.sh start 192.168.56.103:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor" 
                bash nix.sh start 192.168.56.103:8083 confluent-oss-5.0.0:kafka-connect --kafkas ${KAFKA_ALL} --cluster.id monitor

# start postgresql-10.4
echo -e "\n==== bash nix.sh start 192.168.56.101:5432 postgresql-10.4" && bash nix.sh start 192.168.56.101:5432 postgresql-10.4
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 213,864评论 6赞 494
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,175评论 3赞 387
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 159,401评论 0赞 349
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,170评论 1赞 286
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,276评论 6赞 385
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,364评论 1赞 292
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,401评论 3赞 412
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,179评论 0赞 269
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,604评论 1赞 306
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2赞 328
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,751评论 4赞 337
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,380评论 3赞 319
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2赞 365
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2赞 351

推荐阅读更多精彩内容

  • 你追求的稳定，不过是在浪费生命
    D君问我，十三，你不折腾你会死吗？ 我想也没有想就说，会。 D君说，你一个小姑娘干嘛那么拼呢？女孩子嘛，嫁得好就可...
    十三夜阅读 12,030评论 310赞 436
  • 只因我们长大了
    时隔多年，再次翻看空间留言，泪水湿了眼眶。 从2010年开启空间，到如今，第七年。七年间，空间中留下了许许多多暖心...
    十未木阅读 238评论 2赞 0
  • 给自己的第三封信
    2018.5.8 星期二 晴转雨 加入绒布峰针这个行业半年多了这次公司的特种兵培训学习，收获...
    阿静团队阅读 81评论 0赞 0
  • 雾中等待飞行
    早上双流机场T1热闹异常，因为大雾延误的航班比比皆是，携程航班动态也显示我乘坐的航班也延误了，心里早有准备，也就非...
    灰灰2017阅读 358评论 0赞 1