databus bootstrap 部署

databus 分为 relay bootstrap-producer(bst-producer) bootstrap-server(bst-server) client，他们之间的关系可以去网上找 这里主要介绍部署这四个工程的方法

1 relay 侦听端口为 11115

1.1 relay.properties

databus.relay.container.httpPort=11115
databus.relay.container.jmx.rmiEnabled=false
databus.relay.eventBuffer.allocationPolicy=DIRECT_MEMORY
databus.relay.eventBuffer.queuePolicy=OVERWRITE_ON_WRITE
databus.relay.eventLogReader.enabled=false
databus.relay.eventLogWriter.enabled=false
databus.relay.schemaRegistry.type=FILE_SYSTEM
databus.relay.eventBuffer.maxSize=1024000000
databus.relay.eventBuffer.readBufferSize=10240
databus.relay.eventBuffer.scnIndexSize=10240000
#databus.relay.physicalSourcesConfigsPattern=conf/sources.json
databus.relay.dataSources.sequenceNumbersHandler.file.scnDir=./maxScn
databus.relay.startDbPuller=true

1.2 start.sh

cd `dirname $0`/..

script_dir=./bin
source $script_dir/setup.inc
source $script_dir/setup-relay.inc

cli_overrides=

# DEFAULT VALUES
relay_type=default
jvm_gc_log=${logs_dir}/relay-gc.log
db_relay_config=

# JVM ARGUMENTS
jvm_direct_memory_size=40g
jvm_direct_memory="-XX:MaxDirectMemorySize=${jvm_direct_memory_size}"
jvm_min_heap_size="1024m"
jvm_min_heap="-Xms${jvm_min_heap_size}"
jvm_max_heap_size="1024m"
jvm_max_heap="-Xmx${jvm_max_heap_size}"

jvm_gc_options="-XX:NewSize=512m -XX:MaxNewSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:SurvivorRatio=6 -XX:MaxTenuringThreshold=7"
jvm_gc_log_option="-XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution "
if [ ! -z "${jvm_gc_log}" ] ; then
  jvm_gc_log_option="${jvm_gc_log_option} -Xloggc:${jvm_gc_log}"
fi

jvm_arg_line="-d64 ${jvm_direct_memory} ${jvm_min_heap} ${jvm_max_heap} ${jvm_gc_options} ${jvm_gc_log_option} -ea"

log4j_file_option="-l ${conf_dir}/relay_log4j.properties"
config_file_option="-p ${conf_dir}/relay.properties"
#source_file_option=-db_relay_config=conf/sources.json

java_arg_line="${config_file_option} ${log4j_file_option}"

if [ ! -z "$cli_overrides" ] ; then
   cli_overrides="-c '$cli_overrides'"
fi

#main_class=com.linkedin.databus.relay.example.PersonRelayServer;
main_class=com.linkedin.databus2.relay.DatabusRelayMain

cmdline="java -cp ${cp} ${jvm_arg_line} ${main_class} ${java_arg_line} $cli_overrides $*"
echo $cmdline
$cmdline 2>&1 > ${relay_out_file} &
echo $! > ${relay_pid_file}

启动

sh start.sh -db_relay_config=conf/sources.json

这个和官方默认提供的 start-example-relay.sh 大部分是一样的 只是把main_cliass改成了DatabusRelayMain 去掉了原来需要启动时 传参的person
然后启动的时候 指定 sources.json
当然 你也可以用原先的 PersonRelayServer 这个类已经把sources-person.json定死了 或者 你也可以在sh文件中定死
比较一下 PersonRelayServer 与 DatabusRelayMain 中的main方法 发现 PersonRelayServer 中就多了一行

cli.setDefaultPhysicalSrcConfigFiles("conf/sources-person.json");

2 bst-producer 侦听端口为 11116

2.1 在mysql中添加相应的数据库

默认的数据库名称为 bootstarp 你可以在配置文件中更改
然后运行 cdsddl.tab 文件 把相应的表数据添加到mysql中

CREATE TABLE bootstrap_sources (
  id int(11) NOT NULL auto_increment,
  src varchar(255) NOT NULL,
  status TINYINT default 1,
  logstartscn bigint(20) default 0,
  PRIMARY KEY  (id),
  UNIQUE KEY src (src)
) ENGINE=InnoDB;

CREATE TABLE bootstrap_loginfo (
  srcid int(11) NOT NULL,
  logid int(11) NOT NULL default 0,
  minwindowscn bigint(20) NOT NULL default -1,
  maxwindowscn bigint(20) NOT NULL default -1,
  maxrid bigint(20) NOT NULL default 0,
  deleted TINYINT default 0,
  PRIMARY KEY (srcid, logid)
) ENGINE=InnoDB;

CREATE TABLE bootstrap_producer_state (
  srcid int(11) NOT NULL,
  logid int(11) NOT NULL default 0,
  windowscn bigint(20) NOT NULL default 0,
  rid bigint(20) NOT NULL default 0,
  PRIMARY KEY  (srcid)
) ENGINE=InnoDB;

CREATE TABLE bootstrap_applier_state (
  srcid int(11) NOT NULL,
  logid int(11) NOT NULL default 0,
  windowscn bigint(20) NOT NULL default 0,
  rid bigint(20) NOT NULL default 0,
  PRIMARY KEY  (srcid)
) ENGINE=InnoDB;

CREATE TABLE bootstrap_seeder_state (
  srcid int(11) NOT NULL,
  startscn bigint(20) NOT NULL default -1,
  endscn bigint(20) NOT NULL default -1,
  rid bigint(20) NOT NULL default 0,
  srckey varchar(255) NOT NULL,
  PRIMARY KEY  (srcid)
) ENGINE=InnoDB;


CREATE TABLE bootstrap_tab_minscn (
  srcid int(11) NOT NULL,
  minscn bigint(20) NOT NULL default -1,
  PRIMARY KEY  (srcid)
) ENGINE=InnoDB;

2.2 databus-bst-producer.properties

databus.bootstrap.bootstrapDBHostname=your_mysql_host
databus.bootstrap.bootstrapDBUsername=your_mysql_username
databus.bootstrap.bootstrapDBPassword=your_mysql_password
#databus.bootstrap.bootstrapDBName=dbbus
databus.bootstrap.bootstrapLogSize=1024000
databus.bootstrap.client.container.httpPort=11116
databus.bootstrap.client.container.jmx.rmiEnabled=false
databus.bootstrap.client.connectionDefaults.pullerRetries.initSleep=50
databus.bootstrap.client.connectionDefaults.pullerRetries.maxSleep=60000
databus.bootstrap.client.connectionDefaults.pullerRetries.maxRetryNum=-1
databus.bootstrap.client.connectionDefaults.dispatcherRetries.initSleep=0
databus.bootstrap.client.connectionDefaults.dispatcherRetries.maxSleep=60000
databus.bootstrap.client.connectionDefaults.dispatcherRetries.maxRetryNum=-1
databus.bootstrap.client.connectionDefaults.eventBuffer.maxSize=10240000
databus.bootstrap.client.connectionDefaults.eventBuffer.readBufferSize=1024000
databus.bootstrap.client.connectionDefaults.eventBuffer.scnIndexSize=128
databus.bootstrap.client.connectionDefaults.eventBuffer.allocationPolicy=HEAP_MEMORY
databus.bootstrap.client.checkpointPersistence.fileSystem.rootDirectory=var/checkpoints
#这个为relay侦听的ip与端口
databus.bootstrap.client.runtime.relay(1).host=127.0.0.1
databus.bootstrap.client.runtime.relay(1).port=11115
databus.bootstrap.client.runtime.relay(1).sources=com.linkedin.events.example.person.Person

2.3 start-bst-producer.sh

用默认的 start-bst-producer.sh 即可

3 bst-server 侦听端口为11117

3.1 databus-bst-server.properties

#这里的mysql地址应该与bst-producer中一致
databus.bootstrap.db.bootstrapDBHostname=your_mysql_host
databus.bootstrap.db.bootstrapDBUsername=your_mysql_username
databus.bootstrap.db.bootstrapDBPassword=your_mysql_password
#databus.bootstrap.db.bootstrapDBName=dbbus
databus.bootstrap.db.bootstrapLogSize=1024000
databus.bootstrap.db.bootstrapBatchSize=1000
databus.bootstrap.db.container.httpPort=11117
databus.bootstrap.db.container.jmx.rmiEnabled=false
databus.bootstrap.defaultRowsThresholdForSnapshotBypass=-1
databus.bootstrap.enableMinScnCheck=false

3.2 start-bst-server.sh

用官方提供的默认 start-bst-server.sh 即可

4 client 侦听端口为11118

4.1 client.properties

databus.client.container.httpPort=11118
databus.relay.container.jmx.rmiEnabled=false
databus.relay.eventBuffer.allocationPolicy=DIRECT_MEMORY
databus.relay.eventBuffer.queuePolicy=BLOCK_ON_WRITE
databus.relay.schemaRegistry.type=FILE_SYSTEM
databus.relay.eventBuffer.maxSize=10240000
databus.relay.eventBuffer.readBufferSize=1024000
databus.relay.eventBuffer.scnIndexSize=1024000
databus.client.connectionDefaults.pullerRetries.initSleep=1
databus.client.checkpointPersistence.fileSystem.rootDirectory=./client-checkpoints
databus.client.checkpointPersistence.clearBeforeUse=false
databus.client.connectionDefaults.enablePullerMessageQueueLogging=false
#以下为relay的ip和端口
databus.client.runtime.relay(1).host=127.0.0.1
databus.client.runtime.relay(1).port=11115
databus.client.runtime.relay(1).sources=com.linkedin.events.example.person.Person
#以下为bst-server的ip和端口
databus.client.runtime.bootstrap.enabled=true
databus.client.runtime.bootstrap.service(1).host=127.0.0.1
databus.client.runtime.bootstrap.service(1).port=11117
databus.client.runtime.bootstrap.service(1).sources=com.linkedin.events.example.person.Person

4.2 启动类 ClientMain.java

public class ClientMain {
    public static void main(String[] args) throws Exception {
        Properties startupProps = ServerContainer.processCommandLineArgs(args);
        ConfigLoader<DatabusHttpClientImpl.StaticConfig> configLoader = new ConfigLoader<DatabusHttpClientImpl.StaticConfig>(
                "databus.client.", new DatabusHttpClientImpl.Config());
        DatabusHttpClientImpl.StaticConfig clientConfig = configLoader.loadConfig(startupProps);
        DatabusHttpClientImpl client = new DatabusHttpClientImpl(clientConfig);
        PersonConsumer personConsumer = new PersonConsumer();
        client.registerDatabusStreamListener(personConsumer, null, PersonClientMain.PERSON_SOURCE,
                PersonClientMain.ANIMAL_SOURCE);
        client.registerDatabusBootstrapListener(personConsumer, null, PersonClientMain.PERSON_SOURCE,
                PersonClientMain.ANIMAL_SOURCE);
        client.startAndBlock();
    }
}

4.3 start.sh


cd `dirname $0`/..


script_dir=./bin
source $script_dir/setup.inc
source $script_dir/setup-client.inc

cli_overrides=

# DEFAULT VALUES
client_type=default
jvm_gc_log=${logs_dir}/client-gc.log

# JVM ARGUMENTS
jvm_direct_memory_size=40g
jvm_direct_memory="-XX:MaxDirectMemorySize=${jvm_direct_memory_size}"
jvm_min_heap_size="1024m"
jvm_min_heap="-Xms${jvm_min_heap_size}"
jvm_max_heap_size="1024m"
jvm_max_heap="-Xmx${jvm_max_heap_size}"

jvm_gc_options="-XX:NewSize=512m -XX:MaxNewSize=512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:SurvivorRatio=6 -XX:MaxTenuringThreshold=7"
jvm_gc_log_option="-XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution "
if [ ! -z "${jvm_gc_log}" ] ; then
  jvm_gc_log_option="${jvm_gc_log_option} -Xloggc:${jvm_gc_log}"
fi

jvm_arg_line="-d64 ${jvm_direct_memory} ${jvm_min_heap} ${jvm_max_heap} ${jvm_gc_options} ${jvm_gc_log_option} -ea"

log4j_file_option="-l ${conf_dir}/client_log4j.properties"
config_file_option="-p ${conf_dir}/client.properties"

java_arg_line="${config_file_option} ${log4j_file_option}"

if [ ! -z "$cli_overrides" ] ; then
   cli_overrides="-c '$cli_overrides'"
fi


#main_class=com.linkedin.databus.client.example.PersonClientMain;
main_class=com.linkedin.databus.client.example.ClientMain;


cmdline="java -cp ${cp} ${jvm_arg_line} ${main_class} ${java_arg_line} $cli_overrides $*"
echo $cmdline
$cmdline 2>&1 > ${client_out_file} &
echo $! > ${client_pid_file}

与老的 start-example-client.sh 相比 也只是把 main_class 改了 同时删除了启动是所需传的person 参数

5 相应的 setup-xxx.inc stop-xxxx.sh 文件也最好改一下

如
setup-client.inc

var_dir=${script_dir}/../var

if [ ! -d ${var_dir} ] ; then
  mkdir -p ${var_dir}
fi

client_pid_file=${var_dir}/databus2-client.pid
client_out_file=${logs_dir}/databus2-client.out

setup-relay.inc

var_dir=${script_dir}/../var

if [ ! -d ${var_dir} ] ; then
  mkdir -p ${var_dir}
fi

relay_pid_file=${var_dir}/databus2-relay.pid
relay_out_file=${logs_dir}/databus2-relay.out
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,456评论 5赞 477
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,370评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,337评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,583评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,596评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,572评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,936评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,595评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,850评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,371评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,951评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2赞 342

推荐阅读更多精彩内容

  • Spring Cloud
    Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具（例如配置管理，服务发现，断路器，智...
    卡卡罗2017阅读 134,585评论 18赞 139
  • Kafka 详解（转）
    一、入门1、简介Kafka is a distributed,partitioned,replicated com...
    HxLiang阅读 3,340评论 0赞 9
  • Kafka入门经典教程
    Kafka入门经典教程-Kafka-about云开发 http://www.aboutyun.com/threa...
    葡萄喃喃呓语阅读 10,798评论 4赞 54
  • kafka学习——Introduction&QuickStart
    ** 今天看了一下kafka官网，尝试着在自己电脑上安装和配置，然后学一下官方document。** Introd...
    RainChang阅读 4,986评论 1赞 30
  • Kafka入门经典教程
    一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独...
    ITsupuerlady阅读 1,612评论 0赞 9