linkedin 的 databus 部署

1. 下载源码 复制 ojdbc.jar 到相应的文件夹

git clone  https://github.com/linkedin/databus/   
sandbox-repo/com/oracle/ojdbc6/11.2.0.2.0/ojdbc6-11.2.0.2.0.jar

2. 在 subprojects.gradle 中 加上

options.addStringOption('encoding', 'UTF-8')

最后的结果为

if (JavaVersion.current().isJava8Compatible()) {
    allprojects {
        tasks.withType(Javadoc) {
            options.addStringOption('Xdoclint:none', '-quiet')
            options.addStringOption('encoding', 'UTF-8')
        }
    }
}

3. 在 build.gradle 中加上

tasks.withType(JavaCompile) { options.encoding = "UTF-8" }

4. 在 com.linkedin.databus2.core.container.netty.ServerContainer 的 initializeContainerJmx() 方法中加上一句

LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort());

最后的结果为 (不然会报 Cannot bind to URL rmi://localhost:1099 ServiceUnavailableException )

protected void initializeContainerJmx() {
    if (_containerStaticConfig.getJmx().isRmiEnabled()) {
        try {
            JMXServiceURL jmxServiceUrl = new JMXServiceURL(
                    "service:jmx:rmi://" + _containerStaticConfig.getJmx().getJmxServiceHost() + ":"
                            + _containerStaticConfig.getJmx().getJmxServicePort() + "/jndi/rmi://"
                            + _containerStaticConfig.getJmx().getRmiRegistryHost() + ":"
                            + _containerStaticConfig.getJmx().getRmiRegistryPort() + "/jmxrmi"
                            + _containerStaticConfig.getJmx().getJmxServicePort());
          LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort());
            _jmxConnServer = JMXConnectorServerFactory.newJMXConnectorServer(jmxServiceUrl, null, getMbeanServer());
        } catch (Exception e) {
            LOG.warn("Unable to instantiate JMX server", e);
        }
    }
}

5. 修改 databus2-example-client-pkg/conf/client_person.properties (非必须)

databus.client.connectionDefaults.enablePullerMessageQueueLogging=false

不然 databus2-example-client-pkg 中的 databus2-client-person.out 日志文件会快速增长

6. 修改 oracle/bin/createUser.sh

sqlplus system/manager\@${DBNAME} as sysdba << __EOF__

改为自己的oracle管理员 用户名 密码
system为管理员用户名 manager为密码

7. 修改 databus2-example/database/person/tablespace (不改也没关系 下面的要一致 我是改成了 tbs_dbbus)

8. 修改 sources-person.json 改为

{
    "name": "person",
    "id": 1,
    "uri": "jdbc:oracle:thin:dbbus/dbbus@localhost:1521:orcl",
    "slowSourceQueryThreshold": 2000,
    "sources": [
        {
            "id": 101,
            "name": "com.linkedin.events.example.person.Person",
            "uri": "dbbus.person",
            "partitionFunction": "constant:1"
        }
    ]
}

9. 打包命令

gradle -Dopen_source=true assemble

生成的工程在 父项目的 build 目录下 (这一点gradle和maven不一样的 )

10. 运行 createUser.sh 新建oracle 用户 dbbus/dbbus 这里的 db_table_space 要与 第8步骤中 databus2-example/database/person/tablespace 里面内容一致

db_path 存放 oracle .dbf 文件的地方 如果不知道 find / -name '.dbf' 就可以找到路径了 乱写应该问题也不大(我没试过)

#createUser.sh db_username db_password db_id db_table_space db_path
sh createUser.sh dbbus dbbus orcl tbs_dbbus /home/u02/11g/dbs/

11.运行 createSchema.sh 在oracle中生成必要的 package table seq tigger Procedure 等

#createSchema.sh db_username/db_password@db_id tab_and_view_path
sh createSchema.sh dbbus/dbbus@orcl /home/yiwu/databus/databus2-example/database/person/

12. 生成 apache-avro 序列化文件

  • 如 com.linkedin.events.example.person.Person.1.avsc com.linkedin.events.example.person.Person_V1.java
  • 这步可以省略 官方的例子已经给你生成好了
  • avroOutDir javaOutDir 自定义 不需要太准确 生成好之后 拷贝到相应的目录就可以了
#create Avro records
sh dbus2-avro-schema-gen.sh -namespace com.linkedin.events.example.person -recordName Person -viewName "sy\$person" -avroOutDir /home/yiwu/dbtmp -avroOutVersion 1 -javaOutDir /home/yiwu/dbtmp -userName dbbus -password dbbus -database jdbc:oracle:thin:@127.0.0.1:1521:orcl

13. 运行 relay

#解压 
tar -zxvf build/databus2-example-relay-pkg/distributions/databus2-example-relay-pkg-2.0.0.tar.gz
#运行 
sh start-example-relay.sh person

14. 运行 client

#解压 
tar -zxvf build/databus2-example-client-pkg/distributions/databus2-example-client-pkg-2.0.0.tar.gz
#运行 
sh start-example-client.sh person 

15. 在oracle中执行insert语句

INSERT INTO person(id,first_name, last_name) VALUES(1,'balaji', 'varadaran');

就可以在 build/databus2-example-client-pkg/distributions/logs/client.log 中看到相应的记录了

2017-08-24 14:46:46,795 +752167 [callback-1] (INFO) {PersonConsumer} firstName: balaji, lastName: varadaran, birthDate: null, deleted: false

end

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容