Tungsten Replicator 4 同步数据从mysql同步到mongo

基于https://my.oschina.net/wanglin123/blog/524123这篇文章修改,升级下软件版本

一 规划主机:

192.168.20.146 #mysql主机 (事先安装好,mysql5.7 )
192.168.20.140 #mongodb主机 (事先安装好,mongodb3.4.10)

二 前置条件:(147和140)

1 创建tungsten用户

[root@localhost ~] useradd tungsten
[root@localhost ~] passwd tungsten

2 将tungsten账户添加到 mysql 用户组里

146主机:
[root@localhost ~] sudo usermod -G mysql tungsten
140主机
[root@localhost ~] sudo usermod -G mongod tungsten

3 修改sudoers权限,并且让 tungsten 用户使用 sudo 命令时免密码

[root@localhost ~] chmod 740 /etc/sudoers
[root@localhost ~] vi /etc/sudoers
添加如下一行:
tungsten        ALL=(ALL)       NOPASSWD: ALL

4 切换到 tungsten 用户下

[root@localhost ~] su - tungsten

5 切换到 tungsten 用户后,创建密钥对。默认在/home/tungsten/.ssh 目录下

[tungsten@localhost ~] ssh-keygen -t rsa

6 修改 limit 文件

[tungsten@localhost ~] vi /etc/security/limits.conf

#添加下面一行:
* - nofile 65535

注:这种方式需要重启才能生效,使用如下方式修改ulimit,则可以即时生效:

[tungsten@localhost ~] ulimit -n65535

7 检查修改是否成功

[tungsten@localhost ~] ulimit -n 
65535

8 配置hosts

[tungsten@localhost ~] sudo vi /etc/hosts
127.0.0.1 localhost
192.168.20.140 node2
192.168.20.147 mongo

9 测试主机

[tungsten@localhost ~] uname -n
node2

10 测试ip地址

[tungsten@localhost ~] hostname --ip-address

11 防火墙设置

[tungsten@localhost ~] iptables -A INPUT -i lo -m state --state NEW -j ACCEPT

12 把生成的公钥和私钥拷贝到 tungsten用户的主目录下 。默认就在用户主目录

[tungsten@localhost ~] cp .ssh/id_rsa.pub .ssh/id_rsa /home/tungsten/.ssh
13 把公钥放到 .ssh/authorized_keys文件中,146 的公钥放到 140,140 的公钥放到 146

[tungsten@localhost ~] cat .ssh/id_rsa.pub >> .ssh/authorized_keys

14 修改权限

[tungsten@localhost ~] chmod 700 ~/.ssh
[tungsten@localhost ~] chmod 600 ~/.ssh/*

15 测试主机间ssh

[tungsten@localhost ~] ssh tungsten@node2

16 修改mysql配置,注意,binlog-fomat 必须 是 row 格式的,如果该mysql 是 slave,则需要在 my.cnf 里 加上 log-slave-updates=TRUE,否则,slave 的变化信息都在 relay-relay-bin.0000*.log 文件中

[tungsten@localhost ~] vi /etc/my.cnf

server-id = 128
open_files_limit = 65535
log-bin = mysql-bin
sync_binlog = 1
max_allowed_packet = 52m
default-storage-engine = InnoDB
innodb_flush_log_at_trx_commit = 2
binlog-format = row
binlog-row-image = full

17 登录mysql,创建用于 tungsten 复制的 mysql 用户

[tungsten@localhost ~] /usr/bin/mysql

mysql> grant all privileges on *.* to tungsten_alpha@'%' identified by 'ts' with grant option;
mysql> flush privileges;

三 安装服务:

安装服务之前请先安装ruby环境:

yum install -y ruby rubygems ruby-devel puppet

上面这句shell从官网的PDF里面拷贝出来的直接下载运行的,发现了puppet在这当中有什么用我没发现,大家可以不按照官网手册来,但是要安装ruby的基础环境,这里提供下官网手册地址:

https://docs.continuent.com/tungsten-replicator-4.0.pdf

1 创建 tungsten-replication 软件主目录

[tungsten@localhost ~] sudo mkdir -p /opt/continuent/software
[tungsten@localhost ~] sudo chown -R tungsten /opt/continuent
[tungsten@localhost ~] sudo chmod 700 /opt/continuent

2 把下载好的 tungsten-replicator-oss-4.0.1-123.tar.gz 包上传到 software 目录

[tungsten@localhost ~] cd /opt/continuent/software
[tungsten@node2 software] ll 
[tungsten@node2 software] tungsten-replicator-oss-4.0.1-123.tar.gz
[tungsten@node2 software] tar -zxvf tungsten-replicator-oss-4.0.1-123.tar.gz
[tungsten@node2 software] cd tungsten-replicator-oss-4.0.1-123
[tungsten@node2 tungsten-replicator-oss-4.0.1-123]

146主机(mysql)上:

[tungsten@host1 tungsten-replicator-oss-4.0.1-123] ./tools/tpm install alpha \
    --info \
    --master=192.168.20.140 \
    --datasource-mysql-conf=/etc/my.cnf \
    --enable-heterogenous-master=true \
    --replication-user=tungsten_alpha \
    --replication-password=ts \
    --install-directory=/opt/continuent/alpha \
    --start-and-report

140主机(mongo)上:

[tungsten@mongo tungsten-replicator-oss-4.0.1-123]./tools/tpm install alpha \
    --info \
    --datasource-type=mongodb \
    --master=192.168.20.146 \
    --members=192.168.20.140 \
    --enable-heterogenous-slave=true \
    --topology=master-slave \
    --install-directory=/opt/continuent/alpha \
    --start-and-report

3 如果两个主机的 state 都是 online 说明 两个主机的 tungsten-replicator 都正常运行了,通过下面的命令查看 tungsten 状态

[tungsten@mongo tungsten-replicator-oss-4.0.1-123] /opt/continuent/alpha/tungsten/tungsten-replicator/bin/trepctl status

Processing status command...
NAME                     VALUE
----                     -----
appliedLastEventId     : node2-bin.000008:0000000042692378;-1
appliedLastSeqno       : 8582
appliedLatency         : 0.488
autoRecoveryEnabled    : false
autoRecoveryTotal      : 0
channels               : 1
clusterName            : alpha
currentEventId         : NONE
currentTimeMillis      : 1512541556477
dataServerHost         : 192.168.20.140
extensions             : 
host                   : 192.168.20.140
latestEpochNumber      : 0
masterConnectUri       : thl://192.168.20.146:2112/
masterListenUri        : null
maximumStoredSeqNo     : 8582
minimumStoredSeqNo     : 0
offlineRequests        : NONE
pendingError           : NONE
pendingErrorCode       : NONE
pendingErrorEventId    : NONE
pendingErrorSeqno      : -1
pendingExceptionMessage: NONE
pipelineSource         : thl://192.168.20.146:2112/
relativeLatency        : 42.461
resourcePrecedence     : 99
rmiPort                : 10000
role                   : slave
seqnoType              : java.lang.Long
serviceName            : alpha
serviceType            : local
simpleServiceName      : alpha
siteName               : default
sourceId               : 192.168.20.140
state                  : ONLINE
timeInStateSeconds     : 1211739.234
timezone               : GMT
transitioningTo        : 
uptimeSeconds          : 1211740.107
useSSLConnection       : false
version                : Tungsten Replicator 4.0.1 build 123
Finished status command...

4 上一步我们通过 状态命令可以看到 140 tungsten 默认抓取 mysql 的 tungsten_alpha 库,该库的命名规则是 tungsten_服务名,比如,我们 install 的时候发布的服务名字为 alpha,那么安装完成后,mysql 中会自动创建一个 名称 为 tungsten_alpha的库

5 因为业务需要,我们需要同步自己已有的库,通过下面命令来指定具体的库

[tungsten@mongo tungsten-replicator-oss-4.0.1-123] ./tools/tpm update alpha --dataservice-schema=huobi

注:alpha 是install时指定的 dataservice 名称
6 又因为业务需要,我们可能只同步指定的库的 某些表的数据,非不是全部表,做如下配置:

ON Mysql (146主机上)

[tungsten@node2 tungsten-replicator-oss-4.0.1-123] ./tools/tpm update huobi \
    --repl-svc-extractor-filters=replicate \
    --property=replicator.filter.replicate.do=huobi.table1,huobi.table2,huobi.table3

注:mysql端,即数据抓取端,使用 repl-svc-extractor-filters 过滤器
On Mongo(140主机上)

[tungsten@host2 tungsten-replicator-oss-4.0.1-123] ./tools/tpm update huobi \
    --repl-svc-applier-filters=replicate \
    --property=replicator.filter.replicate.do=huobi.table1,huobi.table2,huobi.table3

注:mongo端,即数据重入端,使用 repl-svc-applier-filters 过滤器
7 关于tungsten 工具的使用可以通过命令查看

[tungsten@node2 tungsten-replicator-oss-4.0.1-123] ./tools/tpm -h

Usage: tpm help [commands,config-file,template-file] [general-options] [command-options]
...........
...........
----------------------------------------------------------------------------------------------------
Commands:
configure                     Update the data service settings in the global configuration
delete-service                Delete a replication service from this host
diag                          Package diagnostic information from the cluster to the current machine
diff                          Output the manual changes that have been made to configuration files.
dump                          Display the 'tpm configure' commands required to recreate the configuration
firewall                      Print firewall information for the listed dataservices
help                          Display a list of all commands available in tpm
install                       Install Tungsten with the current configuration and any options specified at runtime.
mysql                         Open a terminal to the DBMS
promote                       Take a previously prepared directory and make it active.  You should run the prepare command prior to running promote.
query                         Get information about the configuration, topology and version of this directory
reset                         Reset the cluster on each host
reset-thl                     Reset the THL on each host
update
                              Updates an existing installation of Tungsten. If not arguments are specified, the local configuration is used to install. If you specify --user, --hosts and --directory; this command will get the
                              current configuration from each host and continue.
validate                      Validate Tungsten with the current configuration and any options specified at runtime before installing.
validate-update               Validate before updating an existing Tungsten installation

8 在使用tungsten同步数据时,如果因为tungsten-replicator服务挂掉,那么tungsten服务重启的时候回从挂断点的地方继续开始同步。而针对master的tungsten服务,如果想指定binlog的位点,可以如下:

[tungsten@node2 tungsten-replicator-oss-4.0.1-123] ./tungsten-replicator/bin/trepctl offline
[tungsten@node2 tungsten-replicator-oss-4.0.1-123] ./tungsten-replicator/bin/trepctl online -from-event mysql-bin.000006:1029

9 同步成功以后可以看到你的DB下游根据每张表建立的集合,我无法上传图,哈哈,,请原谅下

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,012评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,628评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,653评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,485评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,574评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,590评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,596评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,340评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,794评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,102评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,276评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,940评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,583评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,201评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,441评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,173评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,136评论 2 352

推荐阅读更多精彩内容