Source:RDS MySQL 5.7.26, db.r4.2xlarge,1TB GP2
Target: Aurora 2.04.6 (5.7), db.r5.2xlarge
DMS实例: dms.r4.large
测试数据:https://github.com/mengchengtech/tidb-tpcds-kit
120GB,9.4亿条记录
2. DMS配置
· 创建复制实例
· 创建源终端节点
· 创建目标终端节点
· 创建迁移任务
迁移类型可以选择 单次数据迁移,或者 持续复制。
建议选上 日志 和验证。
指定架构的名字(即数据库名)
· 源库各表记录数:
table_nametable_rowsdata_length
inventory 385,317,579 18,937,282,560
store_sales 288,715,407 42,948,411,392
catalog_sales 130,677,583 29,370,335,232
web_sales 72,671,970 15,679,062,016
store_returns 36,079,933 5,809,930,240
catalog_returns 16,721,880 3,941,384,192
web_returns 7,409,714 1,850,638,336
customer 1,922,237 456,081,408
customer_demographics 1,911,871 149,585,920
customer_address 988,383 171,638,784
item 196,475 113,917,952
time_dim 85,888 11,026,432
date_dim 72,540 11,026,432
catalog_page 20,300
3,686,400
household_demographics 7,311 425,984
web_page 2,020 344,064
promotion 1,000 229,376
store 402 163,840
reason 55 16,384
call_center 30 16,384
web_site 24 16,384
income_band 20 16,384
ship_mode 20 16,384
warehouse 15 16,384
· 启动DMS任务:
37分钟 之后
1小时以后
DMS实例指标
Aurora指标
1.5小时之后
2小时之后
· 测试CDC任务:
insert intowarehouse
values
('16','AAAAAAAAPAAAAAAA', 'Please central m', '418158', '779', 'Ash Center', 'Ct.','Suite H', 'Centerville', 'Walker County', 'AL', '30059', 'United States','-6.00');
deletefrom warehouse
wherew_warehouse_sk = '16';
updatewarehouse
setw_warehouse_id='AAAAAAAAWAAAAAAA'
wherew_warehouse_sk = '15';
altertable warehouse
addcolumn (testcolumn varchar(255) default '');
· 总体速度 60GB/小时
· 个别大表会影响整体速度,比如上述测试中,半小时后只剩下4张表,一小时后只剩下2张表。
· 如果需要加快整体速度,可以把大表分块进行。
· CDC需要启用binlog ROW格式,可以支持DML和DDL。