利用AWS DMS迁移AWS RDS到Auroa测试报告

1.    测试环境:

Source:RDS MySQL 5.7.26, db.r4.2xlarge,1TB GP2

Target:  Aurora 2.04.6 (5.7), db.r5.2xlarge

DMS实例: dms.r4.large

测试数据:https://github.com/mengchengtech/tidb-tpcds-kit

      120GB,9.4亿条记录

2.    DMS配置

·       创建复制实例

·       创建源终端节点


·       创建目标终端节点


·       创建迁移任务

迁移类型可以选择 单次数据迁移,或者 持续复制。


建议选上 日志 和验证。


指定架构的名字(即数据库名)




3.    开始复制数据

·       源库各表记录数:


table_nametable_rowsdata_length

inventory        385,317,579        18,937,282,560

store_sales        288,715,407        42,948,411,392

catalog_sales        130,677,583        29,370,335,232

web_sales          72,671,970        15,679,062,016

store_returns          36,079,933          5,809,930,240

catalog_returns          16,721,880          3,941,384,192

web_returns            7,409,714          1,850,638,336

customer            1,922,237             456,081,408

customer_demographics            1,911,871             149,585,920

customer_address               988,383             171,638,784

item               196,475             113,917,952

time_dim                  85,888                11,026,432

date_dim                  72,540                11,026,432

catalog_page                  20,300                 

  3,686,400

household_demographics                    7,311                     425,984

web_page                    2,020         344,064

promotion                    1,000           229,376

store                       402           163,840

reason                       55  16,384

call_center            30  16,384

web_site             24  16,384

income_band             20  16,384

ship_mode              20  16,384

warehouse                      15 16,384


·       启动DMS任务:


37分钟 之后




1小时以后




DMS实例指标


Aurora指标



1.5小时之后



2小时之后



·       测试CDC任务:

insert intowarehouse

values

('16','AAAAAAAAPAAAAAAA', 'Please central m', '418158', '779', 'Ash Center', 'Ct.','Suite H', 'Centerville', 'Walker County', 'AL', '30059', 'United States','-6.00');


deletefrom warehouse

wherew_warehouse_sk = '16';


updatewarehouse

setw_warehouse_id='AAAAAAAAWAAAAAAA'

wherew_warehouse_sk = '15';


altertable warehouse

addcolumn (testcolumn varchar(255) default '');


4.    结论

·       总体速度 60GB/小时

·       个别大表会影响整体速度,比如上述测试中,半小时后只剩下4张表,一小时后只剩下2张表。

·       如果需要加快整体速度,可以把大表分块进行。

·       CDC需要启用binlog ROW格式,可以支持DML和DDL。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容