tapdata实时数据同步
1. 概述
Tapdata 是一款基于DaaS架构,专注于面向 OLTP 业务提供数据服务的企业级实时数据服务平台,通过对异构数据库实时同步,打通企业数据孤岛,统一管理企业数据
最早了解到唐建法老师，是因为当时在极客时间购买了MongoDB专栏课程，后得知出来创业成立Tapdata。tapdata于最近推出了Tapdata Cloud和Tapdata Enterprise两款产品进行公测，产品主打面向企业级异构数据库同步统一管理平台。tapdata cloud为云服务，tapdata Enterprise则为企业版离线部署。其支持MongoDB、MySQL、Oracle、SQL Server、DB2、ES、kafka等企业主流数据库，能够极大的简化企业内部数据同步的工作，提升整体效率。项目地址
Tapdata Cloud 适用以下场景：
- 异构数据库实时同步
- 异地容灾
- 数据汇聚(例如各省数据统一汇聚到全国数据中心)
- 数据库上云迁移
2. tapdata cloud体验
在创建账号之后，我们就能针对Tapdata Cloud产品进行体验。
安装agent
agent可以看做复制实例，用于管理同步程序运行。agent支持windows，linux，docker三种安装方式，具体可参考其教程
创建完成后，会出现一个正在运行的agent
创建数据库endpoint
agent安装好之后，就开始配置源端和目标端数据库链接配置。我们这里选择MySQL作为源端，PostgreSQL作为目标端
数据库先决条件和用户权限可参考：MySQL权限开放
创建同步任务
在前期配置都完成后，就正式开始配置同步任务了。第一步先选择源端和目标端的endpoint
第二步对同步进行一些配置，例如：同步类型(全量、增量、全量+增量)、全量写入模式，每次扫描行数等
第三步选择同步对象，并支持对对象名进行转换，列映射
当所有配置都完成后，就可以启动任务了
启动完成后，可以通过监控查看任务运行过程中的状态，日志信息，同步指标等。
查看postgresql数据完全一致，并且新增的数据也能够快速完成同步
tcpdata的初体验就到这了，朋友们可以自行体验更多不同类型数据库之间的异构同步。
3. 潜在问题以及发展趋势
经过个人测试，目前发现Tapdata存在以下不足的地方，如有错误还请指出。
- 同步任务不支持添加同步对象，针对新增的同步对象需求只能通过新增任务
- 部分DDL不支持同步
- 单个对象同步发生错误时，无法单独重新加载表，需要重置整个任务
- 任务监控相对简单，缺乏同步延迟指标，操作数量统计等信息
现代互联网用户发展迅速，数据量日益增长，基础架构中包含OLAP，OLTP等场景的数据库，海量数据如何支撑业务决策，提升服务效率成了企业技术发展目标。随着数据中台，数据加工，数据挖掘，BI报表等新业务态对数据的依赖急需要一套简单，快速，准确的数据同步平台，而Tapdata正是这一方向的进击者，让我们拭目以待。
