SQL Server 多表数据增量获取和发布 3

程序结构

新建一个窗体应用程序,新增三个类库,实现各个层次责任分离

  • BLL 业务逻辑层
  • Common 公共帮助类层
  • Models 模型层
  • SqlMonitoring SQL监视器程序
image.png

程序设计思路

大概的设计思路是这样的:
1、因为是多表数据增量获取,首先通过配置CDC已经完成多表的捕获配置。
通过CDC实现了数据的捕获,我们需要开一个服务,循环读取捕获表的内容(通过时间戳字段),因为使用时间戳,所以需要对每次的时间进行保存,方便下一次获取数据区间做判断条件。
因此设计一张数据表时间戳记录表,数据结构如下

时间记录表数据结构
主键,架构名,表名称,上次更新时间

image.png
image.png

2、根据时间戳循环读取多表数据,将数据放入队列中。
3、在开启一个服务,循环读取队列里面的数据,为了保证数据有效性,将队列中的数据传送给服务接口的时候还要再本地同时进行备份的保存,只有当数据服务返回正确值得时候,更改日志表的状态位。

日志记录表数据结构
主键,时间节点,序列化数据,状态位

image.png
image.png

重点
如果需要更新状态位,那么需要一个标识位来判断,那么这个标识位是什么。大家可以猜一猜,答案就是UpdateTime字段。
数据库CDC数据捕获的时间精确到毫秒三位,可以保证一般系统数据唯一性,队列中存在当前字段,将当前字段作为标识来更新日志记录表的状态位。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,506评论 19 139
  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,918评论 0 9
  • 功能需求: 子公司统一门户系统已完成开发,安全运行一年。接到通知,总部也开发了一套统一门户,要求各子公司使用总部开...
    HapplyFox阅读 644评论 0 1
  • 秋来,夏花开始凋零,那些散落的芬芳,漫过柔软的心海,很轻…… 校园的银杏树叶,从春的翠绿,到秋的金黄,经历四季的沧...
    呼噜_呢喃阅读 205评论 0 1
  • i:在团队中有一条无形的线链接彼此,有人努力成长,有人偶尔懈怠跟不上大家的步伐,我们需要互相协作,互相提醒,成就别...
    游乐儿阅读 235评论 0 0

友情链接更多精彩内容