哎,这两天又在搞数据,之前的底层表没法用,只好自己同步一下,同步完之后,发现两边的数据不一致,找来找去,发现是增量数据的问题,业务系统里没有对所有的记录的时间字段进行更新,经常手动update数据,而且update_time还没更新。
所以吧,我得监控一下这个数据质量,打算用python来写,记录下遇到的小问题。
ModuleNotFoundError: No module named 'MySQLdb'
服务器上的anaconda是新安装的,默认貌似没有这个mysql的驱动,就配置下
conda install mysqlclient
python3的话,是安装这个
ModuleNotFoundError: No module named 'cx_Oracle'
Oracle驱动包没有,同样安装一下
conda install cx_Oracle
Python代码写完了,目前是满足基本需求,后面分享下大概思路
1.每天定时执行脚本
2.查询业务库的表数据
3.查询ODS库的表数据
4.匹配差异
5.调用企业微信接口发送消息
目前主要对比下订单表,用户表,其他后续应该还会有增加,代码持续优化下。
愈发的感觉到一个好用的调度工具,太重要了,有点儿怀念DataWorks了