后端产品功能中,定时数据处理是比较常见功能,通常应用到复杂数据处理或异步数据同步等场景中。
一般处理数据分为以下几个步骤:
1、定时任务获取数据:通过脚本定时执行数据同步或处理逻辑,或可通过手工方式触发执行任务。定时任务在后端产品设计中是很常用的,通常就是建立起一个脚本,然后将之布置到定时任务管理系统上,按一定频率到数据生产方查询满足条件的数据,并进行数据推送或者拉取操作。
2、数应用异步执行:在定时任务获取数据后还要在本地进行规则运算或数据处理,那么最好先落地到本地的中转表中,再由中转表写入最终表或参与运算,也就是将数据的获取和应用异步进行。
3、数据判断机制:获取到数据后需要进行判断是否重复、或是否有效的数据,避免产生了垃圾数据。
4、日志记录:记录日志目的是为了追溯问题,从数据同步到执行应用、到判重处理,尽可能记录每一步详细的日志,避免出现问题时无从定位处理,造成严重的不可挽回的后果。