大数据中台“基金营销大数据平台”包含的功能模块有:数据开发,任务调度,指标中心,数据服务,数据源,标签管理,用户权限系统,数据权限中心功能
负责测试内容,
1.测试数据中台系统所用的功能
1.API接口测试(离线数据同步hbase,数据推送,API接口有两种方式1.通过ES查询,2.是直接调用HABSE表查询,校验API出参数据逻辑,配置自动化用例,Jmeter压测API接口),
2.任务调度测试(参数配置,定时任务,任务管理新建调度任务,设置调度任务,任务监控管理等等),
3.数据开发测试(新建离线作业,实时作业,数据同步等),数据服务(新建API接口,上线下线API,绑定发布API接口,监控API调用日志等),
4.实时数据流测试,测试Kafka数据实时推送,检查数据的时效,和根据实时流作业,检查推送的数据逻辑是否正确,检查hive对应的hbase映射表的数据
5. 测试基金货币和非货币的持仓收益(计算平均成本,累计收益,昨日收益,持仓收益,持仓收益率,持仓成本等等),区间盈亏接口宝类或非宝类(核算期初资产,期末资产,总收益,期初累计成本,期末累计成本等等)
6数据处理流程:
读取原系统的文件—》加载到外部表—》经过离线作业的处理写到内部表—》TA标准层对数据通过离线作业建简单的数据处理(ODS)---》PMD离线做作业处理数据—》PUB层离线作业处理数据
数据通过PUB的处理以后,可以拿出来再进一步加工:1.做成指标数据,2.做成报表,3.做成API的接口,4.做成标签数据等等
7.稽核规则配置,新增稽核规则,测试稽核规则,配置稽核规则任务
使用过的数据工具:hive,impala, DBeaver,navicat,hbase
接口工具:jmeter, loadrunner,Postman,EOLINKER测试API接口