网易严选数据中台的经验和方法论

作者:魏文庆,网易严选数据技术及产品部总监

image.png

image.png

从供应侧保障数据的完整性和质量:夸父-埋点管理系统提供了埋点的管理、埋点流程协同和埋点测试,提供了埋点日志的scheme,保障了埋点数据质量。精卫-数据填报系统提供数据导入数仓及导入时的验证功能,提升数据的完整性。从需求侧提升数据(指标)的一致性:仓颉-指标管理系统,在提供指标统一管理的同时,提供了指标定义规范的约束。燧人-指标地图是提供给业务方查看当前的指标分类与指标定义。数仓开发的质量与效率:北斗-数仓设计管理系统将数仓开发的经验知识化、标准化、工具化。数据质量中心提供全链路的数据保障体系,提供任务监控、数据监控、应用监控、影响范围评估和恢复的支撑。

统一查询服务已经接入了67个应用、670个模型、每天有300w的调用。

场景建设

数据质量体系
统一查询服务是数据体系和数据应用系统之间的总网关,需要提供模型级限流、熔断等网关功能。

可视化
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文从概念和理论上进行整理学习 数据中台是什么 主流概念上讲 数据中台是指通过数据技术,对海量数据进行采集、计算、...
    李小李的路阅读 3,378评论 0 31
  • 这里书中所说即战力:即使在一个完全陌生的环境,也能够冷静地透视环境的条件,并作出正确的判断和决策 前二章1、21世...
    小透明_png阅读 633评论 3 5
  • 2008年,高一, 刚刚步入高中的第一堂课是自我介绍,你穿着一件土里土气的外套坐在教室最后一排。 “大家好,我叫陈...
    想给你写一封信阅读 671评论 2 17
  • 常常会有人问到: 1=C 是什么意思啊?其实,就是表示这首曲目是C调的意思,那么,怎么才能记住和知道一首歌是什么调...
    吉他范儿阅读 2,393评论 0 0