240 发简信
IP属地:黑龙江
  • 快速上手 | Datavines 两表值比对规则用法

    Datavines 是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用...

  • 教程 | Datavines 自定义数据质量检查规则(Metric)

    Metric 是 Datavines 中一个核心概念,一个 Metric 表示一个数据质量检查规则,比如空值检查和表行数检查都是一个规则。Met...

  • Resize,w 360,h 240
    一站式数据可观测性平台 Datavines 正式开源啦

    Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户...

  • Resize,w 360,h 240
    数据可观测性-架构设计

    整体架构 Datavines [github][https://github.com/datavane/datavines] 是一个数据可观测性...

  • 数据可观测性-功能设计

    数据目录管理 数据源管理 查看、创建、编辑、删除 元数据获取手动执行定时执行 数据源类型管理 创建数据源类型时需要添加类型的元数据模型定义,模型...

  • 数据可观测性,下一个数据工程前沿

    概述 随着越来越多的数据在企业中被复制和移动,数据管道成为了数据的高速公路。数据管道的有效性和可靠性将愈发的重要。数据的可观测性侧重于管理数据的...

  • SparkSteaming运行流程分析以及CheckPoint操作

    本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作 注:下面源码只贴出...

  • Resize,w 360,h 240
    【翻译】Spark Streaming 管理 Kafka Offsets 的方式探讨

    Cloudera Engineering Blog 翻译:Offset Management For Apache Kafka With Apa...

  • HashSet和CopyOnWriteArraySet

    前言 这篇文章的目的如下: HashSet是如何保证元素的不重复和无序 HashSet的增删(改查?)原理 CopyOnWriteArraySe...

个人介绍
专注于大数据平台化、数据可观测性和数据可视化