shuffle及Spark shuffle历史简介 shuffle,中文意译“洗牌”,是所有采用map-reduce思想的大数据计算框架的必经阶段,也是最重要的阶段。它处在m...
作为IT从业者,今天看到这边篇文章,自己的想法还是挺多的,转载过来保存一下,方便自己后期阅读吧。 美团数据仓库,在过去的两年中,与我们的业务一起高速发展。在这一演进过程中,有...
用户画像建模 用户唯一标识:用户名,手机号,邮箱 用户画像用户标签:性别、年龄、收入、职业、学历等消费标签:消费习惯、购买意向、价格敏感等行为标签:时间段、频次、时长、访问路...
暂时定义为数仓的质量管理,完全可以定义为数据中台的质量管理 数据质量的理解 数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须...