上一篇 给初心者的数据仓库元数据系统开发指南 主要是描述了元数据的基本概念和典型需求。实际的开发和使用中，还有个基本问题容易被混淆，关于元数据的产品形态。 元数据门户 这是最...
IP属地：浙江
-
元数据系统的产品形态
-
给初心者的数据仓库元数据系统开发指南加过一些数据开发的社群，经常会有人问元数据系统怎么开发，大概网上很难搜到相关的好文章。 什么是元数据 首先，元数据的概念，通常解释为数据的数据，这个太难看懂了，需要换个角度解...
-
掌控数据仓库开发的主动权
今天团队在讨论过去一段时间的问题，有提到这么一个观点：作为数据仓库工程师，被动接了很多需求，数据的业务价值不明显。 互联网公司的业务变化快，经常会有产品上线或旧业务变更，这是...
-
如果是orc格式，用presto执行这些简单查询，其实就是读取文件的元数据。如果直接基于orc或parquet元数据，实现成本还是有点高的
Hive表数据质量校验的设计与开发
一张Hive计算完成后，开发者会希望知道计算结果是否符合预期，比如是否有脏数据，是否数据量符合预期。这里就有两个问题，一个是校验什么，另一个是怎么校验。 校验什么 单个字段校...
-
Hive表结构实时同步到元数据系统
数据仓库的元数据系统需要实时获取最新的Hive表结构，比如用户新建了一张表或新加一个字段，希望能马上在元数据系统里查询到。 实时获取数据，无非是Push或Pull两种模式。考...
-
Hive表数据质量校验的设计与开发
一张Hive计算完成后，开发者会希望知道计算结果是否符合预期，比如是否有脏数据，是否数据量符合预期。这里就有两个问题，一个是校验什么，另一个是怎么校验。 校验什么 单个字段校...
-
-
数据仓库敏感字段自动识别
敏感字段标注问题 数据仓库里，多多少少会有一些敏感字段，比如用户手机号、通信地址，一旦泄露危害很大。而数据仓库需要尽可能方便让用户使用，同时又要保护敏感字段不能随意访问，一方...
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
