数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、...
投稿
收录了9篇文章 · 3人关注
-
美团酒旅数据治理实践
-
用户画像4：标签数据开发标签数据开发是用户画像体系中最重要的一环，主要包括离线标签开发、实时标签开发、用户特征库开发、人群计算、打通数据服务层等开发内容。 一、统计类标...
-
Flink Sql on Hive 的生产遇到的坑以及优化（持续更新 ...）
1、HiveSource-xxxx.xxxx's parallelism (200) is higher than the max parall...
-
hive数据倾斜及处理
火山日常啰嗦学习了一些大数据的相关框架后，发现应用层的东西确实不难，真正难的都是底层原理，所以我查看了很多资料，借鉴了前人的方法再加上自己的理解...
-
Flink如何管理Kafka 消费位点(译文)Checkpointing 是 Flink 故障恢复的内部机制。一个 checkpoint 就是 Flink应用程序产生的状态的一个副本。如果 ...
-
基于spark的用户画像项目实战转自千峰王溯老师 1、用户画像项目简介 1.1 什么是用户画像 所谓的用户画像就是给用户贴一些标签，通过标签说明用户是一个什么样的人。 具体来说...
-
数据治理笔记基本概念 数据(Data) 数据是我们通过观察、实验或计算得出的结果。数据有很多钟，最简单的是数字，数据也可以是文字、图像、声音等。 企业内各类...
-
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓...
-
Pandas 中文API文档
Pandas官方文档 缩写和包导入 在这个速查手册中，我们使用如下缩写： df：任意的Pandas DataFrame对象s：任意的Pandas...
-
Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN
Spark SQL, DataFrames and Datasets Guide Overview SQL Datasets and DataF...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1864914/Desert.jpg', '推荐专题《大数据》（ 分享自 @简书 ）','http://39.103.169.235/c/21dfa5ff19c7?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}