今天来聊下Hadoop和HDFS。 1、Hadoop介绍 1.1、Hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统...
投稿
收录了46篇文章 · 2人关注
-
Hadoop,HDFS原理及操作 -
总结：Hive，Hive on Spark和SparkSQL区别
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的H...
-
美团点评 Flink 实时数仓经验分享
转载：原文地址 实时数仓建设目的 解决传统数仓的问题 实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把 PPT 黑色的背景变得更白一...
-
Flink 维表Join/双流Join 方法总结一、背景 事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为...
-
CAP理论简单概况
上一篇 <<<柔性事务和刚性事务(ACID)[https://www.jianshu.com/p/6ccd59dcabf5]下一篇 >>>Bas...
-
Zookeeper概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 特点 Zookeeper：一个领导者（leader）...
-
大数据Map Reduce (Hadoop) 和 MPP数据库 的区别
原理的角度出发,map reduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤. 二分...
-
并发 kinit 导致 kerberos GSS initiate failed 定位与解决
线上任务调度工具执行 Hadoop Hive 相关的任务会偶发任务执行失败的问题，日志报错为 Kerberos 认证失败。查看调度工具的运行逻辑...
-
Linux第9课：FI——华为版hadoop平台Linux第9课：FI——华为版hadoop平台 时间 2019-03-13 下午3：30 主讲杨成林、杨震 地点 四楼电教室 Hadoop自2...
-
Impala 实现在指定位置添加列
今天在数据脱敏的工作中碰到一个需求：将数据仓库中的用户画像的phone字段以及该字段下的数据全部删除 1. 错误示范：impala里面直接删除该...
专题公告
大数据
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1841916/crop1575563677989.jpg', '推荐专题《大数据》（ 分享自 @简书 ）','http://39.103.169.235/c/a6ae63a07f8a?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}