vim /etc/sudoers 添加sudo权限 adduser 添加用户passwd 修改密码 sudo vim /etc/sysconfig/network 修改名...
vim /etc/sudoers 添加sudo权限 adduser 添加用户passwd 修改密码 sudo vim /etc/sysconfig/network 修改名...
系统架构图 从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、M...
Hive倾斜之group by聚合倾斜 原因: 分组的维度过少,每个维度的值过多,导致处理某值的reduce耗时很久; 对一些类型统计的时候某种类型的数据量特别多,其他的数据...
背景 在spark程序中,当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时,Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变...
1. 避免重复创建RDD 通常来说,我们在开发一个Spark作业时,首先是基于某个数据源(比如Hive表或HDFS文件)创建一个初始的RDD;接着对这个RDD执行某个算子操作...
什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可...
spark中基本概念 Application:表示你的应用程序 Driver:表示main()函数,创建SparkContext。由SparkContext负责与Cluste...
1.准备应用https://share.weiyun.com/5beYAw4密码:nFO82.将下载的zip解压,在浏览器中找到更多工具,扩展程序
读文本 读数组
apply中的WindowFunction使用方法
连接kafka获取数据 MySQLsource HBaseSink
process内使用KeyedProcessFunctionliststate可以设置检查点当程序在某时刻停止再启动会继续(记录偏移量)
说电影一般都人,应该是那种没有体会或者深思过整个社会体系的人吧
豆瓣9.2分,今年最牛逼的电影,没白等!最近这部电影很火,前几天公众号推荐过一次,但是后台仍一堆人求这部电影,今天再推荐一遍。里面一些镜头让我一个大男人看的都热泪盈眶,很值得一看! 9月初,DC漫改电影《小丑》,在...
不公平处处都要 没有绝对的差异之分 正义再光亮也有照不到的黑暗之处
北大女生包丽之死——姑娘,若他真爱你,怎舍得伤你?这世界对女性太不公平了!太不太不公平了! 01. 男:“你为我怀一个孩子,然后去打掉。” 男:“你去做绝育手术。” 男:“我们来复习一下,在别人面前要叫我什么?” 女:“主人...
1.将hbase通过Xftp传入Red-Hat 2.tar -zxvf hbase -C /usr/local (解压到目录下) 3.cd /usr/local/hbase/...
创建名称空间 create_name ‘名称’ 展示名称空间 list_namespace 列出名称空间的所有表 list_namespace_tables ‘hbase’ ...
源码刨析 :设置水印时间防止数据乱序 模拟Watermarks : 输入数据0001,15383598820000001,15383598860000001,15383598...