简介 本次环境搭建采用的是virtual box虚拟机,预计搭建三台虚拟机,安装大数据开发环境,后续再说,首先安装一台虚拟机,并配置好网络环境 一、 虚拟机安装 虚拟机安装较...
简介 项目简介 此项目是实现仿大数据项目流程,包括,日志收集传输,日志格式化,数据实时分析,数据持久化到HDFS,数据离线报表统计,离线任务调度,日志记录搜索几大部分 首先说...
@LittleMagic 看了一些博文。很受用。跟着打卡学习。希望多多指点
Spark shuffle机制概述shuffle及Spark shuffle历史简介 shuffle,中文意译“洗牌”,是所有采用map-reduce思想的大数据计算框架的必经阶段,也是最重要的阶段。它处在m...
有个小问题。文中写到shuffle map端没有聚合的算子是reducebykey 但是这个算子map端是有聚合的吧
Spark shuffle机制概述shuffle及Spark shuffle历史简介 shuffle,中文意译“洗牌”,是所有采用map-reduce思想的大数据计算框架的必经阶段,也是最重要的阶段。它处在m...
@无色的叶 好的。谢谢
原创-大数据平台权限设计分享-Hive库表权限权限目标 可通过界面管理用户访问hive库表权限,权限设计模型如下图 用户拥有hive库表权限列表image.png 新增hive库权限image.png-新增hive表权限...
@无色的叶 想在问个问题。hive表中有很多表。在管理上有什么建议嘛
原创-大数据平台权限设计分享-Hive库表权限权限目标 可通过界面管理用户访问hive库表权限,权限设计模型如下图 用户拥有hive库表权限列表image.png 新增hive库权限image.png-新增hive表权限...
@无色的叶 那你这个自定义类。是hive重新编译放进去嘛
原创-大数据平台权限设计分享-Hive库表权限权限目标 可通过界面管理用户访问hive库表权限,权限设计模型如下图 用户拥有hive库表权限列表image.png 新增hive库权限image.png-新增hive表权限...
你好。没懂你这个权限的使用场景。平时是用Java API操作hive的嘛
原创-大数据平台权限设计分享-Hive库表权限权限目标 可通过界面管理用户访问hive库表权限,权限设计模型如下图 用户拥有hive库表权限列表image.png 新增hive库权限image.png-新增hive表权限...
为获得更好的阅读体验,建议您访问原文地址:传送门前言:在之前的文章里面已经了解到了「消息队列」是怎么样的一种存在(传送门),Kafka 作为当下流行的一种中间件,我们现在开始...