开源项目——大数据入门指南

开源项目地址：https://github.com/heibaiying/BigData-Notes

✒️ 前  言

大数据技术栈思维导图       

大数据常用软件安装指南

一、Hadoop

分布式文件存储系统——HDFS

分布式计算框架——MapReduce

集群资源管理器——YARN

Hadoop单机伪集群环境搭建

Hadoop集群环境搭建

HDFS常用Shell命令

HDFS Java API的使用

基于Zookeeper搭建Hadoop高可用集群

二、Hive

Hive简介及核心概念

Linux环境下Hive的安装部署

Hive CLI和Beeline命令行的基本使用

Hive 常用DDL操作

Hive 分区表和分桶表

Hive 视图和索引

Hive常用DML操作

Hive 数据查询详解

三、Spark

Spark Core :

Spark简介

Spark开发环境搭建

弹性式数据集RDD

RDD常用算子详解

Spark运行模式与作业提交

Spark累加器与广播变量

基于Zookeeper搭建Spark高可用集群

Spark SQL :

DateFrame 和 DataSet

Structured API的基本使用

Spark SQL外部数据源

Spark SQL常用聚合函数

Spark SQL JOIN 操作

Spark Streaming ：

Spark Streaming 简介

Spark Streaming 基本操作

Spark Streaming 整合 Flume

Spark Streaming 整合 Kafka

四、Storm

Storm和流处理简介

Storm核心概念详解

Storm单机环境搭建

Storm集群环境搭建

Storm编程模型详解

Storm项目三种打包方式对比分析

Storm集成Redis详解

Storm集成HDFS/HBase

Storm集成Kafka

五、Flink

TODO

六、HBase

Hbase 简介

HBase系统架构及数据结构

HBase基本环境搭建(Standalone /pseudo-distributed mode)

HBase集群环境搭建

HBase常用Shell命令

HBase Java API

Hbase 过滤器详解

HBase 协处理器详解

HBase 容灾与备份

HBase的SQL中间层——Phoenix

Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

Kafka 简介

基于Zookeeper搭建Kafka高可用集群

Kafka 生产者详解

Kafka 消费者详解

深入理解Kafka副本机制

八、Zookeeper

Zookeeper 简介及核心概念

Zookeeper单机环境和集群环境搭建

Zookeeper常用Shell命令

Zookeeper Java 客户端——Apache Curator

Zookeeper  ACL权限控制

九、Flume

Flume简介及基本使用

Linux环境下Flume的安装部署

Flume整合Kafka

十、Sqoop

Sqoop简介与安装

Sqoop的基本使用

十一、Azkaban

Azkaban简介

Azkaban3.x 编译及部署

Azkaban Flow 1.0 的使用

Azkaban Flow 2.0 的使用

十二、Scala

Scala简介及开发环境配置

基本数据类型和运算符

流程控制语句

数组——Array

集合类型综述

常用集合类型之——List & Set

常用集合类型之——Map & Tuple

类和对象

继承和特质

函数 & 闭包 & 柯里化

模式匹配

类型参数

隐式转换和隐式参数

十三、公共内容

大数据应用常用打包方式

📑 后  记

资料分享与开发工具推荐

• 人面猴

  序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...

  沈念sama阅读 223,726评论 6赞 521
• 死咒

  序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...

  沈念sama阅读 95,697评论 3赞 402
• 救了他两次的神仙让他今天三更去死

  文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...

  开封第一讲书人阅读 170,734评论 0赞 366
• 道士缉凶录：失踪的卖姜人

  文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...

  开封第一讲书人阅读 60,508评论 1赞 300
• 港岛之恋（遗憾婚礼）

  正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...

  茶点故事阅读 69,522评论 6赞 399
• 恶毒庶女顶嫁案：这布局不是一般人想出来的

  文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...

  开封第一讲书人阅读 53,051评论 1赞 314
• 城市分裂传说

  那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...

  沈念sama阅读 41,429评论 3赞 427
• 双鸳鸯连环套：你想象不到人心有多黑

  文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...

  开封第一讲书人阅读 40,403评论 0赞 278
• 万荣杀人案实录

  序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...

  沈念sama阅读 46,930评论 1赞 323
• 护林员之死

  正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...

  茶点故事阅读 38,977评论 3赞 343
• 白月光启示录

  正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...

  茶点故事阅读 41,122评论 1赞 354
• 活死人

  序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...

  沈念sama阅读 36,763评论 5赞 350
• 日本核电站爆炸内幕

  正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...

  茶点故事阅读 42,454评论 3赞 336
• 男人毒药：我在死后第九天来索命

  文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...

  开封第一讲书人阅读 32,931评论 0赞 25
• 一桩弑父案，背后竟有这般阴谋

  文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...

  开封第一讲书人阅读 34,047评论 1赞 275
• 情欲美人皮

  我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...

  沈念sama阅读 49,613评论 3赞 380
• 代替公主和亲

  正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...

  茶点故事阅读 46,150评论 2赞 363

推荐阅读更多精彩内容

• Hadoop学习路线

  课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hado...

  101之歌阅读 1,476评论 0赞 2
• 煎熬

  从忐忑到焦虑 从担心到绝望 从黎明到深夜 从昨日到今日 想念成了一种煎熬 从村庄的荷塘到城市的广场 从庭院里的葡萄...

  听雪1014阅读 140评论 2赞 4
• 儿童保护，不是一句话的事

  早晨坐地铁的时候，看到一位妈妈拖着大行李箱，带着一个七八岁的小男孩，小男孩挺机灵，一号线地铁快关门的那一刻，小男孩...

  珊珊_812c阅读 271评论 0赞 3
• Vol41.今日回来不晚，天真作少年

  昨天买了朴树预售的数字专辑，其实说不上多喜欢朴树，但是听了那首《清白之年》，一直想起高中的事情。听着一个过气文艺青...

  58d79cb0719e阅读 318评论 0赞 0
• 编译带 OpenSSL 的 FFmpeg(4.1.1) iOS 静态库

  0. 本文部分参考自https://blog.csdn.net/github_35041937/article/d...

  ZTRogers阅读 3,494评论 3赞 2