一、能力要求
Hadoop方向
Spark Sql部分
Spark Sql部分2
Spark Sql 部分3
Scala语言的选择
环境参数
二、环境使用
2.1 环境的目录结构
- ~/software :所有课程相关的软件；
- ~/app：软件的安装目录
- ~/data:所有的测试数据
- ~/source：源码（Spark需要重新编码的）
- ~/shell：课程里使用的一些脚本
2.2 配置映射关系：
Hadoop001这台机器对应这个ip地址
三、启动各个软件
- 启动hadoop:
[hadoop@hadoop001 app]$ cd ~/app/hadoop-2.6.0-cdh5.7.0/sbin,执行./start-dfs.sh 跟./start-yarn.sh来分别启动hdfs跟yarn
- 启动Hive:
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ cd ~/app/hive-1.1.0-cdh5.7.0/bin,然后执行./hive来启动hive
-
启动spark shell
启动spark shell
三、Hive
什么是Hive
为什么用Hive
Hiva的体系架构
部署架构
