大数据本地运行模式
1、首先就是在你的本地搭建虚拟机;(这个基本人人都会,不清楚的可以百度)
2、修改主机名:
vi /etc/hostname,修改的主机名要记住,我这边的是bigdata_1。
3、在opt目录下创建两个文件夹:soft,module
soft用于存放jdk和hadoop的压缩包
module用于存放解压后的jdk和hadoop(jdk和hadoop的版本看个人使用哪个,这里我的jdk是1.8,hadoop是2.8.4)
4、进行配置jdk以及hadoop的环境变量
先将两个压缩包解压至module文件夹中;
配置环境变量:vi /etc/profile
查看是否配置成功:每次配置完要进行source /etc/profile
jdk检查:java -version
hadoop检查:hadoop
5、最后我们要进行hadoop本地模式的测试
在 /opt 目录下创建一个test文件,内容自己随便写;
进入/opt/module/hadoop-2.8.4/share/hadoop/mapreduce目录下(就是进入你的hadoop目录下),找到hadoop-mapreduce-examples-2.8.4.jar这个jar包
使用命令进行测试:hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /opt/module/test /opt/module/out
6、查看计算好的文件
cd /opt/module/out查看是否有计算结果的文件生成