Hadoop学习过程的一些问题

1---修改host
、修改主机名5.1 修改当前会话的主机名sudo hostname SY-0217查看当前会话的主机名hostname默认是我装Linux 虚机时输入的名字Ubuntu5.2 修改配置文件中的主机名输入命令sudo vi /etc/hostname直接添加SY-0217 保存退出。关闭此会话窗口,重新登录,主机名已经显示SY-2017注意:只有修改配置文件,主机名才会永久保存!

2----------spark standalone安装
http://www.tuicool.com/articles/AJvqMb

3------------history启动
sbin/mr-jobhistory-daemon.sh start historyserver

4-------------
解压:
zip : unzip filename.zip
.gz: gzip -d filename.gz
.bzip2: bzip2 -z filename.bz2
.tar.gz: tar -zvcf filename.tar.gz
tar.bzip2 : tar -jxvf filename.tar.

配置文件:vi etc/hadoop/core-site.xml

hadoop输入目录是多文件夹的时候
在 mapred-site.xml中添加 <property><name>mapreduce.input.fileinputformat.input.dir.recursive</name><value>true</value></property>

全局变量:

  1. 修改 /etc/profile
    [root@liyao ~]# vi /etc/profile
    export PATH=$PATH:/usr/local/mysql/bin # 在配置文件中加入此行配置
    需要注意的是:修改完这个文件必须要使用 以下命令在不用重启系统的情况下使修改的内容生效
    [root@liyao ~]# source /etc/profile

在export PATH语句前添加两行:
ZOOKEEPER=/usr/zookeeper-3.3.3/
PATH=$PATH:$ZOOKEEPER/bin

并执行 source /etc/profile

2.zookeeper 的安装。
http://blog.chinaunix.net/uid-20498361-id-3184380.html

3.zookeeper 是leader还是follower

4.du -sh +文件夹可以查看大小

Hadoop学习资源

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容