Hadoop搭建

环境: CentOS-6.7-x86_64虚拟机;

资料:在CentOS 7/6.5/6.4 中安装Java JDK 8_Linux教程_Linux公社-Linux系统门户网站

            yum 安装 SSH - u012941811的专栏 - 博客频道 - CSDN.NET

           Apache Hadoop 3.0.0-alpha1 – Hadoop: Setting up a Single Node Cluster.

           Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客

一、在安装SSH时

(1)关于防火墙iptables配置。配置文件/etc/sysconfig/iptables中,前两行#是注释说明,#下面四条内容定义了内建的INPUT、FORWAARD、ACCEPT链,还创建了一个被称为RH-Firewall-1-INPUT 的新链

                            :INPUT ACCEPT [0:0]

                             :FORWARD ACCEPT [0:0]

                             :OUTPUT ACCEPT [0:0]

                            :RH-Firewall-1-INPUT - [0:0]

       添加行  -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT 后,restart,该防火墙规则总是失败。不管了直接走下面几步。

(2)SSH配置时,修改vi /etc/ssh/sshd_config。CentOS下SSH配置方法详解 - youxizhe的个人页面 - 开源中国社区,操作了部分,一些安全措施、更改IP等未做。修改端口号时,将Port  22这一行的#删除,并新加一行 port  2234。(如果改了默认端口好,在用ssh建立连接时,如ssh localhost -p 2234,要注明连接的端口。)

(3)SH2的公钥与私钥的建立:切换到普通用户,执行命令 ssh-keygen -t rsa -P '' -f  ~/.ssh/id_rsa;cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys;chmod 0600 ~/.ssh/authorized_keys;(注意,这是在普通用户下运行的,文件也保存在普通用户目录下,没有)

Apache Hadoop官方教程里让安装pdsh,还没安装,等后续完成。

二、单机安装Hadoop,只需export JAVA_HOME=/usr/java/jdk_1.8.0_xxx, ./bin/hadoop version测试通过。但是!!再次开机登录时,JAVA_HOME仍然找不到,做法是:首先在/etc/hadoop/hadoop-env.sh中修改,然后在/etc/profile里修改,并source /etc/profile。

三、按照Apache官网的教程按部就班的执行。当在运行hadoop的时候,出现警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因:

Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。所以重新编译hadoop。根据需要安装JDK/GCC/MAVEN.

a)解决方案一*(未实践) 重新编译hadoop

(1)安装gcc时,依次安装gmp/mpfr/mpc,然后/etc/profile在后面添加路径并source /etc/profile使之生效。同时源码安装步骤:先解压缩,进入目录,mkdir temp(输出目录),cd temp,../configure = --prefix=(usr/local/***),make,sudo make install。但是配置和编译时仍然报错,然后在配置前在源文件中下载依赖项:./contrib/download_prerequisites。之后因为缺乏依赖库,缺什么就安装什么。但是,编译gcc时,编译目录/源目录/编译器三种安装目录不能在同一目录下,否则出错。

再更:完整的操作方式是:没有自己安装mpc/mpfr/mpc,而是解压缩后,在源文件中执行:./ contrib/download_prerequisites ,自动下载安装依赖项。然后把./configure,make

b).解决方案二

   通常编译好的hadoop库是在lib中,如果你不想编译,可以用lib/native里面的预编译库,然后把native的库移动到lib文件夹中。cp /lib/native/*  /lib/,然后在加入/etc/profile中加入系统变量

             export HADOOP_COMMON_LIB_NATIVE_DIR=/home/administrator/work/hadoop-2.6.0/lib/native

              export HADOOP_OPTS="-Djava.library.path=/home/administrator/work/hadoop-2.6.0/lib"

              export HADOOP_ROOT_LOGGER=DEBUG,console    消除了该显示。但仍存在问题

虽然该Warning可以忽略,但是在显示结果时出现了太多DEBUG信息。建议重新编译。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容