Hadoop2.7.3+Hive2.1.1+Spark2.1.0环境搭建

搭建环境：
Ubuntu12.04（比这个版本高应该都可以）
首先搭建的是Spark。
先用ping确保用外网IP可以互相连通。然后可以修改各个工作节点的主机名。

vim /etc/hostname

修改主机名称，我将主节点设置为master，另一个节点设置成slave1。重启两台主机。
之后修改master节点的hosts文件

vim /etc/hosts

在其中加入

master_ip master 
slave_ip slave

这里master_ip使用内网ip，slave_ip使用外网ip
安装Java

apt-get install openjdk-7-jdk

同时在~/.bashrc中追加:

export JAVA_HOME=/usr/lib/jvm/default-java

执行source ~/.bashrc使环境变量生效。

设置master主机ssh免密码访问

sudo apt-get openssh-server
ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub hadoop@slave1:/root/

这里记得将最后一行命令中slave1换成对映的slave主机的IP地址。在slave1上执行以下命令

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub

在master节点安装Spark

cd ~
wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz
tar -zxf ~/spark-2.1.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local
mv ./spark-2.1.0-bin-hadoop2.7/ ./spark

修改环境文件

vim ~/.bashrc

加入

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行source ~/.bashrc使其生效。
我搭建Spark时用的是standalone模式，首先要配置slave节点

vim /usr/local/spark/conf/slaves

在其中填入slave节点的外网IP，每行一个。
同时，复制spark-env.sh.template，并重命名为spark-env.sh。

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

并在其中添加

export SPARK_LOCAL_HOST=id
export SPARK_HOME=/usr/local/spark

这里的id用当前云主机的内网id（也就是ifconfig查出来的ip）。至此，master主机的Spark配置就完成了。接下来配置slave主机的配置。
同样的，首先修改slave节点的主机名，我修改为slave1，过程与master节点相似。
紧接着修改hosts文件。

master_ip master
slave1_ip slave1

这里要注意，slave1_ip为内网ip，master_ip为外网ip。
同样的将spark下载，解压，修改spark-env.sh，多加一行

export SPARK_MASTER_IP=id

这里用外网IP。同时LOCAL_HOST也要用当前（slave1）的内网ip。
在master节点执行

cd /usr/local/spark
sbin/start-all.sh
jps

在master主机上可以看到显示master进程及端口号，slave主机执行jps命令可以看到worker进程及端口号。这样即代表成功。
下面进行hadoop搭建。
在我的服务器上有一块硬盘未使用，将hadoop的文件系统装在这块硬盘上。不需要可以跳过这步。

  fdisk /dev/vdb

执行时依次输入n、p、1、两次回车。再执行

mkfs.etx4 /dev/vdb
cd ~
cd ..
mkdir ourdata
mount /dev/vdb /ourdata
echo '/dev/vdb1 /ourdata ext4 defaults 0 0' >> /etc/fstab

至此完成挂载，同样你也可以在其他文件夹下安装hadoop的文件系统。

cd ~
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
tar -zxf ~/hadoop-2.7.3.tar.gz -C /usr/local 
cd /usr/local/
mv ./hadoop-2.7.3/ ./hadoop 
vim ~/.bashrc

在环境文件中加入

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

紧接着使其生效

source ~/.bashrc

修改hadoop配置

vim /usr/local/hadoop/etc/hadoop/slaves

在其中加入每个datanode的主机名例如slave1
然后修改同目录下的core-site.xml

<configuration>
        <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/ourdata/hadoop/tmp</value>
        <description>Abase for other temporary directories</description>
        </property>
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        </property>
</configuration>

修改hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave1:50090</value>
    </property>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/ourdata/hadoop/tmp/dfs/name</value>
    </property>

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/ourdata/hadoop/tmp/dfs/data</value>
    </property></configuration>

打包hadoop并发往每个节点

cd /usr/local
tar -zcf ~/hadoop.master.tar.gz ./hadoop
cd ~
scp ./hadoop.master.tar.gz slave1:/root

在各个节点下解压，并放在/usr/local下

tar -zxf ~/hadoop.master.tar.gz -C /usr/local

在master节点，格式化namenode并启动hdfs

cd /usr/local/hadoop
bin/hdfs namenode -format
sbin/start-dfs.sh
jps

同样，在对应的节点如果检查到了进程及端口号（namenode、datanode、secondarynamenode）即证明配置成功。
最后是hive安装，首先安装mysql驱动

sudo apt-get install mysql-server
mysql -u root

在mysql命令行下执行

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'mysql' WITH GRANT OPTION;
FLUSH PRIVILEGES;
quit

同时解除远程登录限制

vim /etc/mysql/my.cnf

找到bind-address这一行，在行首加#将其注释掉。

cd ~
wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
tar -zxf ~/apache-hive-2.1.1-bin.tar.gz -C /usr/local/
cd /usr/local
mv ./apache-hive-2.1.1-bin/ ./hive
cd hive/conf
cp ./hive-default.xml.template ./hive-site.xml
vim hive-site.xml

加入如下

<configuration>
<property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://113.10.137.114:3306/hive?createDatabaseIfNotExist=true</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>mysql</value>
        </property>
<property>
                <name>datanucleus.schema.autoCreateTables</name>
                <value>true</value>
        </property>
<property>
                <name>hive.execution.engine</name>
                <value>spark</value>
        </property>


        <property>
                <name>spark.master</name>
                <value>spark://113.10.137.114:7077</value>
        </property>

        <property>
                <name>spark.eventLog.enabled</name>
                <value>true</value>
        </property>
<property>
 <name>spark.eventLog.dir</name>
                <value>/usr/local/spark/logs/</value>
</property>

         <property>
                <name>spark.serializer</name>
                <value>org.apache.spark.serializer.KryoSerializer</value>
        </property>
<property>

                <name>hive.querylog.location</name>

                <value>/usr/local/hive/log</value>
</property>
</configuration>

同时拷贝到spark的conf文件夹下

cp hive-site.xml ../../spark/conf/hive-site.xml

下载jdbc驱动

cd ~
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.40.tar.gz
tar xf mysql-connector-java-5.1.40.tar.gz
cd mysql-connector-java-5.1.40
cp mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/

在环境变量中加入

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:/usr/local/hive/lib

运行

hive  --service metastore

以后即可直接运行 hive。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容