- 环境的搭建
系统：Centos7.0
组建 Hadoop Spark Zookeeper Kafka Flume
语言 Java/Scala
-
安装JDK
从Oracle管下载JDK 并且配置Java 的环境变量解压压缩包 并且移动到 /usr/lib 中 tar zvxf jdk1.8.0_201 mv jdk1.8.0_201 /usr/lib # 修改配置文件 vi /etc/profile
在profile 文件末尾添加
#java env
export JAVA_HOME=/usr/lib/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
保存文件后
source /etc/profile
验证
java -version
1.2 配置虚拟机网络
vi /etc/hosts
#在最后添加节点名称和节点地址
关闭防火墙
service iptables stop
service ip6tables stop
service iptables status
service ip6tables status
checkconfig iptables off
checkconfig ipt6tables off
vi /etc/selinux/config
SELINUX=disable
1.3 安装配置 Hadoop
同样从官网下载hadoop 并且在本地解压
vi /etc/profile
在文件末尾添加
HADOOP_HOME=/usr/lib/hadoop
#应该为解压后Hadoop所在的位置
修改Hadoop配置文件
hdfs.xml,yarn.xml.mapper.site.xml
2.安装数据库和HIVE
2.1 安装Mysql
因为CentOS 7之后的版本yum的默认源中使用MariaDB替代原先MySQL，因此安装方式较为以往有一些改变：
安装wget
yum -y install wget
下载mysql的源：
wget [http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm]
(http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm)
安装yum库
yum localinstall -y mysql57-community-release-el7-7.noarch.rpm
安装MySQL
yum install -y mysql-community-server
启动MySQL服务
systemctl start mysqld.service
因为MySQL5.7加强了root用户的安全性，会初始化一个随机密码，以下为查看初始随机密码的方式
grep 'temporary password' /var/log/mysqld.log
使用初始随机密码登录后MySQL会强制要求修改密码，否则无法正常使用，
（密码必须包含小写、大写字母及特殊字符，当然也有其他方法不受此限制，再次不多做描述），修改方法如下：
SET PASSWORD = PASSWORD('your new password');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;
然后退出后即可用新密码登录。
远程连接授权：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.2.130' IDENTIFIED BY '123456' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'113.201.130.51' IDENTIFIED BY 'your password' WITH GRANT OPTION;
//打开机器的端口
sudo /sbin/iptables -I INPUT -p tcp --dport 3306 -j ACCEPT
遇到一点小问题
tip: 没有 ifconfig
ifconfig 命令适用用 GUI系统，在mini版的Centos 中我们可以使用其他命令代替
ip addr
IP addr
-
当然，我们也可以通过yum 来安装 ifconfig命令
yum install net-tools
注：如果遇到错误提示 Could not resolve host: centos.ustc.edu.cn;
按此解决： https://blog.csdn.net/jasonhector/article/details/78657532
