centos安装Docker CDH+kafka

一.安装jdk

1. Centos的yum源更换为国内的阿里云源

$wget -O /etc/yum.repos.d/CentOS-Base.repo \
http://mirrors.aliyun.com/repo/Centos-7.repo

$yum makecache

1. rpm -qa|grep jdk
2. yum -y install java-1.8.0-openjdk*
3. 设置环境变量：

$jhometip='# add JAVA_HOME'
$jhomescript='export JAVA_HOME=/etc/alternatives/java_sdk_1.8.0'
$sudo echo $jhometip >> /etc/rc.d/rc.local
$sudo echo $jhomescript >> /etc/rc.d/rc.local

$source   /etc/rc.d/rc.local

二.安装docker

参照官网文档:

1. Uninstall old versions

$sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine

2. SET UP THE REPOSITORY

$ yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
$ yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
 $ sudo yum-config-manager --enable docker-ce-edge
 $ sudo yum-config-manager --enable docker-ce-test

3. INSTALL DOCKER CE

$ sudo yum install docker-ce

4. Start Docker

$ sudo systemctl start docker

5）安装遇到的问题：

docker 安装报错 container-selinux >= 2.9 ,错误信息如下:

Error: Package: docker-ce-18.03.1.ce-1.el7.centos.x86_64 (docker-ce-edge)
Requires: container-selinux >= 2.9
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest

这个报错是container-selinux版本低或者是没安装的原因;
yum 安装container-selinux 一般的yum源又找不到这个包;
需要安装epel源 才能yum安装container-selinux,然后在安装docker-ce。

命令如下：

$ wget -O /etc/yum.repos.d/CentOS-Base.repo  \
http://mirrors.aliyun.com/repo/Centos-7.repo  

$ yum install epel-release  
#阿里云上的epel源

$ yum install container-selinux

三、安装CDH

Clouder 官方文档

1. 拉取cloudera 镜像

$docker pull cloudera/quickstart:latest

2. docker images查看镜像

3. 运行镜像
   Cloudera 的 docker 版本分成两部分启动：
   a.大礼包的启动 /usr/bin/docker-quickstart;
   b.Cloudera manager 本身的启动/home/cloudera/cloudera-manager.

$docker run -d --name cdh --hostname=quickstart.cloudera --privileged=true -t -i  -p 8020:8020 -p 8022:8022 -p 7180:7180 -p  21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890  -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088  -p 19888:19888 -p 7187:7187 -p 11000:11000  cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express && service ntpd start'

• 写这么多端口映射也是为了方便我们外面的机器可以方面的访问 docker 内部的这些端口，访问这些服务。
• Cloudera 本身的manager 是 7180 端口。当这些启动起来之后就可以访问目标机器 ip 的 7180 端口访问 Cloudera manager了。
• linux 机器的 docker 用命令起起来后，docker 内的实例不能访问外网，配置一下docker 创建容器时候的参数增加-net host 即可。
• 也可以在宿主机器上在 /etc/default/docker 文件。并且配置上 DOCKER_OPTS="--dns host_ip" 即可。

4. 进入镜像，运行cloudera服务

$docker exec -it container_id bash  #进入docker运行命令，t返回伪终端,bash 命令

$ sudo /home/cloudera/cloudera-manager --express

>service cloudera-scm-server restart
>service cloudera-scm-server status

四、安装kafka

1.下载镜像

sudo docker pull wurstmeister/zookeeper 
sudo docker pull wurstmeister/kafka

2.启动镜像

$ docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime wurstmeister/zookeeper:latest

$ docker run -d --name kafka --publish 9092:9092 --link zookeeper:zk --env KAFKA_ZOOKEEPER_CONNECT=(zk所在宿主机的IP):2181 --env KAFKA_ADVERTISED_HOST_NAME=(kafka所在宿主机的IP) --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

(kafka所在宿主机的IP)

3.测试发送消息

//执行Docker ps，找到kafka的Container ID，进入容器内部：
docker exec -it ${CONTAINER ID} /bin/bash 
//进入kafka默认目录
cd opt/kafka_2.12-2.1.0/
//创建一个主题：
bin/kafka-topics.sh --create --zookeeper (zk所在宿主机的IP):2181 --replication-factor 1 --partitions 1 --topic myKafka
//运行一个消息生产者，指定topic为刚刚创建的主题
bin/kafka-console-producer.sh --broker-list (kafka所在宿主机的IP):9092 --topic myKafka
//运行一个消费者，指定同样的主题
bin/kafka-console-consumer.sh --bootstrap-server (kafka所在宿主机的IP):9092 --topic myKafka --from-beginning