本次使用big-data-europe/docker-spark: Apache Spark docker image方便地进行Spark开发环境的搭建。
首先需要先准备一个docker-compose.yml文件，文件内容如下：
version: '2'
services:
spark-master:
image: bde2020/spark-master:2.4.4-hadoop2.7
container_name: spark-master
ports:
- "8080:8080"
- "7077:7077"
environment:
- ENABLE_INIT_DAEMON=false
spark-worker-1:
image: bde2020/spark-worker:2.4.4-hadoop2.7
container_name: spark-worker-1
depends_on:
- spark-master
ports:
- "8081:8081"
environment:
- "SPARK_MASTER=spark://spark-master:7077"
- ENABLE_INIT_DAEMON=false
然后运行
docker-compose up -d
浏览器打开 http://localhost:8080 可以看到Spark Master管理页面，打开http://localhost:8081 可以看到Spark Worker的详细页面
spark-master.png
