一、组件包下载
| 组件包名称 | 下载链接 | 备注 |
|---|---|---|
| Java | ||
| Hadoop | hadoop-3.2.0.tar.gz | |
| Spark | spark-3.1.2-bin-hadoop3.2.tgz |
二、安装步骤
2.1 环境变量配置
vim .zsh_profile 或 vim .bash_profile
| 变量名 | 变量值 | 备注 |
|---|---|---|
| JAVA_HOME | ||
| HADOOP_HOME | export HADOOP_HOME=/Users/ricsy/hadoop/hadoop | |
| SPARK_HOME | export SPARK_HOME=/Users/ricsy/hadoop/spark | |
| PYSPARK_DRIVER_PYTHON | jupyter | |
| PYSPARK_DRIVER_PYTHON_OPTS | notebook | |
| PATH | export PATH=${PATH}:${HADOOP_HOME}/bin:${SPARK_HOME}/bin |
source .zsh_profile 或 source .bash_profile
2.2 安装Hadoop
2.3 MAC设置
1、系统偏好设置 => 共享 => 远程登录
三、使用步骤
1、command+空格输入terminal后回车打开终端
2、执行以下命令
pyspark
参阅：
