pyspark和jupyter结合使用教程

戳此处

下面进入正题，版本冲突

EXCEPTION:Python in worker has different version 2.7 than that in driver 3.6
由于mac中自带python运行环境，当我们安装完python3时两个python版本都存在
在terminal中运行pyspark代码时会出现如下错误：

"Python in worker has different version 2.7 than that in driver 3.6"

我在网上看了很多结果，但是发现向spark/conf文件夹下的spark-env.sh添加环境变量，并不能很好的解决问题。

最好的解决方案：

在～/.bash_profile中添加如下环境变量
1.打开.bash_profile

vim ~/.bash_profile

2.添加如下两条环境变量

export PYSPARK_PYTHON=/usr/local/Frameworks/Python.framework/Versions/3.6/bin/python3(请改为你希望设置的python版本的路径，此处为homebrew安装的python3.6路径)
export PYSPARK_DRIVER_PYTHON=/usr/local/Frameworks/Python.framework/Versions/3.6/bin/python3

3.让改动生效

source ~/.bash_profile

改动完成后，可以完美解决python版本冲突问题，并在terminal中和jupyter notebook中执行python写的spark代码(并且在jupyter notebook中不需要import findspark组件)

转载请注明出处