在macOS Sierra beta 安装Hadoop的坑

在macOS Sierra beta发布不久就升级了,今天试着安装Hadoop学习一下大数据,搜了一篇教程,对照进行了配置,在运行

  $ ./start-dfs.sh #启动HDFS

发生错误,提示Unable to load native-hadoop library for your platform… using builtin-java classes where applicable,原来Hadoop官方native hadoop library没有提供Mac系统支持。然后搜索到一篇解决办法,在通过homebrew安装编译环境时,因为是beta版本的操作系统,homebrew支持的不友好

Warning: You are using OS X 10.12.We do not providesupport for this pre-release version.You may encounter build failures or other breakages.Please create pull-requests instead of filing issues.

通过强制安装基本解决了这个问题

$> brew install homebrew/dupes/zlib --force
$> brew install cmake --force
$> brew install bzip2 --force
$> brew install lz4 --force
$> brew install snappy  --force
$> brew install openssl --force

安装cmake时这种办法也不成功,只能去官网下载安装包自行安装。

通过git下载Hadoop安装包利用maven进行编译

$> git clone https://github.com/apache/hadoop.git
$> mvn package -Pdist,native -DskipTests -Dtar

由于编译时需要下载很多java库支持,2个小时还没跑完...还在编译中

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容