大刘很长时间没有在博客上写东西了,工作忙是一个原因,主要也是自己的知识储备感觉已经被榨干了,自己的知识面受限,对应的技术水平也到了瓶颈期,肚子里面再也掏不出干货了。于是,趁着上班时间和休息时候,学习了很多之前没有来的学习的东西。NodeJS,ES6/7基础,Vue,Python,数据挖掘基础,看的越多,愈发惶恐,觉得自己好像什么都不会了,面对这些新技术栈的冲击,颇有力不从心的感觉了,还好意识到这个问题,现在开始补课,还不算太晚。
上周参加了集团组织的一个大数据培训,交的一个大作业是关于对微博用户进行客户画像,预测测试集的微博用户性别,因为自己对数据挖掘这块只懂得皮毛,结果自然也就不值得一提了,不过这次培训的确开拓了眼界,了解了很多机器学习和深度学习的知识,于是准备先安装下xgboost这个深度学习框架,不过安装过程中出现了很多坑,在此记录下,也让Mac环境编程的同学少走些弯路。
下载安装
大刘发现在csdn或其他网上找到的文章都有不合适的地方,举个栗子,譬如这篇文章:http://www.cnblogs.com/chenhuan001/p/5595380.html
前面的都没有问题,不过这步替换cc
gcc
c++
g++
的操作,的确让人无解了,因为每次操作完都会Permissioin Denied
权限不足的问题,后续的编译操作就无法进行了。
如图:
所以大刘建议,要想学习一手知识,还是直接看官网或者项目对应的github页面吧,这才是最正宗的。
Mac系统的同学直接跳到 Building on OSX 这一节
原文:
On OSX, one builds xgboost by
git clone --recursive https://github.com/dmlc/xgboostcd xgboost; cp make/minimum.mk ./config.mk; make -j4
This builds xgboost without multi-threading, because by default clang in OSX does not come with open-mp. See the following paragraph for OpenMP enabled xgboost.
Here is the complete solution to use OpenMP-enabled compilers to install XGBoost. Obtain gcc-6.x.x with openmp support by
brew install gcc --without-multilib
. (brew is the de facto standard of apt-get on OS X. So installing HPC separately is not recommended, but it should work.). Installation of gcc
can take a while (~ 30 minutes)
Now, clone the repository
git clone --recursive https://github.com/dmlc/xgboost
and build using the following commands
cd xgboost; cp make/config.mk ./config.mk; make -j4
NOTE: If you use OSX El Capitan,
brew installs gcc
the latest version gcc-6. So you may need to modify Makefile#L46 and change gcc-5
to gcc-6
. After that change gcc-5/g++-5 to gcc-6/g++-6 in make/config.mk then build using the following commands
cd xgboost; cp make/config.mk ./config.mk; make -j4
内容大意主要分以下几个步骤:
- 如果你不需要xgboost多线程操作,直接执行以下即可
git clone --recursive https://github.com/dmlc/xgboostcd xgboost; cp make/minimum.mk ./config.mk; make -j4
但是机器学习不用多线程怎么能行,这速度就提不上去了不是?
- 多线程开启方法
因为Mac 的 OS X 系统的 C语言 编译器用的是 Clang,如下图,在 Terminal 输入gcc -v
或者gcc --version
后,显示 C语言 的编译器:
这里需要下载gcc的最新版本,这里推荐使用brew大法
brew install gcc
安装时间比较长,大部分都集中在make bootstrap
上,大概需要30-40分钟时间,编译完后的这一步骤很重要。
cp make/config.mk ./config.mk
vi config.mk
修改对应的gcc和g++版本,如图
然后运行
make -j4
这样就编译完了xgboost,然后我们安装下openmpi
brew install openmpi
如果是利用Python调用,那么还需要
cd python-package; sudo python3 setup.py install
即可安装完成。