caffeOnSpark

about

参考
cdw_FstLstUbuntu配置Caffeonspark教程

Note

安装的总体流程请看cdw_FstLst同学的 Ubuntu配置Caffeonspark教程
在这里说明几点注意的,结合之一起看。

  • 0 在装CaffeOnSpark之前,请先确保已安装了Caffe, Hadoop, Spark, JDK,maven,其中需要安装maven的同学可以看过来ubuntu下安装maven

  • 1 在配置环境变量那里:

<pre name="code" class="html">export HADOOP_HOME=/path/to/hadoop  #此处别瞎搬,为你自己的spark路径
export PATH=${HADOOP_HOME}/bin:${PATH}  
export SPARK_HOME=/path/to/spark            #此处别瞎搬,为你自己的spark路径
export PATH=${SPARK_HOME}/bin:${PATH}  
export MAVEN_HOME=/path/to//maven         #此处别瞎搬,为你自己的spark路径
export PATH=${MAVEN_HOME}/bin:${PATH}  

前面的

<pre name="code" class="html">

不知是什么鬼,所幸我直接删掉了,省事(然而后面也并没报错,反而加上去时在source ~/.bashrc时出了毛病)

  • 2 编译CaffeOnSpark
<pre name="code" class="html">make build

同理,删掉

<pre name="code" class="html">

直接

$ make build

在编译时报错了,大概是这样的

error:
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (proto) on project caffe-distri: An Ant BuildException has occured: exec returned: 2
[ERROR] around Ant part ...<exec failonerror="true" dir="/home/hadoop/CaffeOnSpark/caffe-distri" executable="make">... @ 5:91 in /home/hadoop/CaffeOnSpark/caffe-distri/target/antrun/build-protoc.xml
[ERROR] -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR] 
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :caffe-distri
make: *** [build] Error 1

简而言之,就是一堆关于maven这东东的错误,
楼上cdw_FstLst博主说是网络问题,我也不清楚是不是,直接

$ make build

还是报错。
后来自行百度必应谷歌了一堆,最后发现StackOverflow这里有个不错的方法
简单说来,我只是把Caffe目录下的Makefile.config 文件拷贝到了CaffeOnSpark/caffe-public目录下,
然后执行

$ make clean make build        # make clear 清除上次编译失败的

然后郁闷地去洗了个澡,没报希望的点亮屏幕,竟然Build success了[不解][不解]
所以到最后,我也不知道是因为网络问题,还是那个Makefile.config问题,不过,照这个流程跑一遍,应该是可以okay的。

按照流程来,第一步是:
1) Clone CaffeOnSpark code.
由于我已经安装了CaffeOnSpark,所以就没用git下载了,意思就是跳过这步

git clone https://github.com/yahoo/CaffeOnSpark.git --recursive

直接终端执行

~$ export CAFFE_ON_SPARK=$(pwd)/CaffeOnSpark     #~表示当前的工作目录为**home**

2) Install hadoop, spark
由于之前已经安装,并配好了环境变量,故此步跳过

3) Install caffe
由于之前装过,所以也时跳过

4) Create a CaffeOnSpark/caffe-public/Makefile.config
也可以直接像前面的做法那样,单独把Caffe目录下的Makefile.config文件拉进去,在Makefile.config里文件头加上

INCLUDE_DIRS += ${JAVA_HOME}/include

5) Build CaffeOnSpark
之前已经build success,不再解释。

6) Install mnist dataset
此处坑了我一下午。。。。
如果你在终端直接运行

${CAFFE_ON_SPARK}/scripts/setup-mnist.sh

那么可能出现以下错误

Downloading...
mv: target ‘data/mnist/’ is not a directory
/home/hadoop/CaffeOnSpark/scripts/setup-mnist.sh: line 13: examples/mnist/create_mnist.sh: No such file or directory
mv: cannot stat ‘examples/mnist/mnist_train_lmdb’: No such file or directory
mv: cannot stat ‘examples/mnist/mnist_test_lmdb’: No such file or directory

问题就是,我们忘了一个软连接!多么痛的领悟啊啊啊!!!

  • 待我喝口水,细细道来。
    首先,打开https://github.com/yahoo/CaffeOnSpark网页,是不是看到了这个:
    caffe-public.png
  • 注意到caffe-public@fc0a02e没?,就是这里,看看便察觉到和其他的文件夹不同,其实,这里是一个链接文件夹。一点进去,发现:
    caffe.png
  • 它调到caffe那个目录去了!!!
    但是接着看看我们自己下的CaffeOnSpark文件夹,点开caffe-publc,里面竟是什么都没有!!!(当然,如果有的话,那也只是刚刚我们自己添加了的Makefile.config文件。这不算数哈!)
    所以说,我们需要把caffe-public变为一个链接文件夹,链接到caffe那个文件目录。解决方法看看下面,上面一段其实就是简单的水了一下哈

解决方法:

$ cd CaffeOnSpark
$ rm -R caffe-public              #删掉原先的caffe-public
$ ln -s /home/alpha/caffe caffe-public      #建立新的caffe-public链接文件夹,链接到caffe

!Note:

  • 1 ,注意,/home/alpha应改成你自己的caffe目录
  • 2 这样一来,也便删除了原先的Makefile.config文件,记得再在Caffe目录下的Makefile.config修改一下哈(直接点击caffe-public就可以进去了,不用再把Makefile.config复制到caffe-public下了,现在它们本来就是在的啊)

再执行一遍

$ ${CAFFE_ON_SPARK}/scripts/setup-mnist.sh    #第一个$为终端Shell标识符,不用输入哈

后面的说什么需要两台机子一起搞Spark计算,我还没看懂,况且目前自己就一台笔记本,所以,有待日后更新,后会有期。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,904评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,581评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,527评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,463评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,546评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,572评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,582评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,330评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,776评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,087评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,257评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,923评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,571评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,192评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,436评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,145评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容