lore 初探

lore 作为小众的 model serving ,从模型编写到模型训练 部署预测 基本上都封装好了,自己也总算 通过一个小demo 完成了 lore 的预测 ,当然中间 还有一些坑,我之前在 mac上运行还算顺利,后来在centos 7上还是发现 报了不少错误,

  1. lore 依赖 postresql 和 pyenv 两个基础的工具,postgresql 用来存储一些内容,pyenv 是为了lore

另外需要先 下载 pyenv 的一些python 版本 ,不然 在 使用 lore 初始化的时候还是 会报 git -C pull 等奇怪的错误
比如先 安装 python 3.5.3 版本

pyenv  install 3.5.3 -v 

首先 本地的centos 一定要先安装 postgresql ,
yum install -y postgresql
然后 安装pyenv
git clone https://github.com/yyuu/pyenv.git ~/.pyenv
记得要授权 并 加入到环境变量中
git clone git://github.com/yyuu/pyenv.git ~/.pyenv
vim ~/.bashrc /etc/profile

export PYENV_ROOT="HOME/.pyenv" export PATH="PYENV_ROOT/bin:PATH" eval "(pyenv init -)"
参考 https://www.cnblogs.com/chinchillas/p/7462297.html
https://www.jianshu.com/p/228cd025a368
另外好像还需要 virtualbox
wget https://download.virtualbox.org/virtualbox/5.2.16/VirtualBox-5.2-5.2.16_123759_el7-1.x86_64.rpm

这些都可以了 话 lore 基本额可以开始捣鼓了

2.初期我使用的是这个lore 的 demo
http://www.sohu.com/a/225437837_129720
git clone https://github.com/montanalow/my_app.git

3.开始 编码 时 第一步卡在了 获取数据集上
instacart_online_grocery_shopping_2017_05_01.tar.gz 这个dataset 放在 aws s3上,在你下载时会在url上 加上 随机的字符串,没有办法,我只能先使用用浏览器下载到本地,然后在项目中 写清楚 读取路径

第二步 卡在了 pyenv 的python环境,想不到 lore 不支持 3.5 以下的python 版本,没有办法重新下载 3.5.2 ,3.5.4 等其他版本
第三步 卡在了 centos 7 没有安装 bz 2压缩格式的包 ,导致 python 无法安装 bzip ,

第四步 卡在了 fit 上 在test 和 fit 时 lore才会去把 需要的包 开始下载下来,这个下载是一个增量下载,但是吧 ,经常下载不全,导致 项目缺少包 无法运行,发现少了
比如

psycopg2==2.6.1
records==0.3.0

还有pandas 的版本 影响
最后 是在不想再耽误了,干脆把所有依赖的包都填上了,记得修改 pip的下载源 为豆瓣

absl-py==0.3.0
backcall==0.1.0
bleach==1.5.0
boto3==1.7.63
boto==2.49.0
botocore==1.10.63
bz2file==0.98
certifi==2018.4.16
chardet==3.0.4
click==6.7
cycler==0.10.0
decorator==4.3.0
dill==0.2.8.2
docopt==0.6.2
docutils==0.14
entrypoints==0.2.3
et-xmlfile==1.0.1
Flask==0.12.4
graphviz==0.8.4
h5py==2.8.0
html5lib==0.9999999
idna==2.7
iml==0.6.1
inflection==0.3.1
ipykernel==4.8.2
ipython-genutils==0.2.0
ipython==6.4.0
ipywidgets==7.3.0
itsdangerous==0.24
jdcal==1.4
jedi==0.12.1
Jinja2==2.9.6
jmespath==0.9.3
jsonschema==2.6.0
jupyter-client==5.2.3
jupyter-console==5.2.0
jupyter-core==4.4.0
jupyter==1.0.0
Keras==2.1.6
kiwisolver==1.0.1
lore==0.6.11
Markdown==2.6.11
MarkupSafe==1.0
matplotlib==2.2.2
mistune==0.8.3
nbconvert==5.3.1
nbformat==4.4.0
notebook==5.6.0
numpy==1.14.5
odfpy==1.3.6
openpyxl==2.5.4
pandas==0.23.3
pandocfilters==1.4.2
parso==0.3.1
pbr==4.2.0
pexpect==4.6.0
pickleshare==0.7.4
prometheus-client==0.3.0
prompt-toolkit==1.0.15
protobuf==3.6.0
psycopg2==2.6.1
ptyprocess==0.6.0
pydot==1.2.4
Pygments==2.2.0
pyparsing==2.2.0
python-dateutil==2.7.3
pytz==2018.5
PyYAML==3.13
pyzmq==17.1.0
qtconsole==4.3.1
records==0.3.0
requests==2.19.1
s3transfer==0.1.13
scikit-learn==0.19.2
scipy==1.1.0
Send2Trash==1.5.0
shap==0.12.1
simplegeneric==0.8.1
six==1.11.0
smart-open==1.5.7
sqlalchemy-migrate==0.11.0
SQLAlchemy==1.2.10
sqlparse==0.2.4
tablib==0.12.1
tabulate==0.8.2
Tempita==0.5.2
tensorflow-tensorboard==1.5.1
tensorflow==1.5.1
terminado==0.8.1
testpath==0.3.1
tornado==5.1
tqdm==4.23.4
traitlets==4.3.2
unicodecsv==0.14.1
urllib3==1.23
wcwidth==0.1.7
Werkzeug==0.14.1
widgetsnbextension==3.3.0
xlrd==1.1.0
xlwt==1.3.0

之后按照demo 的演示,可以正常了,不过有一个 early_stop项,迭代六次就停止了,lose 很大

SBT使用阿里云Maven仓库,解决SBT下载依赖慢。
发布时间:2018-04-09 来源:网络 上传者:用户

关键字: 阿里 仓库 sbt 依赖 解决 使用 maven 下载

发表文章
摘要:添加:~/.sbt/repositories文件文件内容:[repositories]localmy-maven-repo:http://maven.aliyun.com/nexus/content/groups/public/官方Document看这里:http://www.scala-sbt.org/0.13.2/docs/Detailed-Topics/Library-Management.html#override-all-resolvers-for-all-buil
添加:~/.sbt/repositories 文件

文件内容:

[repositories]localmy-maven-repo: http://maven.aliyun.com/nexus/content/groups/public/

example:
pyenv install 3.5.4 -v  # install  python 3.5.4 version for pyenv
sudo yum install  -y  python-devel  libffi-devel  libpqxx-devel
#[psycopg/psycopg.h:31:22: 致命错误:libpq-fe.h:没有那个文件或目录]
download    data

lore  init mxb --python-version=3.5.4   --xgboost 

cd  mxb
lore generate scaffold hotels --xgboost  --regression --holdout

 lore test tests.unit.hotels

lore fit  mxb.models.hotels.XGBoost --test --score
lore notebook
lore server &
 curl "http://localhost:5000/hotels.XGBoost/predict.json?product_name=Banana&department=produce"


yum install libgl libgl-devel mesa-libGL-devel mesa-libGLU-devel freeglut-devel libxcb libxcb-devel libXrender libXrender-devel xcb-util-wm xcb-util-wm-devel xcb-util xcb-util-devel xcb-util-image xcb-util-image-devel xcb-util-keysyms xcb-util-keysyms-devel -y

wget http://download.qt.io/archive/qt/5.9/5.9.2/qt-opensource-linux-x64-5.9.2.run

export SELDON_HOME=/home/muller/Documents/github/seldon-server/kubernetes

export PATH=PATH:SELDON_HOME/bin

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,482评论 6 427
  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    小迈克阅读 2,986评论 1 3
  • 大学一年过去了,翻开过去的学习和生活,我有很多感慨。我是个腼腆的人,很害羞,很内向。到现在我发现自己的做的很多事情...
    值得一生的回忆阅读 212评论 0 0
  • 天哪 太神奇了。越来越觉得黑客帝国描绘的世界其实很可怕。不知道你们有没有做过那种很真实的梦,有时是逃亡 有时是坠落...
    94f45c0edad4阅读 164评论 0 1
  • 光阴似箭,日月如梭,初中眨眼间就过去了。是否还记得我们第一次的见面,是否还记得老师的训话,是否还记得我们一同走过的...
    珂珂a阅读 557评论 1 4