简介
在rasa-nlu模块面向中文需要mitie的信息抽取模块,在公司项目中采用的管道是mitie, tensorflow,jieba分词。
如果你的服务器能够上外网,那么恭喜你,只需要一下步骤就能够顺利完成。
pip install jieba
pip install rasa_nlu
pip install git+https://github.com/mit-nlp/MITIE.git
如果是mac系统,mac升级系统会导致git无法使用,采用一下命令
xcode-select --install
据说原因是因为每次更新系统之后xcode就被卸载了,因此需要重新安装一次。
离线安装
gcc,g++安装
首先拿到一台空的linux机子,一般没有gcc和g++,后续的mitie也无法编译。
这里我安装的是4.4.7-4版本,需要一下安装包,下载文件分享
链接:https://pan.baidu.com/s/1yJPRs59_s-9K00-doOp3vw 密码:it1l
rpm -ivh lib64gmp3-4.3.1-1mdv2010.0.x86_64.rpm
rpm -ivh ppl-0.10.2-11.el6.x86_64.rpm
rpm -ivh cloog-ppl-0.15.7-1.2.el6.x86_64.rpm
rpm -ivh mpfr-2.4.1-6.el6.x86_64.rpm
rpm -ivh cpp-4.4.7-4.el6.x86_64.rpm --force
rpm -ivh kernel-headers-2.6.32-431.el6.x86_64.rpm
rpm -ivh glibc-headers-2.12-1.132.el6.x86_64.rpm --nodeps --force
rpm -ivh glibc-devel-2.12-1.132.el6.x86_64.rpm --force --nodeps
rpm -ivh gcc-4.4.7-4.el6.x86_64.rpm --force --nodeps
rpm -ivh libstdc++-devel-4.4.7-4.el6.x86_64.rpm --force --nodeps
rpm -ivh gcc-c++-4.4.7-4.el6.x86_64.rpm --force --nodeps
执行压缩包中的install_gcc.sh 即可
bash install_gcc.sh
python环境安装
这里采用发行版anaconda进行安装。官网地址:https://www.anaconda.com/download/#linux
值得注意的是:目前首页展示的是python3.7版本。这里是个坑,就目前而言,pypi上tensorflow安装包只支持到3.6版本,一定要注意,避免后续tensorflow无法安装的尴尬局面。
可以从以下路径挑选合适的版本进行下载:
https://repo.anaconda.com/archive/
1.安装rasa_nlu
下载路径: https://pypi.org/project/rasa_nlu/
pip install rasa_nlu-0.13.6-py2.py3-none-any.whl
下载对应的版本,用pip 命令一步步安装,根据提示从pypi网站中下载对应的包
2.安装mitie
从github上下一份源码上传到linux, 地址:https://github.com/mit-nlp/MITIE
pip install MITIE-master.zip
3.安装tensorflow
这里安装的是CPU版本,之前一篇介绍过,如何离线安装,这里就不详细介绍。
地址:https://www.jianshu.com/p/36e547419c96
同样的问题,如果cpu不符合,就会出现illegal instruction (core dumped)
这里我先装了最新的1.11.0版本,后来降低版本至1.5.0,目前没问题。
若后续需要更高版本tensorflow需要从source安装。
同样,安装tensorflow需要各种依赖包,根据一步步提示从pypi网站上逐一下载。
总共所需要的包大致如下:
-rw-r--r-- 1 root root 90022 Oct 10 22:41 absl-py-0.5.0.tar.gz
-rw-r--r-- 1 root root 27074 Oct 10 22:44 astor-0.7.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root 37638 Oct 10 20:35 Automat-0.7.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 17768 Oct 11 13:12 bleach-1.5.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 128504 Oct 10 20:42 boto3-1.9.20-py2.py3-none-any.whl
-rw-r--r-- 1 root root 4688356 Oct 10 20:45 botocore-1.12.20-py2.py3-none-any.whl
-rw-r--r-- 1 root root 47558 Oct 10 20:35 coloredlogs-10.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 7922 Oct 10 20:35 constantly-15.1.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 824484 Oct 10 20:46 future-0.16.0.tar.gz
-rw-r--r-- 1 root root 9400 Oct 10 22:42 gast-0.2.0.tar.gz
-rw-r--r-- 1 root root 23189442 Oct 10 23:26 glibc-2.17.tar.gz
-rw-r--r-- 1 root root 9537130 Oct 10 22:35 grpcio-1.15.0-cp36-cp36m-manylinux1_x86_64.whl
-rw-r--r-- 1 root root 889312 Oct 11 13:10 html5lib-0.9999999.tar.gz
-rw-r--r-- 1 root root 71871 Oct 10 20:35 humanfriendly-4.16.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root 37905 Oct 10 20:35 hyperlink-18.0.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 16667 Oct 10 20:35 incremental-17.5.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 7309726 Oct 10 20:49 jieba-0.39.zip
-rw-r--r-- 1 root root 23497 Oct 10 20:42 jmespath-0.9.3-py2.py3-none-any.whl
-rw-r--r-- 1 root root 44277 Oct 10 22:39 Keras_Applications-1.0.6-py2.py3-none-any.whl
-rw-r--r-- 1 root root 30674 Oct 10 22:31 Keras_Preprocessing-1.0.5-py2.py3-none-any.whl
-rw-r--r-- 1 root root 30419 Oct 10 20:35 klein-17.10.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 89434 Oct 10 22:36 Markdown-3.0.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root 6856513 Oct 10 21:32 MITIE-master.zip
-rw-r--r-- 1 root root 315725 Oct 10 22:38 msgpack-0.5.6-cp36-cp36m-manylinux1_x86_64.whl
-rw-r--r-- 1 root root 49298 Oct 10 20:35 pathlib-1.0.1.tar.gz
-rw-r--r-- 1 root root 390965 Oct 10 22:37 protobuf-3.6.1-py2.py3-none-any.whl
-rw-r--r-- 1 root root 376623 Oct 10 20:35 PyHamcrest-1.9.0.tar.gz
-rw-r--r-- 1 root root 145315 Oct 10 20:35 rasa_nlu-0.13.6-py2.py3-none-any.whl
-rw-r--r-- 1 root root 59642 Oct 10 20:43 s3transfer-0.1.13-py2.py3-none-any.whl
-rw-r--r-- 1 root root 81203 Oct 10 20:35 simplejson-3.16.0.tar.gz
-rw-r--r-- 1 root root 3027414 Oct 10 22:33 tensorboard-1.11.0-py3-none-any.whl
-rw-r--r-- 1 root root 62953456 Oct 10 21:37 tensorflow-1.11.0-cp36-cp36m-manylinux1_x86_64.whl
-rwxr-xr-x 1 root root 44427184 Oct 11 13:06 tensorflow-1.5.0-cp36-cp36m-manylinux1_x86_64.whl
-rw-r--r-- 1 root root 3022817 Oct 11 13:08 tensorflow_tensorboard-1.5.1-py3-none-any.whl
-rw-r--r-- 1 root root 3912 Oct 10 22:41 termcolor-1.1.0.tar.gz
-rw-r--r-- 1 root root 43744 Oct 10 20:35 tqdm-4.26.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 3063847 Oct 10 20:35 Twisted-18.7.0.tar.bz2
-rw-r--r-- 1 root root 25727 Oct 10 20:41 typing-3.6.6-py3-none-any.whl
-rw-r--r-- 1 root root 151261 Oct 10 20:35 zope.interface-4.5.0.tar.gz
包括rasa_nlu以及tensorflow所需的包,这里我上传至百度云方便大家下载
链接:https://pan.baidu.com/s/1eT03R4daon54nxCT7m6Lbg 密码:xr6e
tips: 这里的所有包是python3.6版本的。别弄错哟~
好啦,至此,成功启动服务,哈哈哈哈哈哈哈哈哈哈
祝各位同学也能成功部署好环境。
参考资料
mac升级git无法使用办法 https://blog.csdn.net/qq_23089525/article/details/52789005
linux离线安装gcc,g++ https://blog.csdn.net/yuan_ren_sheng/article/details/81021563