工具包概述
| allennlp | 基于Pytorch构建的开源的NLP研究工具包 |
|---|---|
| allennlp.commands | 提供CLI和web服务 |
| allennlp.data | 数据预处理模块 |
| allennlp.models | 一些SOTA模型 |
| allennlp.modules | |
| allennlp.nn | |
| allennlp.service | 给模型提供web端demo |
| allennlp.training | 提供训练模型的功能 |
安装
AllenNLP工具包需要python3.6.1以上的版本。官方推荐的安装方法是通过pip进行安装，运行命令pip install allennlp即可。
通过pip进行安装
建立一个虚拟环境
- 下载并安装Conda
- 建立一个Python3.6的虚拟环境
conda create -n allennlp python=3.6
- 激活Conda虚拟环境。
source activate allennlp
安装依赖库
单纯地用pip来安装依赖库就可以了。在安装python库的时候，AllenNLP同时也安装了脚本，所以安装完成后输入allennlp就可以进入命令终端。并且这种方法只会默认安装CUDA8版本（或CPU版本）的Pytorch。
pip install allennlp
通过Docker进行安装
Docker提供一个虚拟系统来运行AllenNLP。一旦你安装完docker之后就运行docker run -it -p 8000:8000 --rm allennlp/allennlp:v0.6.1。
之后运行./script/verify.py来测试安装是否成功。
Docker镜像中只有AllenNLP的源，而不是从pip的方法进行安装的。因此，命令行工具allennlp并没有安装，需要使用./allennlp/run.py来启动命令行工具。
通过源进行安装
从git仓库获取源进行安装：
git clone https://github.com/allenai/allennlp.git
创建一个Python3.6的虚拟环境，并且安装相关依赖包：
INSTALL_TEST_REQUIREMENTS=true scripts/install_requirements.sh
一旦依赖包安装完毕，就运行一下命令：
pip install --editable
运行AllenNLP
安装好AllenNLP工具包之后，就可以运行allennlp进行命令行交互。
$ allennlp
Run AllenNLP
optional arguments:
-h, --help show this help message and exit
--version show program's version number and exit
Commands:
configure Generate configuration stubs.
train Train a model
evaluate Evaluate the specified model + dataset
predict Use a trained model to make predictions.
make-vocab Create a vocabulary
elmo Use a trained model to make predictions.
fine-tune Continue training a model on a new dataset
dry-run Create a vocabulary, compute dataset statistics and other
training utilities.
test-install
Run the unit tests.
