rasa_nlu模型训练
当我们准备好了rasa_nlu需要的训练数据后，就可以开始训练rasa_nlu模型。github贡献的中文rasa_nlu的配置文件常见的有两种，一种是 Rasa_NLU_Chi贡献的基于mitie预训练中文词向量模型，yml配置文件如下：
language: "zh"
pipeline:
- name: "nlp_mitie"
model: "data/total_word_feature_extractor_zh.dat"
- name: "tokenizer_jieba"
- name: "ner_mitie"
- name: "ner_synonyms"
- name: "intent_entity_featurizer_regex"
- name: "intent_classifier_mitie"
而total_word_feature_extractor_zh.dat清一色的都是使用的原作者基于wiki百科训练的数据模型；第二种是直接使用tensorflow_embedding，词向量转换后使用cos余弦相似度实现意图区分，配置文件如下：
language: "zh"
pipeline:
- name: "tokenizer_jieba"
- name: "ner_crf"
- name: "intent_featurizer_count_vectors"
OOV_token: oov
token_pattern: '(?u)\b\w+\b'
- name: "intent_classifier_tensorflow_embedding"
官网提出的建议是如果训练数据小于1000条采用第一种方案，如果训练数据大于1000条采用第二种方案，第二种方案存在的问题是oov（未登录词）问题。
rasa_nlu自定义component
ner_bilstm_crf
上面两套yml配置是比较常见的，但是在slot filling精确度上有时候不是很准确，所以我自定义了一套component，可以实现bilstm+ crf 和idcnn + crf两套实体识别的模型，然后将代码rasa_nlu_gao部署在pypi上，可以通过
pip install rasa-nlu-gao
将依赖install。在rasa_chatbot_cn这个demo中可以使用这两套模型，具体yml配置如下：
language: "zh"
pipeline:
- name: "tokenizer_jieba"
- name: "intent_featurizer_count_vectors"
token_pattern: '(?u)\b\w+\b'
- name: "intent_classifier_tensorflow_embedding"
- name: "ner_bilstm_crf"
lr: 0.001
char_dim: 100
lstm_dim: 100
batches_per_epoch: 10
seg_dim: 20
num_segs: 4
batch_size: 200
tag_schema: "iobes"
model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
clip: 5
optimizer: "adam"
dropout_keep: 0.5
steps_check: 100
jieba_pseg_extractor
上面对slot filling的精度进行了提高，但是前提还是需要有大量的训练数据，如果训练数据不多的话还是建议使用ner_crf。在项目过程中还遇到了一个问题，就是在人名识别卡住了，我们总不可能在训练数据上写满人名做训练，这不切实际。好在jieba有词性标注这个功能，帮我们实现人名的识别。然后我将jieba.posseg 实现在了rasa_nlu中，自定义了一个组件jieba_pseg_extractor，也是需要通过pip install rasa-nlu-gao下载，具体的yml配置文件如下：
language: "zh"
pipeline:
- name: "tokenizer_jieba"
- name: "ner_crf"
- name: "jieba_pseg_extractor"
part_of_speech: ["nr", "ns", "nt"]
- name: "intent_featurizer_count_vectors"
OOV_token: oov
token_pattern: '(?u)\b\w+\b'
- name: "intent_classifier_tensorflow_embedding"
意外的惊喜是只要jieba能够实现的实体识别，这里都可以支持。除了可以人名识别，还可以做机构名识别，地名识别等等。
总结
上面是我在项目过程中自定义的两套components并将其部署到了pypi上，可以方便使用和下载，当然还会继续维护。其实rasa这套框架很好，特别方便自定义组件。源码也很好阅读。后续文章会分享rasa-core实现中的坑和解决方案。原创文章，转载请说明出处
