分享一次词典库构建的流程

词典库的含义

在深度学习中，如何在其中融入知识是一个研究非常火热的课题。相比于 Bert, ERNIE中引入全词Mask，达到了 SOTA,这也是引入啦知识 。因此词典库在底层可以起到语义表达、消歧、推理等众多NLP task。

词典库构建

  • 词类目划分
  • 词属性定义
  • 词条目存储
  • 自定义词条的实现
  • 词条检索

词典库首页

image.png

词典库-展示

中文概念词典.png

情感极性词典.png
网络词库.png

词典库类目

类目划分.png

基于Neo4j的情感类目存储.png

基于Neo4j的词类目展示.png

词条目展示

基于Neo4j词条目存储.png

总结

这是 14年在校所做的基于图的词典库构建,同时在上面进行一些推理，的确是比较好玩, 同时发现哈工大版 大词林,的确是为底层的term赋予啦知识，在任何一个Nlp task中，所扮演的角色都是比较重要的。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容