Elasticsearch人员搜索-人员建档

业务需求:

    不指定属性的,对现有数据源中的人员信息数据进行检索。

    根据数据源对人员进行类别标注,比如重点人员,可疑人员

    全文检索和碎片检索

应用场景:

    大型安保活动的人员核查,嫌疑人员摸排

数据源:

    常住人口库,暂住人口库,旅馆,网吧,火车订票,机票,水电费,社保,教师,学生,宗教人员,上访人员 等等

实现方式:

   kafka,flumeng,elasticsearch 搜素引擎

    存储结构主要是:

        NEST OBJECT嵌套结构,父子关联关系

    以人员身份证作为_id,将同一个人所有的记录整合成一个doc。或者有父子关联的doc,以方便检索


文档聚合的方式:

 1、 原库的信息,也增量的方式刷到kafka,然后又flumeNg 读取通过自定义Sink写到es中。

 2、elasticsearch 的_bulk 的api ,加上 groovy脚本,对同一个doc做更新。或者指定parent 的关联父子关系。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,891评论 18 139
  • 发行说明 - Kafka - 版本1.0.0 以下是Kafka 1.0.0发行版中解决的JIRA问题的摘要。有关该...
    全能程序猿阅读 2,897评论 2 7
  • http://geek.csdn.net/news/detail/210469http://www.36dsj.c...
    Albert陈凯阅读 5,212评论 1 21
  • 我自我感觉良好,不应该是良好,是相当好。我觉得我优点挺多的,这众多优点当中,“好奇心”是我觉得最有价值的。这可能...
    周_星_星阅读 379评论 0 0
  • 与时久长忘年月,朝朝暮暮唯念他。
    故怀瑾阅读 259评论 2 4