一 .lucene概述

lucene各种文章介绍都有,这篇文章介绍下很多文章不曾说的为什么快,大多文章就是说倒排索引,然后就没然后了,lucene反向索引存储主要有两个文件(所谓反向信息是指词(Term) –> 文档(Document)),词典文件和词典索引文件,版本不同,后缀名称也不同,因为一个索引会包含多个字段,文件实现是按照字段排列实现,这也是为什么段一旦刷到磁盘,不可更改的原因。
词典索引文件是论文fst实现,论文链接:http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.24.3698[http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.24.3698],精确查询时,索引文件锁定大概位置,在搜索词典文件;模糊查询时,索引文件fst会转换 [NFA(不确定的有穷自动机) -> DFA(确定的有穷自动机) 的转换],这是索引文件存放在内存的原因,这也是一切查询的基石。

lucene实现的是一个基本全文检索引起应该有的功能,用到非常多的算法。
比如索引文件需要存放到内存,就会用到文本压缩、数值压缩,各种编码压缩。
取存储结果用到了数组链表的交集、并集、差集、以及topN二叉堆等。
为了快速定位文档号使用了跳表,获取相似性结果用到了编辑距离。
也用到了到分词器、状态机、空间向量模型等.
但是用到的并发并不是很多,学习并发的同志们建议学习netty。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 内存管理与数据存储 索引(index):Lucene的索引由许多个文件组成,这些文件放在同一个目录下 段(se...
    大林_3a76阅读 8,755评论 0 3
  • 1 索引原理 全文索引由来已久,绝大多数都基于倒排索引来做,顾名思义,它与常规的一篇文章包含哪些词相反,它是一个词...
    薛定谔的猫Plus阅读 9,472评论 0 5
  • Lucene是一种高性能、可伸缩的信息搜索(IR)库,在2000年开源,最初由鼎鼎大名的Doug Cutting开...
    KhaosYang阅读 1,715评论 0 1
  • 【2017.08.11 训练打卡】 今日生活分享:南国书香节开幕王蒙老师读者见面会 无论新媒体多么发达,都无法替代...
    岳坛阅读 2,144评论 0 0
  • 春节倒计时30天。 春节,最馋的就是和家人围坐在一起吃饺子了。 老人家说:饺子啊好吃馅难调。 下面五个小技巧,可以...
    樱酱的365天阅读 1,778评论 0 0

友情链接更多精彩内容