Lucene入门

什么是Lucene

可以使用Lucene实现全文检索。Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎，Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

全文检索的应用场景

对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。

先说说数据分类
  • 结构化数据
    指具有固定格式或有限长度的数据，如数据库，元数据等。
    结构化数据搜索， 常见的结构化数据也就是数据库中的数据, 使用sql方式的查询。
  • 非结构化数据
    指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件。
    非结构化数据搜索
    顺序扫描法，所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。
    全文检索，将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。
    这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。
    虽然创建索引的过程也是非常耗时的，但是索引一旦创建就可以多次使用，全文检索主要处理的是查询，所以耗时间创建索引是值得的。
Lucene实现全文检索的流程
创建索引和查询索引流程图
  1. 创建索引库，对要进行检索的内容进行索引构建一个索引库，具体包括原始文档->采集文档->创建文档->分析文档->索引文档
  2. 查询索引，从索引库搜索内容，具体包括创建查询->从索引库搜索->渲染搜索结果
  • 获取原始文档
    原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。
  • 创建文档对象(Document)
    1.文档中包含多个的域(Field)， 域中存储内容。例如我们可以将磁盘上的一个文件当成一个Document，Document包含多个FIeld，Field域包含文件名称、文件路径、文件大小、文件内容等
    2.每个文档都有一个唯一的编号，就是文档id。
  • 分析文档
    1.对域中的内容进行分析，分析过程包括提取单词、将字母转为小写、去标点符号、去停用词等过程。
    2.每个单词叫做一个Term，不同的域中拆分出来的相同单词是不同的Term，Term中包含两部分，一部分是文档的域名，领一部分是单词的内容。
  • 创建索引
    创建索引的目的是为了搜索，通过只搜索索引从而找到文档。
  • 查询索引
    从索引库中进行搜索
搭建测试环境
public static void main(String[] args) throws Exception {

        //1. 创建一个Director对象，指定索引保存的位置
        Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());//FSDirectory是保存到磁盘, RAMDirectory保存到内存

        //2. 创建一个IndexWriter对象
        IndexWriterConfig config = new IndexWriterConfig(); //默认StandardAnalyzer分词器
        IndexWriter indexWriter = new IndexWriter(directory, config);

        //3. 读取磁盘文件，每个文件都创建一个文档对象
        File dir = new File("D:\\temp\\resources");
        File[] files = dir.listFiles();
        for(File f : files){
            //文件信息
            String fileName = f.getName();
            String filePath = f.getPath();
            String fileContent = FileUtils.readFileToString(f, "utf-8");
            long fileSize = FileUtils.sizeOf(f);

            //创建Field, 参数依次: 域的名称、域的内容、是否存储
            Field fieldName = new TextField("name", fileName, Field.Store.YES);
            Field fieldPath = new StoredField("path", filePath);
            Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
            Field fieldSizeValue = new LongPoint("size", fileSize);
            Field fieldSizeStore = new StoredField("size", fileSize);

            //创建Document
            Document document = new Document();
            document.add(fieldName);
            document.add(fieldPath);
            document.add(fieldContent);
            document.add(fieldSizeValue);
            document.add(fieldSizeStore);

            //把文档写入索引库
            indexWriter.addDocument(document);
        }
        //关闭indexWriter对象
        indexWriter.close();;
    }
  • 查询索引
    public static void main(String[] args) throws Exception {

        //1. 指定索引库路径
        Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());

        //2. 创建IndexReader
        IndexReader indexReader = DirectoryReader.open(directory);

        //3. 创建IndexSearcher
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);

        //4. 创建查询
        Query query = new TermQuery(new Term("name", "apache"));
        TopDocs topDocs = indexSearcher.search(query, 10);//最多查询10条
        System.out.println(topDocs.totalHits);//查询的总条数
        for(ScoreDoc scoreDoc : topDocs.scoreDocs){
            Document document = indexSearcher.doc(scoreDoc.doc);
            System.out.println(document.get("name"));
        }

        //5. 关闭IndexReader
        indexReader.close();
    }
使用Luke工具查看索引文件
luke索引查看工具

luke主界面
分析器
  • 标准分析器(默认)

对中文支持不友好

public static void main(String[] args) throws Exception{
    //1. 创建一个标准分析器
    Analyzer analyzer = new StandardAnalyzer();

    //2. 获取tokenStream对象,参数: 域名（可以随便给一个）、要分析的文本内容
    TokenStream tokenStream = analyzer.tokenStream("test", "The Spring Framework provides a comprehensive programming and configuration model.");

    //3. 添加引用
    //3.1 添加一个引用, 用于获取每个关键词
    CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    //3.2 添加一个引用, 记录了关键词的开始位置以及结束位置
    OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);

    //4. 遍历关键词, 通过incrementToken判断列表是否结束, reset将指针调整到列表的头部
    tokenStream.reset();
    while (tokenStream.incrementToken()){
        System.out.print(offsetAttribute.startOffset() + "  ");//关键字起始位置
        System.out.print(charTermAttribute + "  ");
        System.out.println(offsetAttribute.endOffset());//关键字结束位置
    }
}
输出:
4  spring  10
11  framework  20
21  provides  29
32  comprehensive  45
46  programming  57
62  configuration  75
76  model  81

  • 中文分析器(IKAnalyzer)
    1.把jar包添加到工程中
    2.把配置文件和扩展词典和停用词词典添加到classpath下


    目录结构
public static void main(String[] args) throws Exception{
    //1. 创建一个中文分析器
    Analyzer analyzer = new IKAnalyzer();

    //2. 获取tokenStream对象,参数: 域名（可以随便给一个）、要分析的文本内容
    TokenStream tokenStream = analyzer.tokenStream("test", "中华人民共和国");

    //3. 添加引用
    //3.1 添加一个引用, 用于获取每个关键词
    CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    //3.2 添加一个引用, 记录了关键词的开始位置以及结束位置
    OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);

    //4. 遍历关键词, 通过incrementToken判断列表是否结束, reset将指针调整到列表的头部
    tokenStream.reset();
    while (tokenStream.incrementToken()){
        System.out.print(offsetAttribute.startOffset() + "  ");//关键字起始位置
        System.out.print(charTermAttribute + "  ");
        System.out.println(offsetAttribute.endOffset());//关键字结束位置
    }
}
索引库的维护
  • 增

Field域的属性
是否分析，是否对域的内容进行分词处理
是否索引，是否将Field分析后的词或整个Field值进行索引，只有索引了才能可以搜索到。
是否存储，将Field的值存储到文档中，存储在文档中的Field才可以从Document中获取到。

Field类 数据类型 是否分析 是否索引 是否存储 描述
StringField(FieldName, FieldValue,Store.YES)) 字符串 N Y Y或N 这个Field用来构建一个字符串Field，但是不会进行分析，会将整个串存储在索引中，比如(订单号,姓名等)是否存储在文档中用Store.YES或Store.NO决定
LongPoint(String name, long... point) Long型 Y Y N 可以使用LongPoint、IntPoint等类型存储数值类型的数据。让数值类型可以进行索引。但是不能存储数据，如果想存储数据还需要使用StoredField
StoredField(FieldName, FieldValue) 重载方法，支持多种类型 N N Y 这个Field用来构建不同类Field，不分析，不索引，但要Field存储在文档中
TextField(FieldName, FieldValue, Store.NO)或TextField(FieldName, reader) 字符串或流 Y Y Y或N 如果是一个Reader, lucene猜测内容比较多,会采用Unstored的策略.
  • 删
# 删除全部索引
indexWriter.deleteAll();

# 按指定查询条件删除
//创建一个查询条件
Query query = new TermQuery(new Term("filename", "apache"));
//根据查询条件删除
indexWriter.deleteDocuments(query);
  • 改
    原理: 先删除后修改
indexWriter.updateDocument(new Term("content", "java"), document);
  • 查
  1. 通过Lucene提供的Query子类进行查询(参考上面的代码)
  2. 通过QueryParse解析查询表达式

依赖包: lucene-queryparser-7.4.0.jar

QueryParser queryParser = new QueryParser("content", new IKAnalyzer());
Query query = queryParser.parse("Lucene是java开发的");
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • Lucene入门
    参考 Lucene学习总结之一：全文检索的基本原理Lucene就是这么简单Lucene思维导图，让搜索引擎不再难懂...
    gregocean阅读 2,688评论 0赞 0
  • Lucene入门
    1.功能 实现全文检索。生活中遇到两类数据：结构化数据（例如数据库）和非结构化数据（例如电脑磁盘下一堆文档文件）。...
    coooCode阅读 4,021评论 0赞 2
  • 1、lucene入门（lucene笔记）
    一、概述 lucene是一个全文搜索引擎，在全文索引工具中，都是由这样的但部分组成： 1、索引部分 2、分词部分 ...
    yjaal阅读 7,495评论 1赞 13
  • Lucene—全文检索
    1. 案例分析：什么时全文检索，如何实现全文检索   1.1 案例   实现一个文件的搜索功能，通过关键字搜索文件...
    东方舵手阅读 4,900评论 0赞 1
  • Lucene的介绍
    本文我将为大家讲解全文检索技术——Lucene，现在这个技术用到的比较多，我觉得大家还是应该掌握一下，不说多精通，...
    呵呵兮子阅读 4,282评论 0赞 2

友情链接更多精彩内容