JAVA代码生成lucene索引

import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.*;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.*;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import java.io.File;
import java.io.IOException;
import java.nio.file.Paths;

public class LuceneIndexDemo {
    // 创建索引(首先创建data数据目录和index生成目录)
    public void createIndex() throws IOException {
        // 原始文档的路径
        File path = new File("D:/Lucene/data");
        // 索引存放路径
        Directory directory = FSDirectory.open(Paths.get("D:/Lucene/index"));
        // 创建SmartChinese分析器
        SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();
        // 创建IndexWriterConfig
        IndexWriterConfig iwc = new IndexWriterConfig(analyzer);
        // 是否使用复合索引格式(默认true 使用复合索引格式)
        iwc.setUseCompoundFile(true);
        //创建IndexWriter(第三个参数boolean  TRUE时是会删除同一个目录下的索引，新建全量索引，FALSE 新建增量索引添加进索引文件内)
        IndexWriter indexWriter = new IndexWriter(directory, iwc);
        for (File file : path.listFiles()) {
            // 创建Document对象
            Document document = new Document();
            // 文件名称
            document.add(new TextField("filename", file.getName(), Field.Store.YES));
            // 文件内容
            document.add(new TextField("content", FileUtils.readFileToString(file, "GBK"), Field.Store.YES));
            // 文件路径
            document.add(new StoredField("path", file.getPath()));
            // 文件大小
            document.add(new NumericDocValuesField("size", FileUtils.sizeOf(file)));
            // 写入索引
            indexWriter.addDocument(document);
        }
        // 写入完毕，清理工作
        if (indexWriter != null) {
            indexWriter.close();
            indexWriter = null;
        }
    }
}

使用复合索引生成的文件目录格式(index目录如下) iwc.setUseCompoundFile(true);

不使用复合索引生成的文件目录格式(index目录如下) iwc.setUseCompoundFile(false);

Lucene Query索引查询

Lucene元数据补充

Field类型

Lucene除了LongPoint、IntPoint、StringField、TextField等常用Field类型外，还有基于一些非常实用的类型

Lucene构建查询

Lucene处理用户输入的查询关键字就是构建Query对象的过程。Lucene搜索需要实例化IndexSearch对象，由IndexSearch对象中的search()方法完成搜索过程，而Query对象作为search()方法的参数。搜索结果保存在TopDocs类型的文档集合中，遍历TopDocs就可以得到文档信息。
构建Query对象
初始化IndexSearch
使用IndexSearch.search()方法完成查询，参数为Query对象
查询结果得到TopDocs文档集合
遍历TopDocs得到文档信息
ScoreDoc：是得分文档对象，其score属性就是相关度。相关度得分是0到1之间的值。1表示相关度最高，0表示不相关。
TopDocs：是匹配搜索条件的前N个搜索结果。
Lucene的搜索结果默认按相关度排序，这个相关度排序是基于内部的Score和DocID，Score又基于关键词的内部评分和索引机制。默认Score高的排前面，如果Score一样，再按索引顺序，先索引的排前面。

TermQuery 词项查询

TermQuery是最简单的，也是最基础的Query。TermQuery可以理解为“词项搜索”，也就是说在索引中搜索某一个词项。如：某个Field中是否包含某个Term。

public void searchIndex() throws Exception {
  // 索引存放路径
  Directory directory = FSDirectory.open(Paths.get("D:/Lucene/index"));
  // 创建IndexReader
  IndexReader indexReader = DirectoryReader.open(directory);
  // 创建IndexSearcher
  IndexSearcher indexSearcher = new IndexSearcher(indexReader);

  // 创建查询
  Query query = new TermQuery(new Term("content","考试"));
  // 获取搜索的结果，指定返回document返回的个数
  ScoreDoc[] hits = indexSearcher.search(query, 10).scoreDocs;

  // 遍历ScoreDoc
  for (ScoreDoc scoreDoc : hits) {
    // 根据Document的id找到document对象
    Document doc = indexSearcher.doc(scoreDoc.doc);
    System.out.print(doc.get("filename") + ":    ");
    System.out.println(doc.get("path"));
  }
  indexReader.close();
  directory.close();
}

BooleanQuery 布尔查询

BooleanQuery也是时间开发中最常用的一种Query，它的作用可以组合多个查询条件。BooleanQyer本身是一个布尔子句的容器，我们需要使用BooleanClause.Occur连接多个查查询项并表示它们间的关系：

Term term1 = new Term("content", "考试");
Query query1 = new TermQuery(term1);

Term term2 = new Term("content", "全国");
Query query2 = new TermQuery(term2);

// BooleanClause bc = new BooleanClause(query1, BooleanClause.Occur.MUST);

// 合集查询
BooleanQuery bQuery = new BooleanQuery.Builder()
  .add(query1, BooleanClause.Occur.MUST)
  .add(query2, BooleanClause.Occur.MUST)
  .build();

RangeQuery 范围查询

有时用户需要搜索满足某个范围条件内的文档，如：某一时间段内的所有文档。Lucene提供了RangeQuery查询来满足这样的场景需求。

Query rangeQuery = LongPoint.newRangeQuery("size", 10, 50);

PrefixQuery前缀搜索

PrefixQuery就是通过前缀来进行搜索。如果要搜索的Field中包含要查找关键字的前缀，则可以使用该查询。

Term term = new Term("content", "考试");
PrefixQuery query = new PrefixQuery(term);

PhraseQuery 短语搜索

在使用搜索的时候，我们常常查找的并发是一个简单的单词，而是几个不同的关键字，这些关键字紧密相连可以构成一个精确的短语（或者几个关键字中还有其他不相关的内容），要么可能是一句简短的话。PhraseQuery可以满足我们上面的这种搜索需求。
使用PhraseQuery.add方法可以让用户向其内部添加关键字，添加完毕后，还可以通过setSlop()方法来设定关键字之间是否允许或者允许多少个无关词汇存在。

PhraseQuery.Builder builder = new PhraseQuery.Builder();
builder.add(new Term("content","全国"), 2);
builder.setSlop(5);
builder.add(new Term("content","考试"), 4);
PhraseQuery query = builder.build();

PhraseQuery要求短语中的所有次都存在才能匹配上，所以有时我们需要一个比较宽松版本的PhraseQuery —— 虽然对词的顺序敏感，但允许缺少个别词（缺少词的文档分值降低）

FuzzyQuery模糊搜索

FuzzyQuery是一种模糊搜索，它可以简单地识别两个相近的词。如：拼写错误Boss拼成Boos，使用FuzzyQuery可以搜索到正确的结果。
这种模糊搜索的方法是根据用户输入的单个字进行字符串间的查找，这种算法被称为levenshtein算法。
这种算法在比较两个字符串时会会将动作分为三种：加上一个字母，删一个字母，改变一个字母。两个字符串之间进行比较时就是在执行将其中一个字符串，转变为另一个字符串的操作。
每执行一次上述的操作，则相应的就会扣除一定的分数。当比较完毕后，也就是转变完成，此时的得分被称为两者之间的距离也可以称为模糊度。

FuzzyQuery query = new FuzzyQuery(term);
ScoreDoc[] hits = indexSearcher.search(query, 10).scoreDocs;

WildcardQuery 通配符查询

通配符搜索即WildcardQuery。我们可以使用通配符来模糊搜索，WildcardQuery中的通配符有?, *, \ 三种。

Term term = new Term("content", "考试?");
WildcardQuery query = new WildcardQuery(term);