1. 数据分类
1.1 结构化数据
指具有固定格式或有限长度的数据，如数据库、元数据等。
针对结构化数据的搜索，例如数据库，可以使用SQL语句。再如对元数据的搜索，例如windows中对文件名、类型和修改时间进行搜索等。
对结构化的数据，可以使用搜索算法按照结构较快地进行检索。
1.2 非结构化数据(全文数据)
指不定长或没有固定格式的数据，例如邮件、word文档等。
对非结构化数据的搜索，例如windows中对文件内容的搜索、Linux中grep命令，以及使用Google或百度来搜索内容都属于对全文数据的搜索。
对非结构化数据，由于没有特定结构，因此在数据量比较小时，可以使用顺序扫描法，一个文件一个文件地找，找到包含检索字符串的文件。如windows文件搜索，Linux中grep命令。这样的方法对于数据量较小时比较直接，但是对于数据量较大的文件检索效率较低。
如果数据量较大，就需要用到全文检索算法。
2. 全文检索
将非结构化数据按照规则提取信息，重新组织，使其有一定结构（建立倒排索引），对有一定结构的数据利用搜索算法加快检索速度。例如字典中将拼音作为索引进行排序。
全文检索的实现简单分两步：建立索引(indexing)和根据索引搜索(search)。
2.1 建立索引
分词：将文档内容传递给分词组件，分组组件根据标点符号和停词进行分词，将文档分为一个一个单独的单词，经过分词后得到的结果称为词元(Token)。
语言处理：将得到的词元传给语言处理组件进行语言处理，语言处理组件处理后的结果称为词（Term）。
建立倒排：将语言处理后得到的词，传递个indexing模块，建立从词到文档的倒排表。
2.2 搜索
输入处理：用户输入查询语句（有一定语法：AND/OR/NOT）；对查询语句进行词法分析，语法分析，语言处理，得到查询词。
搜索索引：从倒排表中获取文档拉链，根据查询语法执行交并差运算，得到最终文档拉链。
相关性计算：找到关键词，并计算关键词对当前文档的权重，权重越大的单词在计算文档的相关性中作用越大。
相关性排序：根据词的权重来进行结果排序。
3. lucene简介
Lucene是apache软件基金会发布的一个开放源代码的全文检索引擎工具包，它是一个全文检索引擎的架构，提供了完整的创建索引和查询索引，以及部分文本分析的引擎。
目前主流的搜索系统Elasticsearch和solr都是基于lucene的索引和搜索能力进行
3.1 基本数据模型
Index：索引，由很多的Document组成。
Document：由很多的Field组成，是Index和Search的最小单位。
Field：由很多的Term组成，包括Field Name和Field Value。
Term：由很多的字节组成。一般将Text类型的Field Value分词之后的每个最小单元叫做Term。
