在代码实现倒排索引这节中，我们的分词方式是对文本按空格分词。而在我们实际过程中，我们对分词的要求是苛刻的，我们会在不同的场景下使用不同的分词器。现在，我们先使用标准分词器StandardAnalyzer这个工具来进行分词的测试。

• 首先我们需要引入jar包，这是一个Lucene全文检索引擎中自带的分词器.

    <dependency>
             <groupId>org.apache.lucene</groupId>
              <artifactId>lucene-analyzers-common</artifactId>
              <version>4.7.2</version>
    </dependency>  
  

• 简单的使用

    import org.apache.lucene.analysis.Analyzer;
    import org.apache.lucene.analysis.TokenStream;
    import org.apache.lucene.analysis.core.SimpleAnalyzer;
    import org.apache.lucene.analysis.standard.StandardAnalyzer;
    import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
    import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
    import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
    
    import java.io.IOException;
    import java.io.StringReader;
    
    /**
     * created by yuyufeng on 2017/11/9.
     */
    public class LearnAnalyzer {
        public static void main(String[] args) {
            // 构建分词器
            Analyzer analyzer = new StandardAnalyzer();
    
            // 获取Lucene的TokenStream对象
            TokenStream ts = null;
            try {
                ts = analyzer.tokenStream("myfield", new StringReader(
                        "这是一个分词的例子，我们来使用一下试试。 Let's use it."));
                // 获取词元位置属性
                OffsetAttribute offset = ts.addAttribute(OffsetAttribute.class);
                // 获取词元文本属性
                CharTermAttribute term = ts.addAttribute(CharTermAttribute.class);
                // 获取词元文本属性
                TypeAttribute type = ts.addAttribute(TypeAttribute.class);
    
                // 重置TokenStream（重置StringReader）
                ts.reset();
                // 迭代获取分词结果
                while (ts.incrementToken()) {
                    System.out.println(offset.startOffset() + " - " + offset.endOffset() + " : "
                            + term.toString() + " | " + type.type());
                }
                // 关闭TokenStream（关闭StringReader）
                ts.end(); // Perform end-of-stream operations, e.g. set the final offset.
    
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                // 释放TokenStream的所有资源
                if (ts != null) {
                    try {
                        ts.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
        }
    }
  

运行结果：

0 - 1 : 这 | <IDEOGRAPHIC>
1 - 2 : 是 | <IDEOGRAPHIC>
2 - 3 : 一 | <IDEOGRAPHIC>
3 - 4 : 个 | <IDEOGRAPHIC>
4 - 5 : 分 | <IDEOGRAPHIC>
5 - 6 : 词 | <IDEOGRAPHIC>
6 - 7 : 的 | <IDEOGRAPHIC>
7 - 8 : 例 | <IDEOGRAPHIC>
8 - 9 : 子 | <IDEOGRAPHIC>
10 - 11 : 我 | <IDEOGRAPHIC>
11 - 12 : 们 | <IDEOGRAPHIC>
12 - 13 : 来 | <IDEOGRAPHIC>
13 - 14 : 使 | <IDEOGRAPHIC>
14 - 15 : 用 | <IDEOGRAPHIC>
15 - 16 : 一 | <IDEOGRAPHIC>
16 - 17 : 下 | <IDEOGRAPHIC>
17 - 18 : 试 | <IDEOGRAPHIC>
18 - 19 : 试 | <IDEOGRAPHIC>
21 - 26 : let's | <ALPHANUM>
27 - 30 : use | <ALPHANUM>

StandardAnalyzer是一个标准的分词器，它以非字母符来分割文本信息，并将语汇单元统一为小写形式，并去掉数字类型的字符。而我们的中文词组的分词显然不同。所以，对于中文的分词，我们常用的有IK分词器

<dependency>
  <groupId>com.janeluo</groupId>
  <artifactId>ikanalyzer</artifactId>
  <version>2012_u6</version>
</dependency>

上面的代码修改分词器的实现：
Analyzer analyzer = new IKAnalyzer(true);

分词结果：
0 - 2 : 这是 | CN_WORD
2 - 4 : 一个 | CN_WORD
4 - 6 : 分词 | CN_WORD
6 - 7 : 的 | CN_WORD
7 - 9 : 例子 | CN_WORD
10 - 12 : 我们 | CN_WORD
12 - 14 : 来使 | CN_WORD
14 - 17 : 用一下 | CN_WORD
17 - 19 : 试试 | CN_WORD
21 - 24 : let | ENGLISH
25 - 26 : s | ENGLISH
27 - 30 : use | ENGLISH
31 - 34 : it. | LETTER

显然，这个是中英文分词的，相比StandardAnalyzer更适合我们日常使用

常见的分词器