分词器
切分词语，normalization（提升recall召回率-增加搜索可返回的搜索数），把句子拆分成一个个单词，并同时对每个单词进行normaliztion（时态转换，单复数转换）
分词器的构成
- character filter：在一段文本进行分词时，进行预处理，比如最常见的，过滤html标签<div>you</div> --> you, i&you -- > i and you
- tokenizer: 分词
- token filter : 大小写，同义词，a/the/an -->干掉,mother -- > mom,small - little
内置分词器
Set the shape to semi-transparent by calling set_trans (5)
- standard analyzer（默认分词器）：
set,the,shape,to,semi,transparent,by,calling,set_trans,5 - simple analyzer://数字符号全部干掉
set,the,shape,to,semi,transparent,by,calling,set,trans
whitespace analyzer: //空格切分
Set,the,shape,to,semi-transparent,by,calling,set_trans(5)
language analyzer(特定语言分词器): // 语义切分
set,shape,semi,transper,call,set_tran,5
