1、什么是分析
分析是在文档被发送并加入到倒排索引之前，ES在其主体上进行的操作。
这四个部分组成分析器
- 字符过滤
- 文本切分
- 分词过滤，将分词作为输入根据需要进行修改，添加或删除。这一步可以处理停用词、同义词
- 分词索引
分析流程
2、为文档使用分析器
在索引创建时增加分析器
图片.png
在配置中添加分析器
在映射中指定某个字段的分析器
{
"mappings": {
"document":{
"properties":{
"description":{
"type":"string",
"analyzer":"myCustomAnalyzer"
}
}
}
}
}
3、使用分析API来分析文本
_analyze端点，允许你向ES发送任何文本，指定所使用的分析器、分词器或分词过滤器，然后获取分析后的分词。
分析API
4、分析器、分词器和分词过滤器
内置分析器
一个分析器包括一个可选的字符过滤器、一个单个分词器、0个或多个分词过滤器1
分析器概览
- 标准分析器
- 简单分析器
- 空白分析器
- 停用词分析器
- 关键词分析器，将整个字段当做一个单独的分词。
- 模式分析器，可指定分词切分模式
- 雪球分析器
分词器
- 标准分词，基于语法的分词器
- 关键词分词，将整个文本作为单个分词
- 字母分词，根据非字母的符号进行切分
- 小写分词，分词同时会转换小写
- 空白分词器
- 模式分词器
curl -XPOST 'localhost:9200/pattern' -d '
{
"settings": {
"index":{
"analysis":{
"tokenizer":{
"pattern1":{
"type":"pattern",
"pattern":"\\.-\\."
}
}
}
}
}
}
分词过滤器
分词过滤器
- 标准分词过滤器，其实什么都没过滤
- 小写分词过滤器，转换成小写
- 长度分词过滤器
- 停用词分词过滤器
curl -XPOST 'localhost:9200/stopwords' -d '
{
"settings": {
"index":{
"analysis":{
"analyzer":{
"stop1":{
"type":"custom",
"tokenizer":"standard",
"filter":["my-stop-filter"]
}
},
"filter":{
"my-stop-filter":{
"type":"stop",
"stopwords":["the", "a", "an"]
}
}
}
}
}
}
- 截断分词过滤器、修建分词过滤器
- 颠倒分词过滤器
- 唯一分词过滤器
- 同义词分词过滤器
curl -XPOST 'localhost:9200/syn-test' -d '
{
"settings": {
"index":{
"analysis":{
"analyzer":{
"synoyms":{
"type":"custom",
"tokenizer":"standard",
"filter":["my-synonym-filter"]
}
},
"filter":{
"my-synonym-filter":{
"type":"synonym",
"expand": true,
"synonyms":["automobile" => "car"]
}
}
}
}
}
}
5、N元语法、侧边N元语法和滑动窗口
N元语法过滤器
- spaghe 一元 被分成 s p a g h e
- 二元被分成 sp pa ag gh he
- 三元被分成 spa pag agh ghe
- 当事先不知道何种语言，或者单词结合方式和欧洲语言不通，仍然允许用户对文本进行分析
侧边N元语法过滤器
- 仅仅从前端的边缘开始构建N元语法
- 设置min_gram为2 max_gram为6 就可以分为 sp spa spag spagh spaghe
curl -XPOST 'localhost:9200/ng' -d '
{
"settings": {
"index":{
"analysis":{
"analyzer":{
"ng1":{
"type":"custom",
"tokenizer":"standard",
"filter":["ngf1"]
}
},
"filter":{
"ngf1":{
"type":"edgeNgram",
"min-gram": 2,
"min-gram":6
}
}
}
}
}
}
滑动窗口分词过滤器
字符级别的滑动
foo, bar, baz 就可以分成 foo, foo bar, foo bar baz
6、提取词干
算法提取词干
-
过滤器，snowball过滤器、porter stem过滤器、kstem过滤器
过滤器
