1. 映射 (mapping) 基础
mapping 定义了文档的各个字段如何被索引以及如何存储。我们可以把 Elasticsearch 的 mapping 看做 RDBMS 的 schema。
虽然 Elasticsearch 可以根据索引的数据动态的生成 mapping,我们仍然建议在创建索引时明确的定义自己的 mapping,不合理的 mapping 会引发索引和查询性能降低,磁盘占用空间变大。错误的 mapping 会导致与预期不符的查询结果。
2. 选择合适的数据类型
2.1 分清 text 和 keyword
text 类型
- 用于存储全文搜索数据,例如:邮箱内容、地址、代码块、博客文章内容等。
- 默认结合 standard analyzer(标准解析器)对文本进行分词、倒排索引。
- 默认结合标准分析器进行词命中、词频相关度打分。
keyword 类型
- 用于存储需要精确匹配的数据。例如手机号码、主机名、状态码、邮政编码、标签、年龄、性别等数据。
- 用于筛选数据(如
select * from x where status=‘open’
)、排序、聚合(统计)。 - 直接将完整的文本保存到倒排索引中,并不会对字段的数据进行分词。
如果 keyword 能满足需求,尽量使用 keyword 类型。
3. mapping 和 indexing
mapping 定义得是否合理,将直接影响 indexing 性能,也会影响磁盘空间的使用。
3.1 mapping 无法修改
Ealsticsearch 的 mapping 一旦创建,只能增加字段,不能修改已有字段的类型。
3.2 几个重要的 meta field
1. _all
虽然在 Elasticsearch 6.x 中,_all
已经是 deprecated,但是考虑到 6.x 之前的版本创建的索引 _all
字段是默认启用的,这里有必要详细说说明下该字段的含义。
_all
字段是一个 text 字段,它将你索引的单个文档的所有字段连接成一个超级串,之后进行分词、索引。如果你不指定字段,query_string
查询和 simple_query_string
查询默认查询 _all
字段。
_all
字段不是“免费”的,索引过程会占用额外的 CPU 资源,根据测试,在我们的数据集上,禁用 _all
字段后,索引性能可以提高 30%+,所以,如果您在没有明确 _all
含义的情况下,历史索引没有禁用 _all
字段,建议您重新审视该字段,看是否需要禁用,并 reindex,以获取更高的索引性能以及占用更少的磁盘空间。如果 _all
提供的功能对于您的业务必不可少,考虑使用 copy_to
参数代替 _all
字段。