Elasticsearch 如何设计映射?

1. 映射 (mapping) 基础

mapping 定义了文档的各个字段如何被索引以及如何存储。我们可以把 Elasticsearch 的 mapping 看做 RDBMS 的 schema。

虽然 Elasticsearch 可以根据索引的数据动态的生成 mapping,我们仍然建议在创建索引时明确的定义自己的 mapping,不合理的 mapping 会引发索引和查询性能降低,磁盘占用空间变大。错误的 mapping 会导致与预期不符的查询结果。

2. 选择合适的数据类型

2.1 分清 text 和 keyword

text 类型

  • 用于存储全文搜索数据,例如:邮箱内容、地址、代码块、博客文章内容等。
  • 默认结合 standard analyzer(标准解析器)对文本进行分词、倒排索引。
  • 默认结合标准分析器进行词命中、词频相关度打分。

keyword 类型

  • 用于存储需要精确匹配的数据。例如手机号码、主机名、状态码、邮政编码、标签、年龄、性别等数据。
  • 用于筛选数据(如 select * from x where status=‘open’)、排序、聚合(统计)。
  • 直接将完整的文本保存到倒排索引中,并不会对字段的数据进行分词。

如果 keyword 能满足需求,尽量使用 keyword 类型。

3. mapping 和 indexing

mapping 定义得是否合理,将直接影响 indexing 性能,也会影响磁盘空间的使用。

3.1 mapping 无法修改

Ealsticsearch 的 mapping 一旦创建,只能增加字段,不能修改已有字段的类型。

3.2 几个重要的 meta field

1. _all

虽然在 Elasticsearch 6.x 中,_all 已经是 deprecated,但是考虑到 6.x 之前的版本创建的索引 _all 字段是默认启用的,这里有必要详细说说明下该字段的含义。

_all 字段是一个 text 字段,它将你索引的单个文档的所有字段连接成一个超级串,之后进行分词、索引。如果你不指定字段,query_string 查询和 simple_query_string 查询默认查询 _all 字段。

_all 字段不是“免费”的,索引过程会占用额外的 CPU 资源,根据测试,在我们的数据集上,禁用 _all 字段后,索引性能可以提高 30%+,所以,如果您在没有明确 _all 含义的情况下,历史索引没有禁用 _all 字段,建议您重新审视该字段,看是否需要禁用,并 reindex,以获取更高的索引性能以及占用更少的磁盘空间。如果 _all 提供的功能对于您的业务必不可少,考虑使用 copy_to 参数代替 _all 字段。

完整内容:《高可用 Elasticsearch 集群 21 讲》

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容