Elasticsearch 如何设计映射?

1. 映射 (mapping) 基础

mapping 定义了文档的各个字段如何被索引以及如何存储。我们可以把 Elasticsearch 的 mapping 看做 RDBMS 的 schema。

虽然 Elasticsearch 可以根据索引的数据动态的生成 mapping,我们仍然建议在创建索引时明确的定义自己的 mapping,不合理的 mapping 会引发索引和查询性能降低,磁盘占用空间变大。错误的 mapping 会导致与预期不符的查询结果。

2. 选择合适的数据类型

2.1 分清 text 和 keyword

text 类型

  • 用于存储全文搜索数据,例如:邮箱内容、地址、代码块、博客文章内容等。
  • 默认结合 standard analyzer(标准解析器)对文本进行分词、倒排索引。
  • 默认结合标准分析器进行词命中、词频相关度打分。

keyword 类型

  • 用于存储需要精确匹配的数据。例如手机号码、主机名、状态码、邮政编码、标签、年龄、性别等数据。
  • 用于筛选数据(如 select * from x where status=‘open’)、排序、聚合(统计)。
  • 直接将完整的文本保存到倒排索引中,并不会对字段的数据进行分词。

如果 keyword 能满足需求,尽量使用 keyword 类型。

3. mapping 和 indexing

mapping 定义得是否合理,将直接影响 indexing 性能,也会影响磁盘空间的使用。

3.1 mapping 无法修改

Ealsticsearch 的 mapping 一旦创建,只能增加字段,不能修改已有字段的类型。

3.2 几个重要的 meta field

1. _all

虽然在 Elasticsearch 6.x 中,_all 已经是 deprecated,但是考虑到 6.x 之前的版本创建的索引 _all 字段是默认启用的,这里有必要详细说说明下该字段的含义。

_all 字段是一个 text 字段,它将你索引的单个文档的所有字段连接成一个超级串,之后进行分词、索引。如果你不指定字段,query_string 查询和 simple_query_string 查询默认查询 _all 字段。

_all 字段不是“免费”的,索引过程会占用额外的 CPU 资源,根据测试,在我们的数据集上,禁用 _all 字段后,索引性能可以提高 30%+,所以,如果您在没有明确 _all 含义的情况下,历史索引没有禁用 _all 字段,建议您重新审视该字段,看是否需要禁用,并 reindex,以获取更高的索引性能以及占用更少的磁盘空间。如果 _all 提供的功能对于您的业务必不可少,考虑使用 copy_to 参数代替 _all 字段。

完整内容:《高可用 Elasticsearch 集群 21 讲》

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容