来源:https://mp.weixin.qq.com/s/4h95pWhWSGBRGgR0_rD_Dg
映射简介及类比
映射也就是mapping,用来定义一个文档以及其所包含的字段如何被存储和索引,可以在映射中事先定义字段的数据类型、分词等属性。
与关系型数据库对比
在关系型数据库中创建数据表时会设置字段的类型,如下 创建user_info表,
create table user_info
(
id VARCHAR2(32) not null,
name VARCHAR2(50),
tel VARCHAR2(11),
create_time DATE
)
es创建索引时同样可以设置字段的属性,作用是使索引的配置更加灵活和完善,可以在mapping中设置字段的类型、字段的权重等信息。
字段类型
上面我把常用mapping类型标红了。
字符串类型
(1)string
string类型在ElasticSearch 旧版本中使用较多,从ElasticSearch 5.x开始不再支持string,由text和keyword类型替代。
(2)text
当一个字段是要被全文搜索的,比如Email内容、产品描述,应该使用text类型。设置text类型以后,字段内容会被分析,在生成倒排索引以前,字符串会被分析器分成一个一个词项。text类型的字段不用于排序,很少用于聚合。
(3)keyword
keyword类型适用于索引结构化的字段,比如email地址、主机名、状态码和标签。如果字段需要进行过滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精确值搜索到。
整数类型
类型取值范围
byte-128~127
short-32768~32767
integer-231~231-1
long-263~263-1
在满足需求的情况下,尽可能选择范围小的数据类型。比如,某个字段的取值最大值不会超过100,那么选择byte类型即可。迄今为止吉尼斯记录的人类的年龄的最大值为134岁,对于年龄字段,short足矣。字段的长度越短,索引和搜索的效率越高。
浮点类型
类型取值范围
doule64位双精度IEEE 754浮点类型
float32位单精度IEEE 754浮点类型
half_float16位半精度IEEE 754浮点类型
scaled_float缩放类型的的浮点数
对于float、half_float和scaled_float,-0.0和+0.0是不同的值,使用term查询查找-0.0不会匹配+0.0,同样range查询中上边界是-0.0不会匹配+0.0,下边界是+0.0不会匹配-0.0。其中scaled_float,比如价格只需要精确到分,price为57.34的字段缩放因子为100,存起来就是5734优先考虑使用带缩放因子的scaled_float浮点类型。
date类型
我们人类使用的计时系统是相当复杂的:秒是基本单位, 60秒为1分钟, 60分钟为1小时, 24小时是一天……如果计算机也使用相同的方式来计时, 那显然就要用多个变量来分别存放年月日时分秒, 不停的进行进位运算, 而且还要处理偶尔的闰年和闰秒以及协调不同的时区. 基于”追求简单”的设计理念, UNIX在内部采用了一种最简单的计时方式:
日期类型表示格式可以是以下几种:
(1)日期格式的字符串,比如 “2018-01-13” 或 “2018-01-13 12:10:30”
(2)long类型的毫秒数( milliseconds-since-the-epoch,epoch就是指UNIX诞生的UTC时间1970年1月1日0时0分0秒)
(3)integer的秒数(seconds-since-the-epoch)
ElasticSearch 内部会将日期数据转换为UTC,并存储为milliseconds-since-the-epoch的long型整数。
boolean类型
逻辑类型(布尔类型)可以接受true/false/”true”/”false”值
(1)先删除已经存在的索引,再创建
DELETE test
PUT test
{
"mappings":{
"my":{
"properties": {
"empty":{"type":"boolean"}
}
}
}
}
binary类型
二进制字段是指用base64来表示索引中存储的二进制数据,可用来存储二进制形式的数据,例如图像。默认情况下,该类型的字段只存储不索引。二进制类型只支持index_name属性。
array类型
在ElasticSearch中,没有专门的数组(Array)数据类型,但是,在默认情况下,任意一个字段都可以包含0或多个值,这意味着每个字段默认都是数组类型,只不过,数组类型的各个元素值的数据类型必须相同。在ElasticSearch中,数组是开箱即用的(out of box),不需要进行任何配置,就可以直接使用。
在同一个数组中,数组元素的数据类型是相同的,ElasticSearch不支持元素为多个数据类型:[ 10, “some string” ],常用的数组类型是:
(1)字符数组: [ “one”, “two” ]
(2)整数数组: productid:[ 1, 2 ]
(3)对象(文档)数组: “user”:[ { “name”: “Mary”, “age”: 12 }, { “name”: “John”, “age”: 10 }],ElasticSearch内部把对象数组展开为 {“user.name”: [“Mary”, “John”], “user.age”: [12,10]}
object类型
JSON天生具有层级关系,文档会包含嵌套的对象,obejct类型会使得内部对象的关联性丢失插入:对象数据"user": [{ "first": "John", "last":"Smith"},{ "first":"Alice","last":"White"}]转换后{"user.first":"alice","john"],"user.last":["smith", "white"]}
PUT test/my/1
{
"employee":{
"age":30,
"fullname":{
"first":"hadron",
"last":"cheng"
}
}
}
上面文档整体是一个JSON,JSON中包含一个employee,employee又包含一个fullname。
GET test/_mapping
{
"test": {
"mappings": {
"my": {
"properties": {
"employee": {
"properties": {
"age": { "type": "long"},
"fullname": {
"properties": {
"first": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"last": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
}
}
}
}
}
ip类型
ip类型的字段用于存储IPv4或者IPv6的地址
(1)创建索引
DELETE test
PUT test
{
"mappings": {
"my":{
"properties": {
"nodeIP":{
"type": "ip"
}
}
}
}
}
查询字段
GET test/_search
{
"query": {
"term": {
"nodeIP": "192.168.0.0/16"
}
}
}
{
"took": 111,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 1,
"hits": [
{
"_index": "test",
"_type": "my",
"_id": "1",
"_score": 1,
"_source": {
"nodeIP": "192.168.1.2"
}
}
]
}
}
nested类型
nested类型就是为了解决object类型在对象数组上丢失关联性的问题的,如果将字段设置为nested类型,那个每一个嵌套对象都会被索引为一个 "隐藏的独立文档"
在Elasticsearch实战场景中,我们或多或少会遇到嵌套文档的组合形式
2)Nested嵌套类型
定义index mapping
PUT /my_index
{
"mappings": {
"_doc" : {
"properties" : {
"obj1" : {
"type" : "nested"
}
}
}
}
}
join类型
1)父子文档
父子文档在5.X版本中通过parent-child父子type实现,即:1个索引对应多个type;
6.X+版本已经不再支持一个索引多个type,6.X+的父子索引的实现改成Join。
静态映射
静态映射是在创建索引时手工指定索引映射(即索引字段的类型),这个类似关系型数据库创建表指定字段类型。相比动态映射,静态映射可以更加详细、准确的配置信息。
创建mapping
PUT user_info
{
"mappings": {
"dynamic": false,
"properties": {
"title": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"name": {
"type": "keyword",
"index": "true"
},
"address": {
"type": "keyword",
"index": "false"
},
"userIp": {
"type": "ip"
},
"position ": {
"type" : "geo_point"
},
"china": {
"type": "boolean"
},
"birthdate": {
"type": "date",
"format": "yyyy-MM-dd"
}
}
}
}
我们看到右侧执行成功,如果出现"reason": "failed to find global analyzer [ik_max_word]" 检查ik分词插件是否装好。最后觉得有用点击个在看。