- 常用的数据类型
1.1 keyword类型
1.2 text类型
1.3 数字类型
1.4 时间类型 - 复杂的数据类型
2.1 数组类型
2.2 对象类型
2.3 嵌套类型
推荐阅读
es创建索引后，需要指定字段的映射关系。而es提供了哪些数据类型呢？
推荐阅读：Elasticsearch的数据类型 (text、keyword、date、object、geo等)
此文着重实践，去创建索引的映射关系。
1. 常用的数据类型
1.1 keyword类型
在 ES2.x 版本字符串数据是没有 keyword 和 text 类型的，只有string类型，ES更新到5版本后，取消了 string 数据类型，代替它的是 keyword 和 text 数据类型。
- 不进行分词，直接索引,支持模糊、支持精确匹配，支持聚合、排序操作。
- 最大支持的长度为32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。
使用场景：
- 存储邮箱号码、url、name、title，手机号码、主机名、状态码、邮政编码、标签、年龄、性别等数据。
- 用于筛选数据(例如: select * from x where status='open')、排序、聚合(统计)。
直接将完整的文本保存到倒排索引中。
# 创建索引
PUT test_keyword
#创建映射关系
PUT test_keyword/_mapping
{
"properties":{
"name":{
"type":"keyword",
"index":true
}
}
}
#填充数据
POST _bulk
{"create":{"_index":"test_keyword","_type":"_doc"}}
{"name":"JAVA ES"}
{"create":{"_index":"test_keyword","_type":"_doc"}}
{"name":"JAVA hadoop"}
{"create":{"_index":"test_keyword","_type":"_doc"}}
{"name":"PHP"}
#查看数据
GET test_keyword/_search
# 查看是否分词
GET test_keyword/_analyze
{
"field": "name",
"text":"JAVA BOOK"
}
1.2 text类型
- 支持分词，全文检索,支持模糊、精确查询,
- 不支持聚合,排序操作；
- 最大支持的字符长度无限制,适合大字段存储；
使用场景：
- 存储全文搜索数据, 例如: 邮箱内容、地址、代码块、博客文章内容等。
- 默认结合standard analyzer(标准解析器)对文本进行分词、倒排索引。
- 默认结合标准分析器进行词命中、词频相关度打分。
1.3 数字类型
1.4 时间类型
JSON中没有字符串，所以在ES中，日期可以是：
- 包含格式化日期的字符串，例如"2018-10-01"。
- 代表时间毫秒数的长整型数字。
- 代表时间秒数的整数。
如果时区未指定, 日期将被转换为UTC格式, 但存储的却是长整型的毫秒值.
可以自定义日期格式, 若未指定, 则使用默认格式: strict_date_optional_time||epoch_millis
自定义日期格式：
多个格式使用双竖线||分隔, 每个格式都会被依次尝试, 直到找到匹配的.
第一个格式用于将时间毫秒值转换为对应格式的字符串.
# 创建索引
PUT test_date
#创建映射关系
PUT test_date/_mapping
{
"properties":{
"name":{
"type":"date",
"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
}
}
}
# 插入数据
POST test_date/_doc
{
"name":"2001-10-12"
}
# 插入数据
POST test_date/_doc
{
"name":"2001-10-12 12:12:11"
}
#插入成功
POST test_date/_doc
{
"name":"1589584930103"
}
GET test_date/_search
2. 复杂的数据类型
2.1 数组类型
ES中没有专门的数组类型，可以直接使用[]定义。
对于文档数组，每个元素都是结构相同的文档，文档之间都不是独立的，在文档数组中，不能独立于其他文档而去查询单个文档，这是因为，一个文档的内部字段之间的关联被移除，各个文档共同构成对象数组。
注意点：数组中所有的值必须是同一种数据类型, 不支持混合数据类型的数组。
创建成功后，存储的类型为long类型。
字符串数组类型：
# 创建索引
PUT test_array
#填充文档
POST test_array/_doc
{
"name":["JAVA","es"]
}
# 查看映射
GET test_array/_mapping
# 这种方式，并不会查询到数据，因为name为text类型
GET test_array/_search
{
"query": {
"terms": {
"name": [
"JAVA"
]
}
}
}
# term操作（精确匹配），可以查询到数据
GET test_array/_search
{
"query": {
"term": {
"name": {
"value": "java"
}
}
}
}
2.2 对象类型
由于JSON文档是分层的，文档可以包含内部对象，内部对象也可以包含内部对象。
# 创建索引
PUT test_object
# 创建嵌套对象
POST test_object/_doc
{
"name":"li si",
"address":{
"region":"China",
"location":{"province":"hunan","city":"changsha"}
}
}
# 查看映射
GET test_object/_mapping
# 或者创建嵌套对象
POST test_object/_doc
{
"name":"zhang san",
"address.region":"china",
"address.location.province":"hubei",
"address.location.city":"wuhan"
}
# 查询
GET test_object/_search
{
"query": {
"match": {
"address.region": "china"
}
}
}
2.3 嵌套对象
场景：
#创建索引
PUT test_nonest
# 插入3条数据
POST test_nonest/_doc
{
"group":"stark",
"performer":[
{"frist":"li","last":"bai"},
{"frist":"no","last":"tom"}
]
}
POST test_nonest/_doc
{
"group":"stark",
"performer":[
{"frist":"tom","last":"chen"},
{"frist":"manwang","last":"snow"}
]
}
POST test_nonest/_doc
{
"group":"stark",
"performer":[
{"frist":"tom","last":"snow"},
{"frist":"jone","last":"jone"}
]
}
# 想查询3个文档中，performer数组对象参数为tom-snow所在的文档
POST test_nonest/_search
{
"query": {
"bool": {
"must": [
{"match": {
"performer.frist": "tom"
}},
{"match": {
"performer.last": "snow"
}}
]
}
}
}
查询结果：
但是得到的文档是2个，我们仔细看第一个，实际上是不满足我们的需求。因为我们想要的匹配条件在数组的两个对象中。
原因：实际上，在ES中存储的
{
"group":"stark",
"performer":[
{"frist":"tom","last":"chen"},
{"frist":"manwang","last":"snow"}
]
}
会被转换为：
{
"group": "stark",
"performer.first": [ "tom", "john" ],
"performer.last": [ "manwang", "snow" ]
}
所以也会被查询出来。
解决方案：如果需要以对象进行索引, 且保留数组中每个对象的独立性, 就应该使用嵌套数据类型。
—— 嵌套对象实质是将每个对象分离出来, 作为隐藏文档进行索引。
#创建索引
PUT test_nest
# 增加映射(核心)
PUT test_nest/_mapping
{
"properties":{
"performer":{"type":"nested"}
}
}
# 插入3条数据
POST test_nest/_doc
{
"group":"stark",
"performer":[
{"frist":"li","last":"bai"},
{"frist":"no","last":"tom"}
]
}
POST test_nest/_doc
{
"group":"stark",
"performer":[
{"frist":"tom","last":"chen"},
{"frist":"manwang","last":"snow"}
]
}
POST test_nest/_doc
{
"group":"stark",
"performer":[
{"frist":"tom","last":"snow"},
{"frist":"jone","last":"jone"}
]
}
#查不到数据
GET test_nest/_search
{
"query": {
"nested": {
"path": "performer",
"query": {
"bool": {
"must": [
{"match": {
"performer.frist": "tom"
}},
{"match": {
"performer.last": "snow"
}}
]
}
}
}
}
}
嵌套查询用于查询嵌套对象，执行嵌套查询执行的条件是：嵌套对象被索引为单个文档，查询作用在根文档（Root Parent）上。嵌套查询由关键字“nested”指定：
"nested" : {
"path" : "obj1",
"query" : {...}
}
必须赋值的参数：
- path参数：指定嵌套字段的文档路径，根路径是顶层的文档，通过点号“.”来指定嵌套文档的路径；
- query参数：在匹配路径（参数path）的嵌套文档上执行查询，query参数指定对嵌套文档执行的查询条件。
推荐阅读
Elasticsearch的数据类型 (text、keyword、date、object、geo等)
ElasticSearch入门 第六篇：复合数据类型——数组，对象和嵌套
