一、Document数据格式
面向文档的搜索分析引擎
1、应用系统的数据结构都是面向对象的，复杂的
2、对象数据存储到数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，相当麻烦
3、ES是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引，全文检索，分析聚合等功能
4、es的document用json数据格式来表达
电商网站商品管理:
有一个电商网站，需要为其基于ES构建一个后台系统，提供以下功能：
1、对商品信息进行CRUD（增删改查）操作
2、执行简单的结构化查询
3、可以执行简单的全文检索，以及复杂的phrase（短语）检索
4、对于全文检索的结果，可以进行高亮显示
5、对数据进行简单的聚合分析
二、简单的集群管理
- 快速检查集群的健康状况
es提供了一套api，叫做cat api，可以查看es中各种各样的数据
GET /_cat/health?v
# http://192.168.77.130:9200/_cat/health?v
# 快速检查集群的健康状况
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1572487776 10:09:36 elasticsearch yellow 1 1 6 6 0 0 5 0 - 54.5%
如何快速了解集群的健康状况？
green、yellow、red？
green：每个索引的primary shard和replica shard都是active状态的
yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态
red：不是所有索引的primary shard都是active状态的，部分索引有数据丢失了。
为什么现在会处于一个yellow状态？
只启动了一个es进程，相当于就只有一个node。现在es中有一个index，就是kibana自己内置建立的index。由于默认的配置是给每个index分配5个primary shard和5个replica shard，而且primary shard和replica shard不能在同一台机器上（为了容错）。现在kibana自己建立的index是1个primary shard和1个replica shard。当前就一个node，所以只有1个primary shard被分配了和启动了，但是一个replica shard没有第二台机器去启动。
实验：此时只要启动第二个es进程，就会在es集群中有2个node，然后那1个replica shard就会自动分配过去，然后cluster status就会变成green状态。
- 快速查看集群中有哪些索引
GET _cat/indices?v
- 简单的索引操作
{
"settings": {
"number_of_shards": 4,
"number_of_replicas": 0
},
"mappings": {
"goods": {
"properties": {
"name": {
"type": "text"
},
"goods_no": {
"type": "text"
},
"market_price": {
"type": "double"
}
}
}
}
}
- 删除
删除
DELETE http://192.168.77.130:9200/goods_index
返回：
{
"acknowledged": true
}
- 商品的CRUD操作（文档CRUD操作）
新增商品：新增文档，建立索引
格式:
PUT /index/type/id
{
"json数据"
}
- 创建
es会自动建立index和type，不需要提前创建，而且es默认会对document每个field都建立倒排索引，让其可以被搜索:
PUT http://192.168.77.130:9200/goods_index/goods/1/_create
{
"name":"供应藏族成年表演服 个性民族手工艺舞台服 接待迎宾演出服",
"sell_price":696,
"market_price":696,
"cost_price":300
}
2）检索
格式:
GET /index/type/id
GET http://192.168.77.130:9200/goods_index/goods/1
3）修改商品
替换方式，即使必须带上所有的field，才能去进行信息的修改
PUT http://192.168.77.130:9200/goods_index/goods/1
{
"name":"供应藏族成年舞蹈表演服 民族特色藏袍 个性大方生活迎宾接待服",
"sell_price":696,
"market_price":696,
"cost_price":300
}
修改商品
POST http://192.168.77.130:9200/goods_index/goods/1/_update
必须使用：doc
{
"doc":{
"name":"供应藏族成人表演服 大方个性修身舞台舞蹈服 迎宾接待藏袍"
}
}
- 删除商品 删除文档
DELETE http://192.168.77.130:9200/goods_index/goods/1
删除商品
5)ES修改数据类型：
es创建好了mapping后是不允许修改字段类型的，要是我们想修改字段类型怎么办呢，我们可以采用reindex的方法实现，就是创建一个新的mapping，里面的字段类型按照新的类型定义，然后使用reindex的方法把原来的数据拷贝到新的index下面。
1.查看原来的mapping
[es@localhost ~]$ curl -u es:es -H "Content-Type: application/json" -XGET "http://192.168.1.85:9200/db_customer/_mappings?pretty=true"
{
"db_customer" : {
"mappings" : {
"tb_test" : {
"properties" : {
"name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
}
}
}
}
可以看到tb_test的字段name为text类型，我想将其修改成keyword类型:
2.创建新的index和mapping
# 创建一个新的index
curl -u es:es -H 'Content-Type: application/json' -XPUT "http://192.168.1.85:9200/copy01_db_customer"
# 创建一个mapping
curl -u es:es -H 'Content-Type: application/json' -XPOST "http://192.168.1.85:9200/copy01_db_customer/tb_test/_mapping?pretty" -d '
{
"tb_test": {
"properties": {
"name": {
"type": "keyword",
"store": "true"
}
}
}
}
'
创建了一个新的index叫做opy01_db_customer，相应的tb_test mapping 字段name 为keyword类型
数据同步:
curl -u es:es -X POST "192.168.1.85:9200/_reindex" -H 'Content-Type: application/json' -d'
{
"source": {
"index": "db_customer"
},
"dest": {
"index": "copy01_db_customer"
}
}'
再次查看新index结构:
[es@localhost ~]$ curl -u es:es -H "Content-Type: application/json" -XGET "http://192.168.1.85:9200/copy01_db_customer/_mappings?pretty=true"
{
"copy01_db_customer" : {
"mappings" : {
"tb_test" : {
"properties" : {
"name" : {
"type" : "keyword",
"store" : true
}
}
}
}
}
}
三、常见问题
-
x-pack安装后，postman认证问题
认证 - ! Deprecation: the default number of shards will change from [5] to [1] in 7.0.0; if you wish to continue using the default of [5] shards, you must manage this on the create index request or with an index template
默认分片数将从5变为1在7.x版本，如想使用默认的5可以新建带有索引模板的索引请求。
