Elasticsearch并发问题

Elasticsearch并发问题

      最近在项目中,遇到个要统计文章的访问量的问题。刚好文章的访问量放在ElasticSearch中,然后就碰到了并发冲突。当文章访问量为100时,当我们同时点击同一篇文章时,该篇文章的访问量按理说要+2,但是,现实并没有+2,出现并发冲突问题。es中没有像mysql中有行锁等控制并发问题。

文章访问量图解:


2.es内部如何解决并发冲突问题

  先了解下两个概念:

悲观锁:当用户A和用户B同时去访问同一篇文章时,用户A先读取初始值100后,在这过程中直接加锁,然后去更新访问量,并写入。在这过程中,用户B也会去访问该篇文章的访问量,但是这时会被锁住。当等用户A更新完成后,释放锁后,B才后读取被A更新的值101,在这基础上+1.这种方法跟java中在方法上加上同步synchronized关键字,这种方法比较容易理解和控制,但是并发能力很低。

乐观锁:es中采用就是乐观锁的机制。乐观锁不加锁。假如用户A和用户B同时去点击同一篇文章,该篇文章的访问量要+2。es中引入一个版本号的概念。用户A会先去获取es中的访问量值,拿到版本号,判断当前版本号是否一致,如果版本号一致,更新,并且版本号+1,es的访问量变为101,version=2,用户B一开始也是version=1,当A更新后version=2,与判断和自己的版本号不一致,这时es不会去重新更新es的值,而是重新获取(GET)当前document的version,然后在此版本号上再去重新更新数据。

_version的版本控制流程

不管更新,创建,删除文档,都只是在此版本号上加 1,删除时也只是逻辑删除,version+1,不是物理删除

3.1 先用GET 操作去获取document的版本号 GET /cms/article/2

3.2 PUT更新文章带上version  PUT /cms/article/2?version=1

3.3 判断当前版本号和在重新获取的版本号(有可能别人已经更新版本号已经更改)是否一致

3.4 一致更新,不一致,说明当前数据已经被更新,重新获取文章数据,在带上版本号更新,在判断,直到版本号一致才更新数据

这样处理并发量比较高,但是内部要不断去判断获取版本号,去判断是否一致。

external version 乐观锁的并发控制

PUT /cms/article/1?version=1

{

  "id":1,

  "title":"啥是佩奇",

  "date":"2019-01-21"

}

GET /cms/article/1

{

  "_index": "cms",

  "_type": "article",

  "_id": "1",

  "_version": 2,

  "found": true,

  "_source": {

   "id": 1,

   "title": "啥是佩奇",

   "date": "2019-01-21"

  }

}

?version=2 =>提供version和es的version一样才能更新

?version=2&version_type=external 当你提供的version比es中version大的时候,才嫩修改

PUT /cms/article/1?version=2&version_type=external

{

  "title":"external文章更改",

  "id": 1,

  "date": "2019-01-22"

}

----------报错。。。。

{

  "error": {

   "root_cause": [

     {

       "type": "version_conflict_engine_exception",

       "reason": "[article][1]: version conflict, current version [2] is higher or equal to the one provided [2]",

       "index_uuid": "0JfXdrUNSqemoZANcAFkGg",

       "shard": "3",

       "index": "cms"

     }

   ],

   "type": "version_conflict_engine_exception",

   "reason": "[article][1]: version conflict, current version [2] is higher or equal to the one provided [2]",

   "index_uuid": "0JfXdrUNSqemoZANcAFkGg",

   "shard": "3",

   "index": "cms"

  },

  "status": 409

}

-------------------

PUT /cms/article/1?version=3&version_type=external

{

  "title":"external文章更改",

  "id": 1,

  "date": "2019-01-22"

}

----

{

  "_index": "cms",

  "_type": "article",

  "_id": "1",

  "_version": 3,

  "result": "updated",

  "_shards": {

   "total": 2,

   "successful": 1,

   "failed": 0

  },

  "_seq_no": 2,

  "_primary_term": 5

}

部分更新 partial update

PUT /cms/article/1

{

  "doc":{

   "title": "文章更新11"

  }

}

es中数据的更新方式为:把旧数据设置标志位deleted,重新创建新的document,进行全量替换,当deleted太多时,会进行清除。

partial update:获取document进行更新,在用新的document替换

partial update 乐观锁

POST /cms/article/1/_update?retry_on_conflict=5

{

  "doc": {

   "title":"+++666"

  }

}

不能加version

7. script脚本更新

POST /cms/article/2/_update?retry_on_conflict=5

{

  "script": "ctx._source.num +=1"

}

POST /cms/article/11/_update?retry_on_conflict=5

{

  "script": "ctx._source.num +=1",

  "upsert": {

   "num": 0,

   "tags": "new—tag"

  }

}

---

{

  "_index": "cms",

  "_type": "article",

  "_id": "11",

  "_version": 1,

  "found": true,

  "_source": {

   "num": 0,

   "tags": "new—tag"

  }

}

---

POST /cms/article/2/_update?retry_on_conflict=5

{

  "script": "ctx._source.num +=1",

  "upsert": {

   "num": 0,

   "tags": "new—tag"

  }

}

----num+1 了

{

  "_index": "cms",

  "_type": "article",

  "_id": "2",

  "_version": 3,

  "found": true,

  "_source": {

   "id": 2,

   "title": "啥是佩奇",

   "date": "2019-01-21",

   "num": 2

  }

}

"upsert":如果指定的document不存在,执行upsert里面的初始化语句,存在执行doc或者script语句.

                                                                                                                                          ---学习至中华石杉

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,335评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,895评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,766评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,918评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,042评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,169评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,219评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,976评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,393评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,711评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,876评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,562评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,193评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,903评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,699评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,764评论 2 351

推荐阅读更多精彩内容

  • pyspark.sql模块 模块上下文 Spark SQL和DataFrames的重要类: pyspark.sql...
    mpro阅读 9,449评论 0 13
  • Elastic+logstash+head简单介绍 一. 概述 ElasticSearch是一个基于Lucene的...
    柒月失凄阅读 4,256评论 0 4
  • 包含的重点内容:JAVA基础JVM 知识开源框架知识操作系统多线程TCP 与 HTTP架构设计与分布式算法数据库知...
    消失er阅读 4,310评论 1 10
  • 你是孤魂 在这里游荡 从不属于这里 你在假装 听他们的声音 似乎都是熟悉人 同样的 欢笑 没有你的痕迹 他们在...
    你是喵阅读 231评论 0 5
  • 又一个快乐、充实的一天,上午聆听了西南大学附中张万国老师巜班级管理的自主化与班主任育人的课程化》讲座。他用企业精细...
    苏1234阅读 305评论 0 2