当节点收到客户端的写入请求,如果当前节点不是master节点,会将请求转发给master,master根据要写入的索引,从集群索引信息中判断是否要生成索引,没有索引则先生成索引,有则转发写入,写入的时候,如果有副本分片,会将写入请求同时转发给副本分片所在的节点上,如果有一半确定写入成功,则返回结果写入成功.
对于某一个节点来说,首先接受到请求,会先执行双写的操作,也就是写buffer和写translog,因为直接写磁盘设计到数据结构的转化,此处开销较大,所以写入buffer,而写入buffer又会存在宕机后无法恢复的风险,所以同时也写入translog,以便宕机后恢复,写入buffer后需要定期将buffer数据刷新到磁盘上才能提供查询,这一个刷新叫refresh,这个时间默认为1s,实际上es在实现buffer刷新到磁盘上时并没有直接就刷到磁盘了,而是刷到了os的cache上,但是此时cache就相当于从磁盘上拉取的数据做缓存一样,也是能够提供查询的,从cache真正的刷新到磁盘这个操作叫flush操作,默认30分钟操作,同时如果translog如果满了也会触发flush操作,当每一次flush操作,除了清空buffer和translog,还生成了一个segment,在lucene中,因为一个segment同时只能被一个写入索引打开,所以每次刷新生成一个segement而不是在一个segement上修改是可以提高并发的,但是segement过多时又会触发另外一个问题,就是查询的时候需要遍历所有的segement,在此基础上又出现了一个动作,叫做merge操作,merge就是把多个小的segement合并成一个大的segement,这个操作其实类似mysql的purge操作,就是把binlog进行合并,合并的内容除了小的segement变为大的segement还做了另外一件事情,就是删除掉设置删除的文档,luncene在设计的时候,对于删除文档,为了提高并发和性能,并没有真正的去立刻就删掉,而是将其docid存入一个.del的文件当中,当查询的时候,在去这个.del文件过滤下,就可以实现删掉的数据不会被查询出来的情况,所以merge的操作还有一步就是根据.del文件的docid去真正的删除掉这个文档.
es写入流程
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- lnnoDB是事务安全的MySQL存储引擎， 设计上采用了类似于Oracle数据库的架构。 通常来说，InnoD...
- 这篇文章主要涉及到MySQL的知识点： 索引（包括分类及优化方式，失效条件，底层结构） sql语法（join，un...
- 面试题 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排...
