2 elasticsearch安装及名词解析、架构

上一篇 《1 初识elasticsearch 介绍篇》简单的扯了下 elasticsearch 是什么东东、能干啥、应用场景及特点。

本章讲下 elasticsearch 结合 kibana 在windows 安装和使用(注:练习和讲解使用,因为已经能满足elasticsearch 讲解和练习使用,没必要折腾,节省时间,当然后面博主会单独讲解linux 下安装使用及调优

进入正题

elasticsearch 、kibana 安装

下载elasticsearch、kibana 安装包,解压,先运行elasticsearch 下bin 的 elasticsearch.bat,再运行kibana
下bin 的 kibana.bat,即可完成安装

在浏览器中输入http://localhost:5601/app/kibana,点击Dev Tools 就可以进入elasticsearch 可视化 操作界面(命令控制台) 了,如下图

elasticsearch 控制台

elasticsearch 基础分布式架构

elasticsearch 基础分布式架构
  • elasticsearch 对复杂分布式机制有很好的透明隐藏特性,比如:

    • 分片机制
    • cluster discovery 集群发现机制
    • shard rebalance 分片自动负载均衡
    • shard 副本、路由机制、集群扩容、shard 重分配
  • elasticsearch 扩容策略

    6台服务器,每台1T,要求增长到8T,这时的扩容方案

    • 垂直扩容
      另外购置两台node(2T),然后替换掉 node3 和 node6 ,8T = 4 * 1T + 2 * 2T
  • 水平扩容
    另外购置两台node(1T),然后加入现有集群中,8T = 8 * 1T

两种方案比较,垂直扩容成本太大,水平扩容为优。

  • master 节点

    • 管理elasticsearch集群的元数据,如 索引的创建、删除,节点的增加、删除 等元数据的维护
    • master 节点是由集群选举产生的,master 节点不会承载所有的请求,所有不会导致单点瓶颈
  • 节点平等的分布式架构

    • 节点对等,每个节点都能接收所有的请求
    • 相同的算法,自动请求路由
    • 响应收集

节点平等也就验证了master 不会导致单点瓶颈的问题

elasticsearch 核心概念

  • Near Realtime (NRT) 近实时
    • 写入数据 到 搜索 的小延迟 s 级(秒级)
    • 基于es 执行搜索、分析可以达到秒级
  • Cluster 集群
    包含多个node,每个node 通过配置归属那个集群(默认 elasticsearch)
  • Node 节点,默认会自动加入默认elasticsearch 名称的集群中,每个node 都有名称(默认随机分配)
  • Index 索引
    包含一堆有相似结构的文档数据(类似结构化数据库的库database)
  • Type 类型
    每个索引中可以有一个或者多个type,type 是index 的逻辑数据分类(类似结构化数据库的表 table)
  • Document 文档,elasticsearch 中的最小数据单元(类似结构化数据库表中记录 row),Json 数据结构表示,存储到index 的type 下
  • shard 分片,每个node 有一个多个shard,shard 可以横向扩展,它自动均衡到某个node上,可以将搜索、分析等操作分布到多个node 上去执行,提高吞吐量及性能,每个shard 都是一个lucene index,shard 有两种类型:
    • primary shard 主分片
      单台机器无法存储大量的数据,elasticsearch 可以将一个索引中的数据切分为多个shard,分布在N台服务器上
      比如 3个node 中3 个 shard 、3个replica ,有index 3T 数据,这时每个node 上最多1T数据,所有的操作,都会在每个node 中并行分布式的执行,提高吞吐量和性能。
    • replica shard 分片副本
      任何一个服务器随时可能故障或宕机,此时shard可能就会丢失,因此可以为每个shard创建多个replica副本。replica可以在shard故障时提供备用服务,保证数据不丢失,多个replica还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认5个),replica shard(随时修改数量,默认1个),默认每个索引10个shard,5个primary shard,5个replica shard,最小的高可用配置,是2台服务器。

primary shard 和 replica shard 自然而言的就可以做到了高可用,一个shard 宕机,数据不会丢失,可以持续提供服务

注:primary shard 和 replica shard 不允许在同一个 node 中,它会自动分配到不同的 node 上

以上就是本章内容,如有不对的地方,请多多指教,谢谢!

为了方便有需要的人,本系列全部软件都在 https://pan.baidu.com/s/1qYsJZfY

下章预告:主要讲解 elasticsearch shard&replica及容错机制

作者:逐暗者 (转载请注明出处)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容