索引服务化的实践及思考

[TOC]

场景一

在新服务器上部署ES集群:

file

现在,对于给定服务器,部署ES集群的方式主要有几种:

原始方式:手动拷贝所需文件、配置及脚本到指定机器,进行手动配置及安装;

缺点:流程复杂;配置困难;后期维护不便;需要专人专事;

简便方式:使用以前的Jenkins方式,进行脚本编写以及运行;

优点:不需要手动拷贝;后期维护较为方便;

缺点:需要重新编写脚本;与Jenkins耦合高,不方便自定义;没有统一的可视化界面;依旧需要专人专事;

优化方式:使用DevOps进行可视化部署;

优点:一站式的可视化方案,包括部署、配置管理、监控、维护;无需专人专事,无门槛使用;

缺点:DevOps系统的开发、完善及维护;

可视化部署流程

可视化部署主要是用来快捷有效地部署集群,并能够很好地进行监控、维护。

能够在一站式的网页中,达到所需的业务要求。不仅能够大大提升响应能力,也能够更好地进行优化和维护。无需担心配置找不到、集群状态监控不便、启动麻烦等问题。

1. 添加集群

在创建索引集群时,需要先添加服务器集群,这样不仅能够方便管理,也能够清晰明了地知道当前有哪些服务器集群。

2. 添加服务器

有了服务器集群,就需要往里面添加机器,也就是创建索引集群所需要的服务器。

3. 创建集群

在创建集群的界面,通过选择前面所创建的服务器集群、索引集群名称、索引版本等参数,即可快速部署索引集群。

4. 集群的监控及管理

在创建完成后,就可以在监控列表看到所创建的集群信息及状态,并通过链接,可以看到更为详细的索引状态。

这里使用了一个开源的集群可视化界面 Cerebro

场景二

有了集群,就会有创建索引的需求。而这个在实际处理当中,往往需要多次确认字段类型、存储类型等等;以及,如果后期有字段修改、删除或添加等需求,同样需要通过专人才能操作,无法客户自行操作,很大程度上做不到快速响应。

这主要是因为,现有的大多数方法是使用Kibana进行创建,这就需要有哪些配置,怎么配置会更好等知识,门槛较高,并且所创建的方案往往没有保存、没有版本管理;如遇突发情况,就没法快速地恢复。

可视化索引管理

1. 添加索引

可以指定索引集群,进行索引的创建,只需要按照自己的需求,输入索引名称,添加指定字段及选择对应的字段类型,即可快速创建索引。

2. 管理集群内索引

索引集群内的索引管理,能够直观地看到每个索引集群内所对应的索引,并能够进行Schema的管理。

3. 管理索引字段

对于现有的索引,往往有一些针对字段的修改,也能够通过可视化的操作来进行添加或删除。

注意:如果是添加字段,则会重建索引,并进行数据迁移

场景三

现在,我们有了索引集群,也有了索引,就能够愉快地使用了。但优化和更新不会停止,索引我们就面临这重启索引集群。

通常的重启,就是登录到每台机器上去执行命令,而有了Jenkins后,就可以通过选择索引集群来进行启停,但这同样会面临一些问题:

  1. 集群有写入数据时,需要先将写入程序停掉,防止在重启时丢失数据;
  2. 在停止写入后,集群本身有一个缓存,需要调用集群的接口将之写入磁盘,防止重启后做多余的恢复操作;

这两个问题使用Jenkins依旧无法很好的解决。

在索引可视化管理中,则可以很好的解决此问题:

可视化索引重启

1. 刷新索引

刷新索引主要是将索引集群在内存中的数据写入到磁盘,加快重启后的启动速度。

2. 重启索引

通过界面,可以对索引进行一键重启,因为索引集群的特殊性,只能先停止,待全部停完后,再进行启动,索引重启操作是分两步的。

更好的,可以在停止时,对索引集群的写入程序做检测,如果写入程序没有停止,则提示并不能进行重启,需要停止写入后,才能停止索引。防止数据丢失和集群状态异常的情况;也很大程度上避免重启时忘记停写入程序的情况。

到这里,索引方面的可视化基本就完成了。当然,也还有很多需要完善的地方,另外,在有了对服务器的管理和服务器集群管理后,其实还有其他的玩法。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,137评论 6 511
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,824评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,465评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,131评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,140评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,895评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,535评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,435评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,952评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,081评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,210评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,896评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,552评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,089评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,198评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,531评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,209评论 2 357

推荐阅读更多精彩内容

  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,324评论 0 9
  • 一、MySQL优化 MySQL优化从哪些方面入手: (1)存储层(数据) 构建良好的数据结构。可以大大的提升我们S...
    宠辱不惊丶岁月静好阅读 2,438评论 1 8
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 3,858评论 0 5
  • 【什么是大数据、大数据技术】 大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法在合理时间内通过传统的应...
    kimibob阅读 2,747评论 0 51
  • 比特币前段时间来了个一泻千里,每次暴跌都是币圈最热闹的时候,大家都在思考为什么会暴跌。也许有人会问了:能不能预测比...
    简爱猪v阅读 364评论 1 2