GeoEvent Server横向伸缩扩展(一)——ArcGIS GeoEvent弹性架构

前言

       本文主要做了一件事,通过kafka横向扩展GeoEvent Server,构建GeoEvent+kafka集群部署。这件事有两个作用,其一,利用多台GeoEvent提高数据的吞吐量。其二,利用kafka集群的机制来提高GeoEvent Server软件的鲁棒性。

       GeoEvent Server是用来实时接入的GIS数据的GIS实时服务器。而对于实时服务器来说,最重要的是系统的鲁棒性(Robustness)。什么是鲁棒性?鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。

       自从Esri不推荐使用GeoEvent Server集群,而推荐采用GeoEvent Server单机部署后,GeoEvent Server的鲁棒性就成了用户关注的焦点。而现在,GeoEvent团队提供了一个方案,用来提高GeoEvent的鲁棒性以及横向扩展GeoEvent的能力。地址:http://www.arcgis.com/home/item.html?id=89048b1cfdda4a71a9b2b334fe8c8cc9

       此教程旨在发布5篇文章,来分别叙述以下五个章节。本文为第一节。GeoEvent弹性扩展架构

目录

1 GeoEvent弹性扩展架构

这一部分的目的是建立企业和ArcGIS的多个节点上,将在整个教程的其余部分使用ArcGIS GeoEvent Server。

2 熟悉事件中心概念(Apache Kafka)

本节中的练习将帮助您安装和探索事件调度中心的特性,包括使用多个broker进行冗余和伸缩。

3 安装和配置一个分布式事件调度中心(Apache Kafka)

本节基于前一节,将指导您在三个节点上安装和配置分布式事件调度中心。在本教程中,您将在3台已配置的GeoEvent Server节点上安装事件调度中心。

4 配置GeoEvent Server启用分布式事件调度中心

本节的目的是在一个分布式的事件调度中心完成GeoEvent Server配置。具体来说,你将学习如何使用Kafka 连接器配置GeoEvent Server接收消费从Apache Kafka生产的信息。 自定义连接器可在ArcGIS GeoEvent Gallery找到。

5 探讨了GeoEvent Server利用分布式事件调度中心(Apache Kafka)实现鲁棒性

最后,在本节中,您将测试你的GeoEvent Server和kafka部署的鲁棒性,通过试验丢失brokers和丢失consumers,确保预期的消息仍然被接收并存储在系统中。

正文

1 GeoEvent弹性扩展架构

       在本节中,您将配置五个节点的部署,整个教程都将使用这套环境作为横向伸缩扩展GeoEvent服务器的环境。下面的练习假设您有五台机器的管理权限和必要的ArcGIS软件,包括每个产品的必要许可。

这些练习将根据以下描述参考部署中的不同节点。

注意:您需要以适当的方式替换您自己机器的完全限定域名。

▪ ArcGIS Enterprise →machine1

▪ Spatiotemporal big data store →machine2

▪ GeoEvent Server 1 →machine3

▪ GeoEvent Server 2 →machine4

▪ GeoEvent Server 3 →machine5


架构图

机器1和机器2:安装配置ArcGIS Enterprise。配置一个时空类型的Datastore

ArcGIS Enterprise安装过程:http://zhihu.esrichina.com.cn/article/2883 。安装配置过程不再赘述,如果是10.5.1可以使用一键安装。需要注意的是将ArcGIS Server、Portal、WebAdapter三者的https需要的证书统一。

机器3-5:安装和配置ArcGIS GeoEvent Server

1.分别独立安装ArcGIS GeoEvent Server并配置WebAdapter。统一Server和WebAdapter的证书。

2.在ArcGIS Enterprise中,联合机器3-5的ArcGIS GeoEvent Server。我的组织→EDIT SETTINGS→Servers→Federated Server 点击 ADD SERVER


联合GeoEvent Server

3.在3机器,确认已联合。

    a.重启ArcGIS GeoEvent Server windows服务

    b.打开GeoEvent Manager 确认通过portal账户登录。

    c.访问站点→配置存储 点击 重置配置。

    d.访问站点→DataStores 验证PORTAL类型的Default 连接,状态为无效。

重置配置后portal无效

    e.点击编辑连接,输入portal管理员账户的用户名密码

    f.点击注册,Default连接现在变成了有效的状态。

portal重新注册有效

    g.访问站点→Spatiotemporal Big Data Stores 确认GeoEvent Server识别了Default连       接下的时空大数据存储。

查看时空大数据存储

4.在3-5机器重复以上步骤。

       恭喜你,你已经拥有了一套用于横向扩展GeoEvent Server的5节点的软件环境。这套架构只是作为一个基础架构的样例,在实际应用中,你可能会需要多个Datastore。多个Datastore直接注册到ArcGIS Enterprise中的ArcGIS Server上即可。不会对此架构造成任何影响。

      这套架构在部署时,最需要注意的是证书问题。由于在测试环境下使用的是自签名证书,又由于环境的安全级别比较高。最好的做法是,统一证书,并且使各台计算机都安装信任此证书。如果你没有提前统一证书,非常幸运,也有相应的补救措施来让这套架构能够运行。GeoEvent伸缩扩展没有三证统一的补救措施http://www.jianshu.com/p/b07c4439b5d6

       在下一节中,将向你介绍事件调度中心(Apache Kafka)的概念。并应用单节点的kafka来做一些实验,来帮助你理解kafka的消息事件调度机制,以及启发你将此机制和GeoEvent事件处理进行联想。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351

推荐阅读更多精彩内容