Geomesa学习1- 概要

一、 需求背景

  1. 时空数据存储的需求愈发庞大,80%的信息与空间信息有关;
  2. 时空数据时用于整合其他各种类型数据的基础;
  3. 对完善的时空大数据存储解决方案的需求日益迫切。

二、Geomesa简介

  1. Geomesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包,可用于交通轨迹数据存储分析等相关领域。
  2. Geomesa可以在分布式列数据库的基础上进行扩展,目前支持Accumulo,HBase, CassandraKafka等作为底层存储。
  3. 提供高效的索引来读取和查询存储的数据,支持通过指定空间条件(距离和范围)来快速查询,基于kafka提供了时空数据的近实时流处理能力。
  4. 提供了Spark分析能力,增加针对空间数据的UDTUDFUDAF,方便用户直接使用SparkSQL进行空间数据查询与分析。
  5. Geomesa基于GeoTools API设计,与GeoServer进行集成。

三、Geomesa特性

  1. 能够存储和处理海量时空数据
  2. 支持实时性强、需要快速读写的数据
  3. 支持spark分析
  4. 支持水平扩展(存储介质)
  5. 通过GeoServer提供地图服务,支持Common Query Language(CQL)
  6. GeoMesa扩展了数据的字段类型,主要支持的类型如下所示。
geomesa数据类型.PNG

四、 Geomesa架构与流程

4.1 服务架构

GeoMesa支持多种可扩展的、基于云端的数据存储架构,包括Apache Accumulo, Apache HBasedGoogle Cloud Bigtable以及用于流计算的Apache Kafka 。同时GeoMesa还可以和Apache Storm一起处理流数据,并使用Spark进行空间分析。

服务架构.png

4.2 体系架构

体系架构.png

蓝色标识的是用户接口,GeoMesa提供了geomesa-web这类使用restful接口形式访问的接口、geomesa-toolsjavaAPI接口,最常用的是geomesa-tools接口。

最重要的部分是黄色标识的索引部分,GeoMesa还进行了多种数据库扩展功能,底层可以连接AccumuloCassandraHbaseNoSql数据库。

4.3 Geomesa的GeoTools

为了方便用户使用GeoMesa中存储的数据,GeoMesa通过实现GeoTools接口提供了使用OGC标准服务接口访问数据的能力。

OGC标准:Open Geospatial Consortium, 是一个指定与空间信息、基于位置服务相关的标准的组织。举例:GeoMesa中用到了OGC标准中的SimpleFeatures标准,该标准用来进行简单要素对象的通用描述。

GeoMesa实现了OGCWeb Feature Service(要素web服务)、Web Mapping Service(地图web服务)、 Web Processing Service(地理处理web服务)、 Web Coverage Service标准(栅格web服务)。

4.4 数据写入流程

导入流程.png

数据导入流程从左向右,可以通过spark任务、mapreduce任务、strom流处理等不同的任务来调用GeoMesa提供的APIGeoTools API进行数据写入,在写入数据时GeoMesa为数据创建实行索引、featureID索引、空间索引、时空索引等,完成数据导入流程。

4.5 数据查出流程

通过GeoMesa APIGeoTools APIAccumulo中进行数据查询,把数据读出来。

查询流程.png

查询流程首先从右向左,QueryClient发起查询请求,GeoMesa根据查询请求选择可用的最优索引从底层拉取数据,通过API将结果返回。

五、 Geomesa优缺点

优点:
(1)支持Spark大数据分析。
提供了用于空间数据分析的SpatialRDD模型;
提供了多种时空函数实现,如buffercontains等;
扩展Spark SQL以支持标准的时空查询

sparksql对geomesa的支持.png

举例SparkSQL进行空间查询:

sparksql查询示例.png

(2)多种空间索引,最大化优化查询
(3)提供基于Coprocessor的空间查询方式,将计算放在Server端,减少数据通讯开销,性能较好。

缺点:
(1)时空索引构建采用Z-ordering会存在距离突变情况。
(2)目前不支持栅格数据存储

六、 hbase ganos

6.1 Ganos简介

Hbase Ganos时空引擎是基于LocationTech 开源项目 GeoMesa 开发的一套时空大数据引擎系统。HBase Ganos提供一系列时空索引(点、线、面)、数据类型、查询算法,基于阿里云NoSQL分布式存储系统中对空间/时空数据进行高效的存储、索引、查询和分析计算。

6.2 Ganos使用场景

基础地理信息数据管理:
HBase Ganos提供的高效时空索引系统,允许用户使用NoSQL数据库对点、线、面等空间要素进行分布式存储与快速查询。
大规模传感网实时数据管理:
HBase Ganos可以Stream流式计算框架、MQSpark分析框架等进行无缝衔接,用来存储和管理实时的流式数据并进行实时分析。
大规模轨迹数据管理:
HBase Ganos提供了针对随时间连续变化的轨迹数据的存储模型,并提供了TubeSelect等空间查询算法实现基于轨迹数据的时空查询算法。可广泛应用在网约车、共享单车、船只、飞行器等领域的轨迹存储与查询。
海量数据统计分析:
HBase Ganos提供了多种如KNN、直方图、热点分析等空间分析算法,允许用户进行空间大数据的实时分析挖掘。

6.3 Ganos优势

(1)PB级存储与海量并发写入。
(2)多种空间索引方式供用户灵活选择。
(3)基于Coprocessor的空间查询与计算方式,将计算过程放置在server端,能够最大化并行效率,从而获得较好的性能提升。
(4)提供了多种空间数据分析算法,如KNN、直方图、热点分析、TubeSelect等。
(5)基于OGC标准设计,便于系统间的集成与互操作。
(6)冷热数据存储分离与无缝访问。
(7)基于阿里云HBase专业运维,全托管方式,提供可靠稳定的服务。

相比GeoMesaGanos并没有进行二次开发,只是进行了封装。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352