(一)Sedona入门(GeoSpark)

Sedona是基于Spark分布式的地理信息计算引擎,原为GeoSpark,后被Apache收录孵化,更名为Sedona,相比于传统的ArcGIS、QGIS等分析工具,Sedona可以提供更好分布式空间分析。

准备工作

  1. Windows
  2. IDEA
  3. Sedona支持Java、Scala两种。

具体安装教程在GeoSpark入门中已经讲过了,可以参考https://www.jianshu.com/p/8e6960791b98

Maven依赖

  1. 打开IDEA,创建Maven新工程,修改pom.xml文件

      <properties>
         <spark.version>2.4.0</spark.version>
         <sedona.spark.version>2.4_2.11</sedona.spark.version>
         <sedona.ersion>1.0.0-incubating</sedona.ersion>
     </properties>
    
     <dependencies>
         <dependency>
             <groupId>org.apache.sedona</groupId>
             <artifactId>sedona-core-2.4_2.11</artifactId>
             <version>1.0.0-incubating</version>
         </dependency>
         <dependency>
             <groupId>org.apache.sedona</groupId>
             <artifactId>sedona-sql-2.4_2.11</artifactId>
             <version>1.0.0-incubating</version>
         </dependency>
         <dependency>
             <groupId>org.apache.sedona</groupId>
             <artifactId>sedona-viz-2.4_2.11</artifactId>
             <version>1.0.0-incubating</version>
         </dependency>
    
    
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-core_2.11</artifactId>
             <version>${spark.version}</version>
         </dependency>
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-sql_2.11</artifactId>
             <version>${spark.version}</version>
         </dependency>
    
    
         <dependency>
             <groupId>org.geotools</groupId>
             <artifactId>gt-main</artifactId>
             <version>24.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.geotools/gt-referencing -->
         <dependency>
             <groupId>org.geotools</groupId>
             <artifactId>gt-referencing</artifactId>
             <version>24.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.geotools/gt-epsg-hsql -->
         <dependency>
             <groupId>org.geotools</groupId>
             <artifactId>gt-epsg-hsql</artifactId>
             <version>24.0</version>
         </dependency>
         <dependency>
             <groupId>org.wololo</groupId>
             <artifactId>jts2geojson</artifactId>
             <version>0.14.3</version>
         </dependency>
         <dependency>
             <groupId>org.locationtech.jts</groupId>
             <artifactId>jts-core</artifactId>
             <version>1.18.0</version>
         </dependency>
     </dependencies>
    
     <repositories>
         <repository>
             <id>maven2-repository.dev.java.net</id>
             <name>Java.net repository</name>
             <url>https://download.java.net/maven/2</url>
         </repository>
         <repository>
             <id>osgeo</id>
             <name>OSGeo Release Repository</name>
             <url>https://repo.osgeo.org/repository/release/</url>
             <snapshots>
                 <enabled>false</enabled>
             </snapshots>
             <releases>
                 <enabled>true</enabled>
             </releases>
         </repository>
     </repositories>
    
    1. 需要说明的是,在依赖中我们添加了JTS、GeoTools,这是因为Sedona的空间分析工具依赖JTS、GeoTools等开发包,但是由于GPL或MIT协议关系,在Sedona
      中并未提供,需要我们自己添加。
    2. 如果IDEA不能运行,可以尝试添加Scala的相关依赖
      图片.png

CSV文件读取

  1. 我们从CSV中创建一个Spark的RDD,CSV内容如下,将其保存在项目文件的Resources下,命名为checkin.csv:

    -88.331492,32.324142,hotel
    -88.175933,32.360763,gas
    -88.388954,32.357073,bar
    -88.221102,32.35078,restaurant
    

    然后我们初始化一个SparkContext,并调用GeoSpark的PointRDD,将我们的CSV导入。

    SparkConf conf = new SparkConf();
    conf.setAppName("Chapter01");
    conf.setMaster("local[*]");
    conf.set("spark.serializer", "org.apache.spark.serializer. KryoSerializer");
    conf.set("spark.kryo.registrator", "org.apache.sedona.coreserde.   SedonaKryoRegistrator");
    JavaSparkContext sc = new JavaSparkContext(conf);

    String pointRDDInputLocation = Chapter01.class.getResourc("checkin.    csv").toString();
    Integer pointRDDOffset = 0; // 地理位置(经纬度)从第0列开始
    FileDataSplitter pointRDDSplitter = FileDataSplitter.CSV;
    Boolean carryOtherAttributes = true; // 第二列的属性(酒店名)
    PointRDD rdd = new PointRDD(sc, pointRDDInputLocation, pointRDDOffset, pointRDDSplitter, carryOtherAttributes);

    rdd.analyze();
    System.out.println(rdd.approximateTotalCount);

可以看到代码中调用了rdd.analyze()方法,对于Sedona(GeoSpark)来说,当我们得到Sedona的RDD时,第一步要做的就是应该调用analyze方法,然后在去进行分析操作,否则会有异常出现,具体analyze里面做了什么操作,我们后期会讲。

坐标系转换

  1. Sedona采用EPGS标准坐标系,其坐标系也可参考EPSG官网:[https://epsg.io/(https://epsg.io)
  2. // 坐标系转换
    String sourceCrsCode = "epsg:4326";
    String targetCrsCode = "epsg:4547";
    rdd.CRSTransform(sourceCrsCode, targetCrsCode, true);
    rdd.rawSpatialRDD.foreach((p)->{
          System.out.println(p);
      });
    
  3. 和GeoSpark不同的是,rdd.CRSTransform(sourceCrsCode, targetCrsCode, true);这里最后一个参数加了true,这是因为从4326(WGS84)坐标系到4547(CGCS2000)坐标系这里涉及到了椭球的转换,GeoTools默认是需要提供椭球转换参数的,但是我们没有提供,GeoTools会直接报错的,将最后一个参数改为true,可以让GeoTool强制忽略椭球转换参数。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,542评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,822评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,912评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,449评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,500评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,370评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,193评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,074评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,505评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,722评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,841评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,569评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,168评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,783评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,918评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,962评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,781评论 2 354

推荐阅读更多精彩内容