GDELT介绍
GDELT是国外一个大数据存储项目，它提供了自1979年至今的全球广播、印刷和网络新闻媒体报道的事件，并按时间和位置索引。其数据量十分庞大，类别也很丰富。教程里使用的是这个地址下的数据，更新的频率为15分钟。教程使用2018年1月的数据进行试验。
下载数据
使用一个shell脚本批量下载这些文件(注意：官网教程里的脚本有误)：
#!/bin/bash
mkdir gdelt && cd gdelt
for day in {25..31}; do
mkdir 201801$day && cd 201801$day;
for hour in {00..23}; do
for minute in 00 15 30 45; do
wget "http://data.gdeltproject.org/gdeltv2/201801${day}${hour}${minute}00.export.CSV.zip"
done
done
cd ..
done
将数据解压并上传到HDFS中
使用如下的脚本完成：
#!/bin/bash
for day in {01..31}; do
ls 201801$day/*.zip | xargs -n 1 zcat | hadoop fs -put - /gdelt/uncompressed/201801${day}.tsv
done
开始写入
执行如下的命令，geomesa的命令行工具会启动一个MapReduce任务，将hdfs中的数据文件写入到数据库中（我安装的是HBase），并构建索引。
geomesa-hbase ingest \
--catalog <table> \
--feature-name gdelt \
--converter gdelt2 \
--spec gdelt2 \
"hdfs://host:port/gdelt/uncompressed/*"
其中 table是要写入的表的名称。
然后就是等待写入完成，我运行时（3个节点，每个节点2核，4G内存）大概等待了40分钟左右，下面是运行正常时的输出结果。
INFO Creating schema 'gdelt'
INFO Running ingestion in distributed mode
INFO Submitting job - please wait...
INFO Tracking available at http://namenode/proxy/application_xxxxxxx/
[============================================================] 100% complete xxxxxx ingested 0 failed in 00:00:45
INFO Distributed ingestion complete in 00:00:45
INFO Ingested xxxxxx features with no failures.
可以用下面的语句验证导入是否成功：
--feature-name gdelt \
--catalog <table> \
--max-features 10
其中 table是写入数据的表的名称。
到这里，GDELT数据导入就完成了
使用geoserver可视化
如何安装geoserver以及安装geomesa插件，并根据已有数据发布地图服务，在之前的文章中已经说明，这里就不再叙述了。这里主要演示热力图的生成方法。
首先将Geomesa目录中的geomesa-process-wps_2.11-2.0.2.jar包，复制到geoserver库目录geoserver/WEB-INF/lib/下，以实现密度计算功能。
然后在geoserver后台的Style设置中，新建一个样式，导入官网提供的SLD文件，并命名。
SLD文件导入.jpg
在已生成图层的“发布”一栏中，将style样式选为刚刚新建的样式，点击“保存”。
设置样式.jpg
就可以看到以热力图的形式呈现的数据了（如果有底图效果会更好一些）~
热力图.jpg
