多线程下载OpenStreetMap地图数据

数据是一切应用的基础。最近为了折腾一些好看的地图,想下载中国区域的OpenStreetMap(简称OSM)的地图数据。找了一些资料,在CentOS Linux服务器上搞起,作为技术小白,得记录下以备后面不时之需。

OpenStreetMap

OpenStreetMap是一个世界地图,由全世界的人们所构筑,可依据开放许可协议自由使用。直白的讲,就是一个开放街道数据(不仅仅是街道数据,还包括行政区划、自然要素等数据)的众包平台,所有人都可以免费得到这份全球的数据。其目标是创造一个内容自由且所有人可编辑的世界地图。

去哪里下载?

这么好的免费资源,直接访问OpenStreetMap官网可查看详细信息。

OpenStreetMap Data Extracts

由于全球数据太大,只下载Asia区域的数据,获取pbf文件下载地址。(由于pbf格式较小,约5GB)直接在CentOS服务器上用WGET下载,发现速度巨慢,只有几十KB的速度。这样得吓倒猴年马月去啊,搞个多线程下载提速吧。发现Axel比WGET采用多线程下载可以提升80%的效率。

Axel is an awesome command line download manager with many futures. It's very light and smooth and easy to install. Axel tries to accelerate HTTP/FTP downloading process by using multiple connections for one file. It can use multiple mirrors for a download.

我菜,这么牛逼的工具,必须用之。

安装Axel

由于俺们服务器是CentOS 7.2,对于CenOS 6/7 需要添加EPEL repository:

#   yum install epel-release
#   yum install axel

或者可以直接通过RPM包进行安装:

#   rpm -ivh ftp://fr2.rpmfind.net/linux/dag/redhat/el6/en/x86_64/dag/RPMS/axel-2.4-1.el6.rf.x86_64.rpm

对于采用Debian或者Ubuntu Linux的童鞋,可以通过以下命令直接安装:

#   apt-get install axel

使用Axel多线下载

直接使用Axel命令下载:

#   axel -n 10 http://download.geofabrik.de/asia-latest.osm.pbf

其中:-n 10指定下载线程数,-o x可以指定另存目录,-q静默模式,无任何输出信息。
还可根据需要,添加更多选项:

#   axel --help
Usage: axel [options] url1 [url2] [url...]

--max-speed=x       -s x    Specify maximum speed (bytes per second)
--num-connections=x -n x    Specify maximum number of connections
--output=f      -o f    Specify local output file
--search[=x]        -S [x]  Search for mirrors and download from x servers
--header=x      -H x    Add header string
--user-agent=x      -U x    Set user agent
--no-proxy      -N  Just don't use any proxy server
--quiet         -q  Leave stdout alone
--verbose       -v  More status information
--alternate     -a  Alternate progress indicator
--help          -h  This information
--version       -V  Version information

当然,下载过程中如果中断,或者通过Ctrl+C认为中断下载后,在原来的目录重新执行相同命令,则可以恢复下载进度,而不会从头开始下载。

下载速度真心不错,刚开始一度达到1Mb/s.

Alex多线程下载OSM Asia区数据

最后花了4个小时,下完了这份数据。

[ 99%]  .......... .......... .......... .......... ..........  [ 353.7KB/s]
[ 99%]  .......... .......... .......... .......... ..........  [ 353.6KB/s]
[ 99%]  .......... .......... .......... .......... ..........  [ 353.6KB/s]
[ 99%]  .......... .......... .......... .......... ..........  [ 353.5KB/s]
[100%]  .......... .......... .......... .......... ..........  [ 353.5KB/s]
[100%]  ..

Downloaded 5621.5 megabytes in 4:31:23 seconds. (353.52 KB/s)

可选配置

既然axel用着顺手,考虑到之前wget命令用习惯了,可以给其指定别名为wget。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容