Hadoop权威指南NCDC数据获取

$ vi getNcdcBigData.sh

# !/bin/bash
for i in {1901..2014}
do
     cd /home/xxxx/hapood/ncdc
    wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/
done

$ chmod +x getNcdcBigData.sh
$ ./getNcdcBigData.sh

参考:
【NCDC数据】获取 hadoop权威指南3中的NCDC数据

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容