基于multiprocessing的arcpy并行处理

问题描述 - 以一个简单的arcpy操作为例 - “水文分析中生成streamlink”,进行解释

批量处理空间数据的时候,一个一个算(串行)实在太慢了,我既没有耐心也没有时间,便想着学一下python的并行算法,提高一下数据处理速度。在这里我以一个简单的arcpy操作为例 - “水文分析中生成streamlink”,进行解释。读者可根据自己的需要,自行修改替换。

首先,我们需要定义一个用于数据处理的函数:

def MyStreamLink(Parameters):
    #Parameters是一个list,里面存储着使streamlink运行需要的三个参数
    Raster1=Parameters[0]   
    Raster2=Parameters[1]
    outpath=Parameters[2]
    print "The program is processing:"+"  "os.path.basename(Raster1).split('.')[0] #告诉正在处理哪一个数据
    outStreamLink = StreamLink(Raster1, Raster2)  #进行streamlink操作需要两个输入数据:Raster1是栅格河网,Raster2是流向;outStreamLink是我定义的中间变量,用来储存结果
    outStreamLink.save(outpath) #将结果储存在路径outpath里
    print os.path.basename(Raster1).split('.')[0]+"has finished." #告诉我哪一个数据已经处理好了

其次,我们需要定义一个主函数:

if __name__ == '__main__':
    inws1=r"F:/C_topography/drainage/condition111"  
    RasterList1 = glob.glob(os.path.join(inws1, "*.tif"))
    inws2=r"F:/C_topography/drainage/dir"
    RasterList2 = glob.glob(os.path.join(inws2, "*.tif"))
    Parameter_1=[]  
    for Raster1 in RasterList1:
        temp1=os.path.basename(Raster1).split('.')[0]
        length1=len(temp1)
        for Raster2 in RasterList2:
            temp2=os.path.basename(Raster2).split('.')[0]
            if temp1[0:length1]==temp2:
              output_path=r"F:/C_topography/drainage/StreamLinks"
              out=output_path+"/"+temp1+".tif"
              Parameter_1.append([Raster1,Raster2,out])  #两个for循环的目的是从文件读取Parameter_1
    mypools=multiprocessing.Pool()
    results=mypools.map(MyStreamLink,Parameter_1) #最后将参数列表传给MyStreamLink这个函数,运行arcpy相关工具,结果返回到results这个列表里

参考文献

本篇教程主要参考了两位大神的教程
(1)http://blog.sina.com.cn/s/blog_70728a110102ypuq.html (强烈推荐这个)
(2)http://zhihu.geoscene.cn/article/583
在运行过程中遇见了multiprocessing Attribute Error(识别不了我之前定义的MystreamLink函数,参考https://community.esri.com/t5/python-questions/multiprocessing-attribute-error/td-p/759076)浪费了一些时间,这是因为此并行操作要以文档的形式整体操作,而不是在python控制行一行一行输,具体解释请看https://www.esri.com/arcgis-blog/products/arcgis-desktop/analytics/multiprocessing-with-arcgis-approaches-and-considerations-part-1/?rmedium=blogs_esri_com&rsource=/esri/arcgis/2012/09/26/distributed-processing-with-arcgis-part-1/; 所以各位亲们请安装pycharm运行。

真是汗颜自己的表达能力!!!把问题表达清楚真的不容易,还要继续修炼!以后慢慢修改吧。
最后再夹带一些私货

最近的课余时间都在读李晓鹏博士的《黄河文明和一带一路》,前两卷是关于中国历史的科普性读物。作者思路十分新颖,特别是关于明朝太监(东西厂)制度的描述,使我对此有了新的认识。提到王振、汪直、魏忠贤等,我下意识会对他们充满鄙夷,将其区别于人类。诚然,太监制度是黑暗残酷、灭绝人性的,但是普通人将对这种制度的鄙夷迁移到可怜的太监身上,恐怕也有点不妥当;其次,东西厂以及锦衣卫相当于明朝的监察机构,起到监督官僚,体察民情,为皇权服务的作用,然而史书是文人官僚书写的,汪直等人被黑得如此之惨,恐怕正是因为做对了什么事情(比如损害了腐败官僚的利益?)。有些“老百姓”屁股和脑袋分了家,不把自己当数量更为广大的“群众”,总把自己想成“上层人士”,也跟着黑“太监”,殊不知损害自身阶级利益的正式那群满口仁义道德的“东林党人”。By the way,李博士,恁什么时候出第四卷啊啊啊啊啊!!!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容