基于multiprocessing的arcpy并行处理

问题描述 - 以一个简单的arcpy操作为例 - “水文分析中生成streamlink”,进行解释

批量处理空间数据的时候,一个一个算(串行)实在太慢了,我既没有耐心也没有时间,便想着学一下python的并行算法,提高一下数据处理速度。在这里我以一个简单的arcpy操作为例 - “水文分析中生成streamlink”,进行解释。读者可根据自己的需要,自行修改替换。

首先,我们需要定义一个用于数据处理的函数:

def MyStreamLink(Parameters):
    #Parameters是一个list,里面存储着使streamlink运行需要的三个参数
    Raster1=Parameters[0]   
    Raster2=Parameters[1]
    outpath=Parameters[2]
    print "The program is processing:"+"  "os.path.basename(Raster1).split('.')[0] #告诉正在处理哪一个数据
    outStreamLink = StreamLink(Raster1, Raster2)  #进行streamlink操作需要两个输入数据:Raster1是栅格河网,Raster2是流向;outStreamLink是我定义的中间变量,用来储存结果
    outStreamLink.save(outpath) #将结果储存在路径outpath里
    print os.path.basename(Raster1).split('.')[0]+"has finished." #告诉我哪一个数据已经处理好了

其次,我们需要定义一个主函数:

if __name__ == '__main__':
    inws1=r"F:/C_topography/drainage/condition111"  
    RasterList1 = glob.glob(os.path.join(inws1, "*.tif"))
    inws2=r"F:/C_topography/drainage/dir"
    RasterList2 = glob.glob(os.path.join(inws2, "*.tif"))
    Parameter_1=[]  
    for Raster1 in RasterList1:
        temp1=os.path.basename(Raster1).split('.')[0]
        length1=len(temp1)
        for Raster2 in RasterList2:
            temp2=os.path.basename(Raster2).split('.')[0]
            if temp1[0:length1]==temp2:
              output_path=r"F:/C_topography/drainage/StreamLinks"
              out=output_path+"/"+temp1+".tif"
              Parameter_1.append([Raster1,Raster2,out])  #两个for循环的目的是从文件读取Parameter_1
    mypools=multiprocessing.Pool()
    results=mypools.map(MyStreamLink,Parameter_1) #最后将参数列表传给MyStreamLink这个函数,运行arcpy相关工具,结果返回到results这个列表里

参考文献

本篇教程主要参考了两位大神的教程
(1)http://blog.sina.com.cn/s/blog_70728a110102ypuq.html (强烈推荐这个)
(2)http://zhihu.geoscene.cn/article/583
在运行过程中遇见了multiprocessing Attribute Error(识别不了我之前定义的MystreamLink函数,参考https://community.esri.com/t5/python-questions/multiprocessing-attribute-error/td-p/759076)浪费了一些时间,这是因为此并行操作要以文档的形式整体操作,而不是在python控制行一行一行输,具体解释请看https://www.esri.com/arcgis-blog/products/arcgis-desktop/analytics/multiprocessing-with-arcgis-approaches-and-considerations-part-1/?rmedium=blogs_esri_com&rsource=/esri/arcgis/2012/09/26/distributed-processing-with-arcgis-part-1/; 所以各位亲们请安装pycharm运行。

真是汗颜自己的表达能力!!!把问题表达清楚真的不容易,还要继续修炼!以后慢慢修改吧。
最后再夹带一些私货

最近的课余时间都在读李晓鹏博士的《黄河文明和一带一路》,前两卷是关于中国历史的科普性读物。作者思路十分新颖,特别是关于明朝太监(东西厂)制度的描述,使我对此有了新的认识。提到王振、汪直、魏忠贤等,我下意识会对他们充满鄙夷,将其区别于人类。诚然,太监制度是黑暗残酷、灭绝人性的,但是普通人将对这种制度的鄙夷迁移到可怜的太监身上,恐怕也有点不妥当;其次,东西厂以及锦衣卫相当于明朝的监察机构,起到监督官僚,体察民情,为皇权服务的作用,然而史书是文人官僚书写的,汪直等人被黑得如此之惨,恐怕正是因为做对了什么事情(比如损害了腐败官僚的利益?)。有些“老百姓”屁股和脑袋分了家,不把自己当数量更为广大的“群众”,总把自己想成“上层人士”,也跟着黑“太监”,殊不知损害自身阶级利益的正式那群满口仁义道德的“东林党人”。By the way,李博士,恁什么时候出第四卷啊啊啊啊啊!!!

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容