问题描述 - 以一个简单的arcpy操作为例 - “水文分析中生成streamlink”,进行解释
批量处理空间数据的时候,一个一个算(串行)实在太慢了,我既没有耐心也没有时间,便想着学一下python的并行算法,提高一下数据处理速度。在这里我以一个简单的arcpy操作为例 - “水文分析中生成streamlink”,进行解释。读者可根据自己的需要,自行修改替换。
首先,我们需要定义一个用于数据处理的函数:
def MyStreamLink(Parameters):
#Parameters是一个list,里面存储着使streamlink运行需要的三个参数
Raster1=Parameters[0]
Raster2=Parameters[1]
outpath=Parameters[2]
print "The program is processing:"+" "os.path.basename(Raster1).split('.')[0] #告诉正在处理哪一个数据
outStreamLink = StreamLink(Raster1, Raster2) #进行streamlink操作需要两个输入数据:Raster1是栅格河网,Raster2是流向;outStreamLink是我定义的中间变量,用来储存结果
outStreamLink.save(outpath) #将结果储存在路径outpath里
print os.path.basename(Raster1).split('.')[0]+"has finished." #告诉我哪一个数据已经处理好了
其次,我们需要定义一个主函数:
if __name__ == '__main__':
inws1=r"F:/C_topography/drainage/condition111"
RasterList1 = glob.glob(os.path.join(inws1, "*.tif"))
inws2=r"F:/C_topography/drainage/dir"
RasterList2 = glob.glob(os.path.join(inws2, "*.tif"))
Parameter_1=[]
for Raster1 in RasterList1:
temp1=os.path.basename(Raster1).split('.')[0]
length1=len(temp1)
for Raster2 in RasterList2:
temp2=os.path.basename(Raster2).split('.')[0]
if temp1[0:length1]==temp2:
output_path=r"F:/C_topography/drainage/StreamLinks"
out=output_path+"/"+temp1+".tif"
Parameter_1.append([Raster1,Raster2,out]) #两个for循环的目的是从文件读取Parameter_1
mypools=multiprocessing.Pool()
results=mypools.map(MyStreamLink,Parameter_1) #最后将参数列表传给MyStreamLink这个函数,运行arcpy相关工具,结果返回到results这个列表里
参考文献
本篇教程主要参考了两位大神的教程
(1)http://blog.sina.com.cn/s/blog_70728a110102ypuq.html (强烈推荐这个)
(2)http://zhihu.geoscene.cn/article/583
在运行过程中遇见了multiprocessing Attribute Error(识别不了我之前定义的MystreamLink函数,参考https://community.esri.com/t5/python-questions/multiprocessing-attribute-error/td-p/759076)浪费了一些时间,这是因为此并行操作要以文档的形式整体操作,而不是在python控制行一行一行输,具体解释请看https://www.esri.com/arcgis-blog/products/arcgis-desktop/analytics/multiprocessing-with-arcgis-approaches-and-considerations-part-1/?rmedium=blogs_esri_com&rsource=/esri/arcgis/2012/09/26/distributed-processing-with-arcgis-part-1/; 所以各位亲们请安装pycharm运行。
真是汗颜自己的表达能力!!!把问题表达清楚真的不容易,还要继续修炼!以后慢慢修改吧。
最后再夹带一些私货
最近的课余时间都在读李晓鹏博士的《黄河文明和一带一路》,前两卷是关于中国历史的科普性读物。作者思路十分新颖,特别是关于明朝太监(东西厂)制度的描述,使我对此有了新的认识。提到王振、汪直、魏忠贤等,我下意识会对他们充满鄙夷,将其区别于人类。诚然,太监制度是黑暗残酷、灭绝人性的,但是普通人将对这种制度的鄙夷迁移到可怜的太监身上,恐怕也有点不妥当;其次,东西厂以及锦衣卫相当于明朝的监察机构,起到监督官僚,体察民情,为皇权服务的作用,然而史书是文人官僚书写的,汪直等人被黑得如此之惨,恐怕正是因为做对了什么事情(比如损害了腐败官僚的利益?)。有些“老百姓”屁股和脑袋分了家,不把自己当数量更为广大的“群众”,总把自己想成“上层人士”,也跟着黑“太监”,殊不知损害自身阶级利益的正式那群满口仁义道德的“东林党人”。By the way,李博士,恁什么时候出第四卷啊啊啊啊啊!!!