那些不用分布式完成的功能,用本地路径即可,比如
gdal.Open("/home/dell/swq/data/20150619stack100.dat")
那些用分布式打开的功能,用hdfs路径,比如
rdd=sc.textFile("/swq/harry.txt")
rdd=sc.textFile("hdfs:/swq/harry.txt")
那些不用分布式完成的功能,用本地路径即可,比如
gdal.Open("/home/dell/swq/data/20150619stack100.dat")
那些用分布式打开的功能,用hdfs路径,比如
rdd=sc.textFile("/swq/harry.txt")
rdd=sc.textFile("hdfs:/swq/harry.txt")