背景是这样的，同事有个需求，将自己本地的80多个文件上传到hdfs上，找了hadoop命令没有直接上传文件夹的，所以自己写了个python脚本实现了这个需求，刚开始想着是用shell脚本，但是文件得上传到hdfs集群上，这个比较麻烦，想着本地有python环境，就有了下面的代码。
# -*- coding : utf-8 -*-
import os
from hdfs import InsecureClient
#hdfs 目标路径
base_path = "/hdfs/workspace"
#本地需要上传的路径
dir = "C:/tmp/统计数据"
client_hdfs = InsecureClient('http://192.168.200.81:9870', user='admin')
client_hdfs.makedirs(base_path)
def get_all_dir(path):
fills_list = os.listdir(path)
for file_name in fills_list:
file_abs_path = os.path.join(path, file_name)
if os.path.isdir(file_abs_path):
global dir_count
client_hdfs.makedirs(base_path + "/" + file_name)
print("dir:", file_name)
get_all_dir(file_abs_path)
else:
mid_path = file_abs_path.replace(dir, "").replace(file_name, "")
hdfs_path = base_path + mid_path + "" + file_name
local_path = file_abs_path
print(hdfs_path + " **" + local_path)
client_hdfs.upload(hdfs_path, file_abs_path)
print("file:", file_name)
if __name__ == '__main__':
get_all_dir(dir)
最后，这里面有个小坑，就是需要修改hosts文件，要不然upload这个方法会报错,就是将hadoop集群的ip地址和hostsname 填入hosts即可
