有时候需要将多个表头一致的文件合并成一个(注意要表头一致,不一致的话,合并之后内容会错开),手动打开所有表一个一个复制 粘贴到总表中,繁琐且容易出错,写个简单代码,一键将所有的excel(.xlsx)文件合并
"""
Created on Wednesday, Nov 6, 2020 at 11:14:56
@author: ZPL
"""
import os,time
import pandas as pd
start_time=time.time()
dir = r'D:\python脚本\合并excel\日常指标' #设置工作路径
#新建列表,存放每个文件数据框(每一个excel读取后存放在数据框,依次读取多个相同结构的Excel文件并创建DataFrame)
DFs = []
for root, dirs, files in os.walk(dir): #第一个为起始路径,第二个为起始路径下的文件夹,第三个是起始路径下的文件。
for file in files:
file_path=os.path.join(root,file) #将路径名和文件名组合成一个完整路径
df = pd.read_excel(file_path,encoding="gbk") #excel转换成DataFrame
DFs.append(df)
#合并所有数据,将多个DataFrame合并为一个
alldata = pd.concat(DFs) #sort='False'
# alldata.to_csv(r'D:\python脚本\csv合并结果.csv',sep=',',index = False,encoding="gbk")
alldata.to_excel(r'D:\python脚本\excel合并结果.xlsx',index = False,encoding="gbk")
end_time=time.time()
times=round(end_time-start_time,2)
print('合并完成,耗时{}秒'.format(times))
#如果要将合并结果写入到csv文件中,就使用 to_csv,如果要将合并结果写入到excel文件中,就使用 to_excel
#如果是合并带有数字的excel,最好写入到csv文件中(个人建议),写入到excel中还需要将数字单元格进行转换,但是如果有日期,需要手动转换
#如果写入结果,中文有乱码,就指定写入格式,这里指定的是gbk
下面这个是我导入csv文件,导出xlsx文件,按日期升序合并
"""
Created on Wednesday, Nov 6, 2020 at 10:25:56
@author: ZPL
"""
import os,time
import pandas as pd
start_time=time.time()
dir = r'C:\Users\LZP\论文\粮食\美国大豆' #设置工作路径
#新建列表,存放每个文件数据框(每一个excel读取后存放在数据框,依次读取多个相同结构的Excel文件并创建DataFrame)
DFs = []
for root, dirs, files in os.walk(dir): #第一个为起始路径,第二个为起始路径下的文件夹,第三个是起始路径下的文件。
print(root,dirs,files)
for file in files:
file_path=os.path.join(root,file) #将路径名和文件名组合成一个完整路径
df = pd.read_csv(file_path,encoding="utf-8") #excel转换成DataFrame
df.sort_values(by='日期', inplace=True)
DFs.append(df)
print(DFs)
#合并所有数据,将多个DataFrame合并为一个
alldata = pd.concat(DFs) #sort='False'
# alldata.to_csv(r'D:\python脚本\csv合并结果.csv',sep=',',index = False,encoding="gbk")
alldata.to_excel(r'C:\Users\LZP\论文\粮食\美国大豆\大豆合并.xlsx',index = False,encoding="utf-8")
end_time=time.time()
times=round(end_time-start_time,2)
print('合并完成,耗时{}秒'.format(times))
#如果要将合并结果写入到csv文件中,就使用 to_csv,如果要将合并结果写入到excel文件中,就使用 to_excel
#如果是合并带有数字的excel,最好写入到csv文件中(个人建议),写入到excel中还需要将数字单元格进行转换,但是如果有日期,需要手动转换
#如果写入结果,中文有乱码,就指定写入格式,这里指定的是gbk
前面由于日期是中文所以排序混乱了,我插入了一列id,然后利用id对日期排了序;
还有一种方法,将日期转化为数字格式,然后再排序(日后做)
"""
Created on Wednesday, Nov 6, 2020
@author: ZPL
"""
import os,time
import pandas as pd
start_time=time.time()
dir = r'C:\Users\LZP\论文\粮食\美国大豆' #设置工作路径
#新建列表,存放每个文件数据框(每一个excel读取后存放在数据框,依次读取多个相同结构的Excel文件并创建DataFrame)
DFs = []
for root, dirs, files in os.walk(dir): #第一个为起始路径,第二个为起始路径下的文件夹,第三个是起始路径下的文件。
print(root,dirs,files)
for file in files:
file_path=os.path.join(root,file) #将路径名和文件名组合成一个完整路径
df = pd.read_csv(file_path,encoding="utf-8") #excel转换成DataFrame
id = range(1,df.shape[0]+1)
id = list(id)
id = sorted(id,reverse = True)
df['id'] = id
df.sort_values(by='id', inplace=True)
DFs.append(df)
#合并所有数据,将多个DataFrame合并为一个
alldata = pd.concat(DFs) #sort='False'
# alldata.to_csv(r'D:\python脚本\csv合并结果.csv',sep=',',index = False,encoding="gbk")
alldata.to_excel(r'C:\Users\LZP\论文\粮食\美国大豆\大豆合并.xlsx',index = False,encoding="utf-8")
end_time=time.time()
times=round(end_time-start_time,2)
print('合并完成,耗时{}秒'.format(times))
#如果要将合并结果写入到csv文件中,就使用 to_csv,如果要将合并结果写入到excel文件中,就使用 to_excel
#如果是合并带有数字的excel,最好写入到csv文件中(个人建议),写入到excel中还需要将数字单元格进行转换,但是如果有日期,需要手动转换
#如果写入结果,中文有乱码,就指定写入格式,这里指定的是gbk