1.excel数据合并、处理、导出、入库 V1.0
#!/usr/bin/python
# coding: utf-8
import pandas as pd
import os
from sqlalchemy import create_engine
import sqlalchemy
import time
time_start=time.time()
#文件路径
file_dir="D:/test/test数据/aa/"
#合并新表格名称
new_filename=file_dir+'\\new_file.xlsx'
#返回文件路径下所有表格的列表
file_list=os.listdir(file_dir)
new_list=[]
for file in file_list:
file_path=os.path.join(file_dir,file) #重构文件路径
dataframe=pd.read_excel(file_path) #将excel转换成DataFrame
new_list.append(dataframe)
df = pd.concat(new_list) #数据转换
#数据清洗
df2=df
df2=df2.set_axis(df2.iloc[1],axis=1,inplace=False) #设置第一行数据作为columns
#df=df.drop_duplicates() #去除重复行
df2=df2[~df2['业务时间'].isin(['业务时间'])] #筛除指定行
df2.dropna(subset=['业务时间'],inplace=True) #去除业务时间为NaN的行
df2=df2.reset_index(drop=True)
#导出excel表
#df2.to_excel(new_filename,index=False)
#数据入库
engine=create_engine('mysql+pymysql://root:root@localhost/test?charset=utf8')
df3=df2
#df3.to_sql(stored_card_change,)
df3.to_sql('stored_card_change', engine, index=False, if_exists='append')
#计时
time_end=time.time()
print('time cost',time_end-time_start,'s')
