(1)executemany()方法批量输入数据到数据库
data是需要插入的数据,为list类型,3列,数据条数有70多万条
import psycopg2
conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
sql = "insert into " + table_name + " values(%s, %s, %s)
cur.executemany(sql, data)
conn.commit()
conn.close()
(2)datafame的to_sql()插入数据到数据库
from sqlalchemy import create_engine
result = pd.DataFrame(data)
engine = create_engine('postgresql://user:password@host:port/database')
pd.io.sql.to_sql(result, table_name, engine, index = False, if_exists='append')
(3)强大的copy_from(),是postgresSQ的内置函数
import psycopg2
from sqlalchemy import create_engine
import pandas as pd
from io import StringIO
data1 = pd.DataFrame(data)
# dataframe类型转换为IO缓冲区中的str类型
output = StringIO()
data1.to_csv(output, sep='\t', index=False, header=False)
output1 = output.getvalue()
conn = psycopg2.connect(host=***, user=***, password=***, database=***)
cur = conn.cursor()
cur.copy_from(StringIO(output1), table_name1)
conn.commit()
cur.close()
conn.close()
print('done')
用copy_from()方法,70多万条数据插入到数据库仅仅需要0.06分钟,相比于前两种方法执行效率高太多啦
尝试了多张数据表循环批量插入,之前用executemany()需要15个小时才能插入完成的数据,用copy_from()只需要90分钟左右。
主要参考:
(https://blog.csdn.net/rongyongfeikai2/article/details/17935139?utm_source=blogxgwz5)