pandas如何读取大数据集

分块迭代读取

 import pandas as pd

data=pd.read_csv('your_data_file.csv',iterator=True，chunksize=10)

1. 想看前5行

data.get_chunk(5)  #data是之前读取数据集文件的对象

注意:当iterator为True时，data实际上是一个迭代器，调用get_chunk(5)后迭代器会指向第6个元素

2. 一种拼接方式是逐个读取再拼接，利用pd.concat（）方法

chunks=[]
for i in data:
    chunks.append(i)
df=pd.concat(chunks,axis=0,ignore_index=False)

参数说明：
axis：0的时候沿着行增加的方向拼接，即上下拼接;1的时候沿着列增加的方向拼接，即左右拼接
ignore_index：False的时候用原来的index，True的时候用默认的index（0->n）