使用numpy和pandas读取数据的速度

现在有一个530W行的数据,每行有3列的数据
使用numpy.loadtxt()函数

print(timeit(stmt='np.loadtxt(r"data/SC33E021022DEMU_geoh.xyh")',
                 setup="import numpy as np", number=1))

使用'pandas.read_table',再使用pandas.to_numpy()函数

def open_altitude_pointValue(fin):
    try:
        apv = {'status': False, 'dates': pd.read_table(fin, header=None, delim_whitespace=True).to_numpy()}
    except IOError:
        print("没有找到" + fin + "文件")
        return apv
    else:
        apv['status'] = True
        return apv

print(timeit(stmt="open_altitude_pointValue(r'data/SC33E021022DEMU_geoh.xyh')",
             setup="from cal import open_altitude_pointValue", number=1))

结果是:
11.763681
5.9984097

结论:对于规则的数字文件,使用pandas转numpy比直接使用numpy快

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容