Python 分段、迭代读取,防止内存爆炸的一些记录

仅做记录,有空再填坑。大多原理是迭代器,占用空间少,效率更高。

迭代读取字典时,

Python 2 使用

for k,v in d.iteritems():
    # do something

Python 3 使用

for k,v in d.items():
    # do something

迭代 list 是,

Python 2 用 xrange

for i in xrange(n):
    # n is int variable

Python 3 已经用 range 取代了 xrange。

对于 with open 读写文件时,特别是比较大的图片文件时,比如用 requests 爬取的图片,需要取回来保存在本地,这时可以使用 chunk 设定分段读取的值。

用 pandas 读取 MySQL 内容时,使用 chunksize 参数,防止 MySQL 表内容过大的报错。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容