最好把文件分割到10g以下，每次读取一个，否则会自动truncate，而且还不告诉你。400g的文件我一次性读入实测只有100多g读进去了，造成结果严重错误。当然应该跟memory有关系，但我已经设置得很大了，还是出现问题，最后选择分割成40个小文件。
Pyspark读取大文件的一个坑
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
相关阅读更多精彩内容
- 1. 读文件 打开一个文件用 open() 方法(open()返回一个文件对象，它是可迭代的)： python...
- ####python读取大文件 最近在学习python的过程中接触到了python对文件的读取。python读取文...
- 问题 给定两个文件A和B， 分别有x，y行数据, 其中(x， y均大于10亿)，设备内存限制100M，该如何找出其...
- 引言 给定a，b两个文件, 分别有x，y行数据, 其中(x, y均大于10亿), 机器内存限制100M，该如何找出...
- 将一个大文件分成若干个小文件方法 例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数...
