关键词：linux服务器 多线程 爬虫技术
代码大意：自动获取某网站的大量信息，包括id，评价，粉丝等数量的信息。网页大概有70W个网页。
问题：每次大概数据采集访问到5000个网页的时候就出现killed，如何解决？
查了一下网上公开的资料：使用的内存过多被OOM了，killed
措施：转移到本地计算机运行；补充服务器内存；改变存储方式(以前是写入exl里面，结果发现有内存泄露，最终导致killed。解决方案将其储存在文本文档中.txt文件，很好的解决了这一问题)
Python 多线程爬虫自动Killed问题
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
