zbharper

最近发现公司的scrapy爬虫服务运行起来之后，占用内存持续增大，单个爬虫爬取几十万网页之后，占用内存达到1,2个G，单台服务器运行10个以上的爬虫时，很快就把服务器内存耗尽...