网络爬虫(十)

今天学习线程,以后写爬虫代码时时会用到,因为用线程可以解决程序顺序运行产生的阻塞,减少运行时间,凡事有两面性,如果开太多的线程也会造成资源消耗过多造成系统崩溃。
开线程一般用线程池的方式,这样可减少线程创建和销毁的频率。下面上代码

from multiprocessing.dummy import Pool

def get_page(url):
    print(url)

pool=Pool(4)

arg_list=['url1','url2','url3','url4']
pool.map(get_page,arg_list)

由于python是解释性语言,函数在一定在调用之前定义。


晚自习
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容