Python多进程

from multiprocessing import Pool  #多进程所需要的包
import requests,time
def demo(url):
    # url='https://588ku.com/png-zt/2717/p3.html'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
    html=requests.get(url,headers=headers).text
    return html
if __name__ == '__main__':
    urls = ['https://588ku.com/png-zt/2717/p{}.html'.format(str(i)) for i in range(1, 11)]
    # begin=time.time()
    # for url in urls:
    #     demo(url)
    # end=time.time()
    # print("串行运行时间:",end-begin)      #7.8s
    #
    # begin = time.time()
    # pool=Pool(processes=2)  #自定义进程数量
    # pool.map(demo,urls)
    # end = time.time()
    # print("2进程运行时间:", end - begin)  #4.6s
    #
    # begin = time.time()
    # pool = Pool(processes=4)  
    # pool.map(demo, urls)
    # end = time.time()
    # print("4进程运行时间:", end - begin)  #3.6s

    begin = time.time()
    pool = Pool()   #默认处理器核心数
    text=pool.map(demo, urls)  #获取内容
    print(text)
    end = time.time()
    print("最大进程运行时间:", end - begin) #3.6s,证明此计算机为4核处理器
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容