from multiprocessing import Pool #多进程所需要的包
import requests,time
def demo(url):
# url='https://588ku.com/png-zt/2717/p3.html'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
html=requests.get(url,headers=headers).text
return html
if __name__ == '__main__':
urls = ['https://588ku.com/png-zt/2717/p{}.html'.format(str(i)) for i in range(1, 11)]
# begin=time.time()
# for url in urls:
# demo(url)
# end=time.time()
# print("串行运行时间：",end-begin) #7.8s
#
# begin = time.time()
# pool=Pool(processes=2) #自定义进程数量
# pool.map(demo,urls)
# end = time.time()
# print("2进程运行时间：", end - begin) #4.6s
#
# begin = time.time()
# pool = Pool(processes=4)
# pool.map(demo, urls)
# end = time.time()
# print("4进程运行时间：", end - begin) #3.6s
begin = time.time()
pool = Pool() #默认处理器核心数
text=pool.map(demo, urls) #获取内容
print(text)
end = time.time()
print("最大进程运行时间：", end - begin) #3.6s,证明此计算机为4核处理器
Python多进程
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 此篇为学习Python多进程这个知识点是的练习Demo,有兴趣的可以看一下。这 里面涉及到的知识点有：进程池（Po...
- 关键词：python2.7 multiprocessing logger 单例 前言 前言，很多人提起python...
- 目录： multiprocessing模块 Pool类 apply apply_async map close t...
- 该文章基于 python3分布式 进程 线程 系列文章 https://www.jianshu.com/nb/39...
