"""
1.什么是进程
一个正在运行的应用程序就是一个进程，系统会给每个进程分配一个独立的内存区域，用来保存程序运行过程中产生的数据，
当进程结束的时候，这个内存区域会自动销毁。
2.什么是线程
进程想要执行任务就必须要有线程。每个进程都默认有一个线程，这个线程叫主线程，其他的线程叫子线程。
程序任务都是默认在主线程中执行的。
一个线程中执行多个任务，任务是串行执行的（一个一个按顺序执行）
一个进程中如果有多个线程，多线程执行不同任务的时候是并行（同时执行，实质是假象，是cpu在不同线程间来回调度，由GIL决定）
3.python全局GIL锁
Python代码的执行由Python解释器进行控制。目前Python的解释器有多种，如CPython、PyPy、Jython等，
其中CPython为最广泛使用的Python解释器。理论上CPU是多核时支持多个线程同时执行，
但在Python设计之初考虑到在Python解释器的主循环中执行Python代码，于是CPython中设计了全局解释器锁
GIL(Global Interpreter Lock)机制用于管理解释器的访问，Python线程的执行必须先竞争到GIL权限才能执行。
全局解释器锁GIL机制流程
a、设置 GIL；
b、切换到一个线程去运行；
c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0))；
d、把线程设置为睡眠状态；
e、解锁 GIL；
d、再次重复以上所有步骤。
4.池的概念：
创建进程或线程都需要消耗时间，销毁进程/线程也需要消耗时间。即便开启了成千上万的进程/线程，
操作系统也不能让他们同时执行，这样反而会影响程序的效率。因此我们不能无限制的根据任务开启或者结束进程/线程。
所以就有了池的概念。
定义一个池子，在里面放上固定数量的进程/线程，有需求来了，就拿一个池中的进程/线程来处理任务，等到处理完毕，
并不关闭，而是将进程/线程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程/线程数量不够，
任务就要等待之前的进程/线程执行任务完毕归来，拿到空闲进程/线程才能继续执行。
减少了进程/线程创建/销毁带来的消耗，同时又可以最大化的利用CPU。
进程池/线程池数量的确定
知道了池的概念，那进程/线程开启的数量该怎么确定呢？多少个进程/线程才能最大化利用CPU，并且不会给操作系统带来额外的消耗呢？
进程数：CPU数量 < 进程数 < CPU数量*2
线程数： CPU数量 * 5
"""
import re
import datetime
import requests
from multiprocessing.dummy import Pool as Threadpool
def get_msg(i):
url = "https://maoyan.com/board/4?offset=%s" % (i*10)
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}
ret_html = requests.get(url=url, headers=headers)
ret_text = ret_html.text
patterns = re.compile('<a href=.*?data-act="boarditem-click" data-val=".*?">(.*?)</a>')
result = patterns.findall(ret_text)
return result
def main1():
all_result = []
for i in range(10):
result = get_msg(i)
all_result += result
print(all_result)
print(len(all_result))
def main():
th = Threadpool(5)
result = th.map(get_msg, [i for i in range(10)])
print(result)
if __name__ == '__main__':
starttime = datetime.datetime.now()
main()
endtime = datetime.datetime.now()
print(endtime - starttime)
print('-------------------------')
starttime = datetime.datetime.now()
main1()
endtime = datetime.datetime.now()
print(endtime - starttime)