>GIL为何物
GIL(Global Interpreter Lock),也称为全局解释器,看下官方解释
In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.)
主要意思为:
GIL是一个互斥锁，它防止多个线程同时执行Python字节码。这个锁是必要的，主要是因为CPython的内存管理不是线程安全的
>Python与GIL
Python的GIL只是CPython(Python解释器)的一个问题,那么Python又有哪些解释器,它们也存在和CPython同样的问题吗?那么什么又是解释器呢?
什么是解释器
我们写的代码计算机是如何识别的呢,计算机也拥有和人类相同的思维和语言吗?显然不是的;计算机只能识别机器指令语言也就是0和1,那么我们编写的程序计算机是如何识别的呢?这就是解释器的作用了,解释器将我们编写的Python代码翻译为机器指令语言,Python解释器本身也是个程序,它是解释Python代码的,叫做解释器.
Python解释器有哪些
- CPython: 官方默认版本,使用C语言开发,是Python使用最广泛的解释器,有GIL.
- IPython: IPython是基于CPython之上的交互式解释器,其它方面和CPython相同.
- PyPy: PyPy采用JIT(Just In Time)也就是即时编译编译器,对Python代码执行动态编译,目的是加快执行速度,有GIL.
- Jython: 运行在Java平台上的解释器,把Python代码编译为Java字节码执行,没有GIL.
- IronPython: IronPython和Jython类似，只不过IronPython是运行在微软.Net平台上的Python解释器，可以直接把Python代码编译成.Net的字节码,没有GIL.
>GIL解决了Python什么问题呢
Python内部对变量或数据对象使用了引用计数器,我们通过计算引用个数,当个数为0时,变量或者数据对象就被自动释放
In [1]: import sys
In [2]: count_var = "test1"
In [3]: sys.getrefcount(count_var)
Out[3]: 2
In [4]: add_var = count_var
In [5]: sys.getrefcount(add_var)
Out[5]: 3
这个引用计数器需要保护,当多个线程同时修改这个值时,可能会导致内存泄漏;SO,我们使用锁来解决这个问题,可有时会添加多个锁来解决,这就会导致另个问题,死锁;
为了避免内存泄漏和死锁问题,CPython使用了单锁,即全局解释器锁(GIL),即执行Python字节码都需要获取GIL,这可以防止死锁,但它有效地使任何受CPU限制的Python程序都是单线程.
>GIL对多线程Python程序的影响
程序的性能受到计算密集型(CPU)的程序限制和I/O密集型的程序限制影响,那什么是计算密集型和I/O密集型程序呢?
计算密集型(CPU)
高度使用CPU的程序,例如: 进行数学计算,矩阵运算,搜索,图像处理等.
I/O密集型
I/0(Input/Output)程序是进行数据传输,例如: 文件操作,数据库,网络数据等
测试下顺序执行单线程和并发执行多线程的效率
- 顺序执行单线程(single_thread.py)
import threading
import time
def test_counter():
i = 0
for _ in range(100000000):
i += 1
return True
def main():
start_time = time.time()
for tid in range(2):
t1 = threading.Thread(target=test_counter)
t1.start()
t1.join()
end_time = time.time()
print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
main()
执行结果:
Total time: 11.299654722213745
- 并发执行两个线程(multi_thread.py)
import threading
import time
def test_counter():
i = 0
for _ in range(100000000):
i += 1
return True
def main():
thread_array = {}
start_time = time.time()
for tid in range(2):
t = threading.Thread(target=test_counter)
t.start()
thread_array[tid] = t
for i in range(2):
thread_array[i].join()
end_time = time.time()
print("Total time:{}".format(end_time-start_time))
if __name__ == "__main__":
main()
执行结果:
Total time:13.7098388671875
GIL对I/O绑定多线程程序的性能影响不大,因为线程在等待I/O时共享锁.
GIL对计算型绑定多线程程序有影响,例如: 使用线程处理部分图像的程序,不仅会因锁定而成为单线程,而且还会看到执行时间的增加,这种增加是由锁的获取和释放开销的结果.
>可以去掉累赘GIL吗
有大佬试过,只能说结果不尽人意0 .0,等待着吧
>SO,如何处理Python中的GIL
- 计算密集型程序
- 使用多进程(什么是多进程呢,后续道来)
- 使用其它语言(将计算密集程序放到其它语言中执行)
- 替换解释器(可以自己尝试)
- 等大神解决GIL0 .0
- I/O密集型程序
- 使用多线程
- 使用多进程
- 使用多进程+多线程
Referce
