什么是Python中的全局解释器锁
扫描二维码
随时随地手机看文章
全局解释器锁(Global Interpreter Lock)是计算机程序设计语言解释器用于同步线程的一种机制,它使得任何时刻仅有一个线程在执行。即便在多核处理器上,使用 GIL 的解释器也只允许同一时间执行一个线程,常见的使用 GIL 的解释器有CPython与Ruby MRI。可以看到GIL并不是Python独有的特性,是解释型语言处理多线程问题的一种机制而非语言特性。Python是一门解释器语言,代码通过解释器执行,Python存在多种解释器,分别基于不同语言开发,每个解释器有不同的特点。CPython是主流版本的解释器,这个解释器是使用C语言编写的,也是使用最为广泛的解释器,可以方便地和C/C++的类库进行交互,因此也是最受关注的解释器。一种由java语言编写的python解释器,是将python编译成Java字节码然后执行的一种解释器,可以方便地和Java的类库进行交互。将Python代码解释为.Net平台上运行的字节码进行执行,类似Jython解释器,可以方便的和.Net平台上的类库进行交互。
Python 多线程(Multithreading)是一种编程技术,允许在同一程序中同时执行多个独立的逻辑流,即线程。每个线程都有自己的程序计数器、栈空间和局部变量,它们共享同一进程的全局变量、文件描述符和其他系统资源。线程是操作系统调度的基本单位,能够在单个进程中并发运行,从而实现任务的并行处理,提高程序的执行效率和响应速度。
概念要点:并发执行:多线程允许程序的不同部分(即各个线程)同时(或近乎同时)执行,给用户带来并行处理的感觉,即使在单核处理器上也能通过时间片轮转实现并发。资源共享:同一进程中的所有线程共享相同的内存地址空间,包括全局变量、堆内存等。这意味着线程之间可以直接读写共享数据,但也可能导致竞态条件、死锁等同步问题,需要通过同步机制(如锁、条件变量等)来协调对共享资源的访问。轻量级进程:相对于创建新进程,创建线程的开销较小,因为线程之间不需要复制整个地址空间。这使得线程成为处理大量并发任务或频繁切换任务时的理想选择。
全局解释器锁(GIL):在 CPython(Python 的标准实现)中,有一个全局解释器锁(GIL),它限制了同一时刻只有一个线程能够执行 Python 字节码。这意味着在多核 CPU 上,Python 线程并不能实现真正的并行计算。对于计算密集型任务,通常建议使用多进程或多线程与多进程结合的方式来利用多核优势。
在交互效果上有所增强,但执行过程和功能方面和CPython是一样的。一种使用JIT(just-in-time)技术的编译器,专注于执行速度,对Python代码进行动态编译,从而提高Python的执行速度。PyPy在处理python代码的过程中,一小部分功能的处理和CPython的执行结果是有差异的,如果项目中要使用PyPy来进行执行效率的提升的话,一定要事先了解下PyPy和CPython的区别。
CPython的线程是操作系统的原生线程,在Linux的pthread完全由操作系统调度执行。pthread本身不是线程安全的,需要使用者通过锁来实现多线程的安全运行,因此CPython解释器下的Python实现多线程也必然存在线程不安全的问题。这就为GIL在多核时代的使用埋下了隐患。Python是Guido van Rossum 在1989年发布的,那个时候计算机的主频还没有达到1G,程序全部都是运行在单核计算机上面,直到2005年多核处理器才被Intel开发出来。
戈登·摩尔 1965 年预测,每个集成电路的元件数量每 18 到 24 个月就会翻一倍,它的适用性预计会持续到 2015-2020 年。摩尔定律未失效前软件系统可以单纯借助硬件的进步来获得性能的提升或者只需少量改进,就可以坐享性能飞跃。然而从 2005 年开始,时钟速率的增长和晶体管数量的增长已不再同步。由于处理器材料的物理性质限制,时钟速率已停止增长甚至下降,处理器制造商开始将更多执行单元核心封装到单个芯片中。这一趋势给应用程序开发和编程语言设计带来越来越大的压力。
程序员和编程语言决策者不得不考虑如何快速适应多核硬件,来提高软件性能和编程语言的市场占有率,Python也不例外受到冲击。在单核时代,崇尚优美、清晰、简单的吉多.范罗苏姆选择在解释器层面实现了一把全局互斥锁,来保护Python对象从而实现对单核CPU的使用率,这种做法在单核时代很奏效。倘若在单核时未选择GIL,那么开发者就需要自己实现任务的管理,这样做对于CPU的利用率提高无法做到极致。
但是随着多核时代的到来,高效地利用CPU 核心的有效方法就是使用并行性,多线程是充分实现并行的好方法,但是CPython的GIL却阻碍了对多核CPU的利用。CPython的GIL给使用者带来了便利,并且在GIL的基础上开发了许多重要的Package和语言功能。但是多核CPU的普适和其他语言对Python的冲击,让GIL显得原始而粗暴,无法有效利用多核处理器成为了弊端。
Python的多线程是通过 threading模块 实现同一进程内的并发执行流,适用于I/O密集型任务(如文件读写、网络请求等),但受 GIL锁 限制无法实现多核并行计算。 实现方式:Python多线程本质上是同一进程内的并发执行,通过 CPython解释器 的 GIL (Global Interpreter Lock)实现,任何线程执行前需先获得锁,执行100条指令后自动释放锁,导致多线程无法同时运行。 适用场景:适合文件处理、网络通信等I/O密集型任务,通过释放GIL锁实现非阻塞操作,提升程序响应性。 局限性:无法通过多线程有效利用多核CPU,实际运行效率受限于单核性能。线程共享资源:所有线程共享进程的内存空间和文件句柄,但每个线程拥有独立的CPU寄存器上下文。 互斥锁 (Mutex):用于保护共享资源,避免多个线程同时操作同一数据导致冲突。
随着Python 3.11引入的plaintext复制threading模块优化,以及JIT编译器的逐步普及,多线程在以下领域将展现更大潜力:实时数据处理系统,分布式微服务架构,机器学习流水线优化,建议开发者结合具体业务场景,通过性能分析工具(如cProfile)持续优化线程模型,充分发挥Python多线程在并发编程中的独特优势。