Python多线程

python中提供了函数和类两种方式使用多线程:

创建多线程

函数方式

import threading
import time

def run(sec):
    print('%s 线程开始了!' %threading.current_thread().name)
    time.sleep(sec)
    print('%s 线程结束了!' %threading.current_thread().name)


if __name__ == '__main__':

    print('主线程开始执行:', threading.current_thread().name)

    s_time = time.time()

    thread_list = []
    for i in range(5):
        t = threading.Thread(target=run, args=(i,))
        thread_list.append(t)

    for t in thread_list:
        t.start()

    for t in thread_list:
        t.join()

    print('主线程执行结束', threading.current_thread().name)
    print('一共用时:', time.time()-s_time)
image

类方式

使用类方式需要写一个类,继承自threading.Thread类,然后重写run()方法。

import threading
import time

class MyThread(threading.Thread):


    def __init__(self, sec):
        super(MyThread,self).__init__()
        self.sec = sec

    def run(self):
        print('%s 线程开始了!' %threading.current_thread().name)
        time.sleep(self.sec)
        print('%s 线程结束了!' %threading.current_thread().name)



if __name__ == '__main__':

    print('主线程开始执行', threading.current_thread().name)
    s_time = time.time()

    my_thread_list = []

    for i in range(5):
        my_thread = MyThread(i)
        my_thread_list.append(my_thread)

    for i in my_thread_list:
        i.start()

    for i in my_thread_list:
        i.join()

    print('一共用时:', time.time()-s_time)
    print('主线程结束执行', threading.current_thread().name)
image

线程锁

threading.Lock()

由于线程之间可以共享数据,而线程交替被送上CPU运行,这时很容易出现的一个问题就是,一个全局变量在被某一个线程修改时,可能还没有达成我们想要得到的结果,就被撤下CUP。这时,下一个被送上CUP的线程也需要取得这个变量的值,这时候,这个值的结果其实并不是我们期望的那个结果了。例子如下:

import threading

num = 0
def run(n):
    global num
    for i in range(100000):
        num = num + n
        num = num - n

if __name__ == '__main__':
    t1 = threading.Thread(target=run, args=(50,))
    t2 = threading.Thread(target=run ,args=(16,))

    t1.start()
    t2.start()

    t1.join()
    t2.join()

    print(num)
image

我们期望的值是0,然而因为多线程的原因,num这个变量被加上n之后,还没有来得及减去n,立刻被撤下CUP,最终的结果并不是我们期望的那样。

因此,我们的目的是:在执行加和减的时候,不要被打断,python提供了线程锁来实现这样的目的,例子如下:

import threading

num = 0
lock = threading.Lock()

def run(n):
    global num
    for i in range(100000):
        lock.acquire()
        num = num + n
        num = num - n
        lock.release()

if __name__ == '__main__':

    t1 = threading.Thread(target=run, args=(50,))
    t2 = threading.Thread(target=run ,args=(16,))

    t1.start()
    t2.start()

    t1.join()
    t2.join()

    print(num)

threading.Rlock()

RLock称之为可重入锁,它可以被同一个线程多次请求,使用了“拥有的线程”和“递归等级”的概念,处于锁定状态时,RLock被某个线程拥有。拥有RLock的线程可以再次调用acquire(),释放锁时需要调用release()相同次数。

与Lock的区别是:

  1. 从所属上,Lock属于全局,不被任何一个线程所拥有。Rlock一旦被某一个线程所获得,那么直到该锁被释放,都属于该线程。
  2. 从使用上,Lock只能被获得一次,然后释放,多次获得将会出现死锁。Rlock可以被多次获得,但是需要注意的是,获得多少次,就必须释放相对应的次数,Rlock有一个计数器,每获得一次,计数加一,每释放一次,计数减一,计数为0时,该锁属于释放状态。

条件(condition)

条件同步机制:顾名思义,一个线程等待某个特定条件,而另一个线程发出满足特定条件的信号。

下面使用条件同步机制来实现生产者消费者模型。

import threading
import random
import time


class Producer(threading.Thread):

  def __init__(self, integers, condition):
    super(Producer,self).__init__()
    self.integers = integers
    self.condition = condition

  def run(self):
    while True:
      integer = random.randint(0, 1000)
      self.condition.acquire()  #获取条件锁
      print('condition acquired by %s' % threading.current_thread().name)
      self.integers.append(integer)
      print('%d appended to list by %s' % (integer, threading.current_thread().name))
      print('condition notified by %s' % threading.current_thread().name)
      self.condition.notify()   #唤醒消费者线程
      print('condition released by %s' % self.name)
      self.condition.release()  #释放条件锁
      time.sleep(1)


class Consumer(threading.Thread):

  def __init__(self, integers, condition):
    super(Consumer,self).__init__()
    self.integers = integers
    self.condition = condition

  def run(self):
    while True:
      self.condition.acquire()  #获取条件锁
      print('condition acquired by %s' % self.name)
      while True:
        if self.integers:
          integer = self.integers.pop()
          print('%d popped from list by %s' % (integer, self.name))
          break
        print('condition wait by %s' % self.name)
        self.condition.wait()   #等待状态,等待被唤醒,才会继续执行

      print('condition released by %s' % self.name)
      self.condition.release()  #最后释放条件锁



if __name__ == '__main__':

  integers = []
  condition = threading.Condition()
  t1 = Producer(integers, condition)
  t2 = Consumer(integers, condition)
  t1.start()
  t2.start()
  t1.join()
  t2.join()

image

先来看消费者模型,生产者生产的速率慢,消费者消费的速率快,消费者是一个死循环,一直从integers列表中取值,如果列表中一直有值的情况下,不需要过多解释,就是一个一直获得锁,弹值,释放锁的过程。关键的在于列表为空的情况下,使用了condition.wait()方法,此时,消费者处于休眠状态,相当于在这个地方停顿住,一旦出现condition.notify(),则该休眠状态结束,继续执行。

再来看生产者模型,生产者模型每生产一个元素,则调用condition.notify()方法来唤醒处于休眠状态的消费者,在释放锁,等待一秒钟,继续生产。

ThreadLocal

在多进程的模式下,每一个进程都有全局变量的一份副本,互相之间不会干扰。但是在多线程的模式下,全局变量对于每一个线程都是可见的,并且可以修改,有的时候我们希望线程使用自己的局部变量而不是使用全局变量,因为局部变量只有线程自己能看见,不会影响其他线程,而全局变量的修改必须加锁。

Python提供了threading.local()方法来实现上面的需求。

import threading


local_var = threading.local()

def get_name():
    name = local_var.name
    print('Hello, %s (in %s)' % (name, threading.current_thread().name))

def def_name(name):
    local_var.name = name
    get_name()

if __name__ == '__main__':
    t1 = threading.Thread(target= def_name, args=('zhangsan',))
    t2 = threading.Thread(target= def_name, args=('lisi',))

    t1.start()
    t2.start()
    t1.join()
    t2.join()
image

name变量此时相对于每一个线程都是独立的
但是在每个线程的内部都可以获得。

队列(Queue)

使用队列进行线程同步,不需要关心锁的问题,因为queue已经帮我们实现了

下面使用队列重写生产者消费者模型

import threading
import queue
import random
import time

class Producer(threading.Thread):

    def __init__(self, queue):
        super(Producer,self).__init__()
        self.queue = queue

    def run(self):
        while True:
            integer = random.randint(0, 1000)
            self.queue.put(integer)
            print('%d put to queue by %s' % (integer, self.name))
            time.sleep(1)


class Consumer(threading.Thread):

    def __init__(self, queue):
        super(Consumer, self).__init__()
        self.queue = queue

    def run(self):
        while True:
            integer = self.queue.get()
            print('%d popped from list by %s' % (integer, self.name))
            self.queue.task_done()


if __name__ == '__main__':

    queue = queue.Queue()
    t1 = Producer(queue)
    t2 = Consumer(queue)
    t1.start()
    t2.start()
    t1.join()
    t2.join()
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容

  • 1.线程的基本概念 1.1 线程 线程是应用程序最小的执行单元,线程与进程类似,进程可以看做程序的一次执行,而线程...
    XYZeroing阅读 967评论 1 16
  • 线程和进程 计算机,用于计算的机器。计算机的核心是CPU,在现在多核心的电脑很常见了。为了充分利用cpu核心做计算...
    人世间阅读 24,326评论 3 85
  • 来源:数据分析网Threading 模块从 Python 1.5.2 版开始出现,用于增强底层的多线程模块 thr...
    PyChina阅读 1,736评论 0 5
  • 概述 多线程给我们带来的好处是可以并发的执行多个任务,特别是对于I/O密集型的业务,使用多线程,可以带来成倍的性能...
    SimonChen阅读 9,429评论 0 5
  • 概述 这篇博客是我翻译Python threads synchronization: Locks, RLocks,...
    0行痴0阅读 1,448评论 0 8