python实现多任务方式

什么是多任务?
就是操作系统可以同时运行多个任务

多任务的执行方式
并发:交替执行,是假的多任务
并行:同时执行,是真的多任务

第一种多任务的实现方式:多线程
python线程的两种写法(第一种会比较常用):
第一种:

def say():
print("我在说话")

def sing():
print("我在唱歌")
time.sleep(1)

if name == "main":
t1 = threading.Thread(target=say)
t2 = threading.Thread(target=sing)
t1.start()
t2.start()
第二种,通过继承Thread类完成创建线程:

class MyThread(threading.Thread):
def run(self):
for i in range(3):
time.sleep(1)
msg = "I'm " + self.name + " @ " + str(i) # name属性中保存的是当前线程的名字
print(msg)

if name == "__main":
t = MyThread()
t.start()

主线程等待所有子线程执行完才结束

多线程中的全局变量
多线程允许共享全局变量,但全局变量存在资源竞争的问题,导致计算出的结果与预期不符。比如相加到一定数值,得到的结果可能会比预期的小,数值越大结果越明显。

这是因为线程A可能运行到一半,线程B就开始运行,两个线程都竞争全局变量的时候会出现资源竞争问题。

解决资源竞争的问题是使用同步概念,用互斥锁解决,线程A运行时候上了互斥锁,线程B需要等到线程A完成程序后才能运行,这样就避免了资源竞争。

但互斥锁又可能引发死锁的问题。当线程A拥有X锁等待Y锁,线程B拥有Y锁等待X锁,两者都堵塞了在请求对方拥有的资源,导致死锁。

解决死锁的方法有两种:
1,程序实现时尽量避免(银行家算法)
2,添加超时时间

第二种多任务的实现方式:多进程
理解进程和程序:
通俗的讲,运行中的叫进程,没运行的叫程序,程序只有一个,而进程可以有多个

多进程python实现:
def say():
print("我在说话")

def sing():
print("我在唱歌")
time.sleep(1)

if name == "main":
t1 = multiprocessing.Process(target=say)
t2 = multiprocessing.Process(target=sing)
t1.start()
t2.start()

进程,线程对比
进程是资源分配的基本单位,线程是操作系统调度的基本单位(执行即调度),一个进程至少有一个主线程,线程依赖于进程,没有进程就没有线程

多进程通信
多进程之间通过队列来实现数据共享:

def download():
# 模拟从网上下载数据
data = [11, 22, 33, 44]
# 向队列中写入数据
for temp in data:
q.put(temp)
print("---下载器已经下载完了数据并且存入到队列中---")

def analysis(q):
waitting_analysis_data = list()
# 从队列中获取数据
while True:
data = q.get()
waitting_analysis_data.append(data)

    if q.empty():
        break

# 模拟数据处理
print(waitting_analysis_data)

def main():
# 1.创建一个队列
q = multiprocessing.Queue()
# 2.创建多个进程,将队列的引用当作实参进行传递到里面
p1 = multiprocessing.Process(target=download, args=(q,))
p2 = multiprocessing.Process(target=analysis, args=(q,))
p1.start()
p2.start()

if name == "main":
main()

进程池Pool
进程池Pool的作用是缓冲,减少进程创建和销毁

进程池用python实现如下:

def worker(msg):
t_start = time.time()
print("%s开始执行,进程号为%d" % (msg, os.getpid()))
# random.random()随机生成0-1之间的浮点数
time_sleep(random.random()*2)
t_stop = time.time()
print(msg, "执行完毕,耗时%0.2f" % (t_stop-t.start))

po = Pool(3)
for i in range(0, 10):
# Pool().apply_async(要调用的目标, (传递给目标的参数元祖,))
# 每次循环将会用空闲出来的子进程去调用目标
po.apply_async(worker,(i,))

print("-----start-----")
po.close() # 关闭进程池,关闭后po不再接收新的请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("-------end------")

第三种多任务的实现方式:协程
迭代器
数据类型可不可迭代:
可迭代:字符串,列表,元组,字典,集合
不可迭代:数字

如果想要一个对象成为一个可以迭代的对象,即可以使用for,那么必须实现iter方法,返回一个对象的引用。iter()函数会自动调用iter的返回值,iter方法的返回值是一个迭代器。

class Classmate(object):
def init(self):
self.names = list()
self.current_num = 0

def add(self, name):
    self.names.append(name)

def __iter__(self):
    return self

def __next__(self):
    if self.current_num < len(self.names):
        ret = self.names[self.current_num]
        self.current_num = 1
    else:
        raise StopIteration

classmate = Classmate()
classmate.add("老王")
classmate.add("王二")
classmate.add("张三")

print("是否可迭代:", isinstance(classmate, Iterable))

classmate_iterator = iter(classmate)

print("是否是迭代器", isinstance(classmate_iterator, Iterator))

print(next(classmate_iterator))

for name in classmate:
print(name)
生成器
生成器是特殊的迭代器。所以生成器也可以迭代要创建一个生成器
第一种方法,只要把一个列表生成式的[]改成():

a = [x2 for x in range(5)] # a是一个列表
b = (x
2 for x in range(5)) # b是一个生成器,<generator object <genexpr> at 0x7f626c132bd0>
第二种方法

如果一个函数中有yield语句,那么这个就不再是函数,而是一个生成器,如果在调用一个函数时。发现这个函数里有yield,不是调用函数,而是创建一个生成器。

def create_num(all_num):
print("------1------")
# a, b = 0, 1
current_num = 0
while current_num < all_num:
print("------2------")
# print(a)
yield a
print("------3------")
a, b = b, a+b
current_num += 1
print("------4------")

obj = create_num(10)
ret = next(obj)
print(ret)

ret = next(obj)
print(ret)

输出结果:
------1------
------2------
0
------3------
------4------
------2------
1
生成器第二次迭代的时候并不会从头开始执行,而是从上一次生成器暂停的位置开始执行

协程
用yeild实现多任务,其实也就叫协程,下面例子t1和t2两个任务交替执行

def task_1():
while True:
print("------1-----")
time.sleep(0.1)
yield

def task_2():
while True:
print("-----2-----")
time.sleep(0.1)
yield

def main():
t1 = task_1()
t2 = task_2()
# 先让t1运行一会,当t1中遇到yield的时候,再返回到24行,然后
# 执行t2,当它遇到yield的时候,再次切换到t1中
# 这样t1/t2/t1/t2的交替运行,最终实现了多任务,协程
while True:
next(t1)
next(t2)

切换开销:协程<线程<进程

实际项目中实现协程一般是用greenlet、gevent完成多任务,只要在程序中加入monkey.patch_all(),就可以将程序中用到的耗时操作
的代码换成gevent中自己实现的模块

monkey.patch_all()

def coroutune_work(coroutinue_name):
for i in range(10):
print(coroutinue_name, i)
time.sleep(random.random())

gevent.joinall([
gevent.spawn(coroutine_work, "work1")
gevent.spawn(coroutine_work, "work2")
])
总结
进程是资源分配的基本单位
线程是操作系统调度的基本单位
进程切换开销大,效率低
线程切换开销一般,效率一般(不考虑GIL锁的情况)
协程切换开销最小,效率高
多进程,多线程根据cpu核数不一样可能是并行的,但协程是在一个线程中,所以是并发

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,254评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,875评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,682评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,896评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,015评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,152评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,208评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,962评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,388评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,700评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,867评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,551评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,186评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,901评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,689评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,757评论 2 351