深入理解Python中的并发与异步的结合使用

在上一篇文章中，我们讨论了异步编程中的性能优化技巧，并简单介绍了`trio`和`curio`库。今天，我们将深入探讨如何将并发编程与异步编程结合使用，并详细讲解如何利用`trio`和`curio`库优化异步编程中的性能。 [TOC] #### 并发与异步编程的区别与联系 并发编程和异步编程都是处理多任务的有效手段，但它们的实现方式和适用场景有所不同： - **并发编程**：通过线程或进程来同时执行多个任务，适用于CPU密集型任务； - **异步编程**：通过事件循环和协程来调度任务，适用于I/O密集型任务。 结合使用并发和异步编程，可以同时处理CPU密集型和I/O密集型任务，提升程序整体性能。 #### 并发编程与异步编程的优缺点 ##### 并发编程 - **优点**： - 可以充分利用多核CPU的优势，提高程序的执行效率； - 适用于需要大量计算的任务，例如数据处理、图像处理等。 - **缺点**： - 线程和进程的管理和调度较为复杂，需要处理同步、锁等问题； - 创建和销毁线程或进程会有一定的开销。 ##### 异步编程 - **优点**： - 适用于I/O密集型任务，可以在等待I/O操作完成时执行其他任务，提高资源利用率； - 代码更加简洁，逻辑清晰。 - **缺点**： - 仅能在单线程中运行，不能利用多核CPU的优势； - 对于CPU密集型任务效果不佳。 #### 如何在同一个程序中同时使用 `threading`、`multiprocessing` 和 `asyncio` 在同一个程序中，我们可以利用 `threading` 和 `multiprocessing` 提供并发能力，同时使用 `asyncio` 实现异步I/O操作： ##### 使用 `threading` 和 `asyncio` ```python import asyncio import threading async def async_task(): print("Starting async task") await asyncio.sleep(2) print("Async task completed") def sync_task(loop): print("Starting sync task") loop.run_until_complete(async_task()) print("Sync task completed") loop = asyncio.get_event_loop() thread = threading.Thread(target=sync_task, args=(loop,)) thread.start() thread.join() ``` **使用 `multiprocessing` 和 `asyncio`** ```python import asyncio import multiprocessing async def async_task(): print("Starting async task") await asyncio.sleep(2) print("Async task completed") def sync_task(): loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) loop.run_until_complete(async_task()) if __name__ == "__main__": process = multiprocessing.Process(target=sync_task) process.start() process.join() ``` #### 深入使用 `trio` 库 `trio`对异步编程提供了更友好的API，以及更加健壮的错误处理机制；它简化了异步编程的许多复杂性，特别是对于需要多个并发任务的场景： ##### 基本使用 ```python import trio import asks async def fetch(url): response = await asks.get(url) return response.text async def main(): urls = ['http://example.com', 'http://example.org', 'http://example.net'] async with trio.open_nursery() as nursery: for url in urls: nursery.start_soon(fetch, url) trio.run(main) ``` ##### 高级功能：取消与超时 在`trio`中，可以轻松地对任务进行取消和超时操作： ```python import trio async def long_running_task(): try: print("Task started") await trio.sleep(10) print("Task completed") except trio.Cancelled: print("Task was cancelled") async def main(): async with trio.open_nursery() as nursery: nursery.start_soon(long_running_task) await trio.sleep(5) nursery.cancel_scope.cancel() trio.run(main) ``` **异常处理与重试机制** ```python import trio import asks async def fetch_with_retry(url, retries=3): for attempt in range(retries): try: response = await asks.get(url) return response.text except Exception as e: print(f"Attempt {attempt + 1} failed: {e}") await trio.sleep(2) raise Exception(f"Failed to fetch {url} after {retries} attempts") async def main(): urls = ['http://example.com', 'http://example.org', 'http://example.net'] async with trio.open_nursery() as nursery: for url in urls: nursery.start_soon(fetch_with_retry, url) trio.run(main) ``` #### 深入使用 `curio` 库 `curio` 是另一个异步编程库，主要强调简单性和高性能，适用于需要低延迟和高吞吐量的场景： ##### 基本使用 ```python import curio import httpx async def fetch(url): async with httpx.AsyncClient() as client: response = await client.get(url) return response.text async def main(): urls = ['http://example.com', 'http://example.org', 'http://example.net'] tasks = [fetch(url) for url in urls] results = await curio.gather(tasks) for result in results: print(result[:100]) if __name__ == "__main__": curio.run(main) ``` ##### 高级功能：任务取消与超时 `curio` 和trio一样提供了强大的任务管理功能，其中也包括对任务取消和超时操作的处理： ```python import curio async def long_running_task(): try: print("Task started") await curio.sleep(10) print("Task completed") except curio.CancelledError: print("Task was cancelled") async def main(): task = await curio.spawn(long_running_task) await curio.sleep(5) await task.cancel() if __name__ == "__main__": curio.run(main) ``` **使用信号与事件进行任务同步** ```python import curio![](https://files.mdnice.com/user/68804/a9f7fe95-2fc1-4c87-963a-cdbf8c34108b.jpg) async def producer(event): print("Producer sleeping") await curio.sleep(5) print("Producer setting event") await event.set() async def consumer(event): print("Consumer waiting for event") await event.wait() print("Consumer got event") async def main(): event = curio.Event() await curio.gather(producer(event), consumer(event)) if __name__ == "__main__": curio.run(main) ``` ### 性能优化技巧 通过结合并发和异步编程技术，以及使用`trio`和`curio`库，我们可以在处理大量I/O密集型任务时获得显著的性能提升，以下是我在工作中常用的一些性能优化技巧： 1. **限制并发请求数量**：使用信号量（semaphore）限制同时进行的请求数量，防止过多的请求导致系统资源枯竭； 2. **分块处理任务**：将任务划分为多个块，分别进行处理，避免一次性处理大量任务导致的性能问题； 3. **使用连接池**：复用连接，减少连接建立和销毁的开销； 4. **合理设置超时时间**：为每个请求设置合理的超时时间，防止由于某些请求超时导致整个任务的延迟； 5. **异步I/O操作**：尽量使用异步I/O操作，避免阻塞主线程。 ### 结语 通过本文的介绍，我们深入学习了如何将并发编程与异步编程结合使用，以最大化程序的性能和效率。结合使用 `threading`、`multiprocessing` 和 `asyncio` 可以同时处理CPU密集型和I/O密集型任务，提升程序整体性能，希望这些技巧能帮助你在实际项目中编写出高效、稳定的代码！ **如果你对计算机相关技术有更多的兴趣，想要持续的探索，请关注我的公众号哟！** ![](https://upload-images.jianshu.io/upload_images/27440471-049d8d799827a4a4.png) 本文由[mdnice](https://mdnice.com/?platform=6)多平台发布
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,884评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,755评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 158,369评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,799评论 1赞 285
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,910评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,096评论 1赞 291
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,159评论 3赞 411
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,917评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,360评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,673评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,814评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,509评论 4赞 334
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,156评论 3赞 317
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,123评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,641评论 2赞 362
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,728评论 2赞 351

推荐阅读更多精彩内容