Celery 踩坑笔记

1.看教程里经常出现的那个魔法般的from task import add实际上只是同目录下对于模块的引用。因为 @app.task 修改后的对象和原函数对象一样,都可以直接调用,也都是调用本地方法。不同的是添加了 Celery 自己的方法,比如 delay,调用这些方法就是走 Celery 的流程了。

2.配置可以在 celeryconfig.py 中设置,用 app.config_from_object('celeryconfig');
也可以用 app.conf.update(k=v) 设置。

3.常用的类 from kombu import Exchange, Queue。

4.Celery task 中不允许调用别的 task 后阻塞式的 get 等待结果。版本 3.2 后会对此行为抛出异常。根据官方文档,应该使用类似管道形式的调用来解决。但是我想根据第一个 task 的结果指定 route_key、exchange,怎么办呢?

5.文档挺详细的:subtask 之于 s,就像 apply_async 之于 delay。可是以这种形式还是没办法解决问题。问题描述为:如何动态设置下一个 subtask 的 options?目前只能先取得返回值再根据结果发送一次请求。

6.Celery 默认的并发方式是 prefork,是用多进程实现的。很多时候我们都需要在程序中共享变量。用 gevent 解决是一个好办法。使用也很简单,在启动时加上参数 -P gevent。

7.Celery 非常适合用于那种你把任务抛出去就不用管了的场景,比如爬虫爬到数据后的处理。我用它处理了 pipelines,这样不仅能节省开发成本,还解决了 scrapy 中不能动态指定 pipelines 的问题。完美!对了,记得用 -P gevent。

踩了这么多坑之后决定放弃 Celery;
因为当数据量很大的时候出现了 socket pipeline 错误,没有找到靠谱的解决方案,也没时间精力深入研究,所以决定放弃生产环境使用 Celery。

慎重处理网络操作啊!


参考:https://blog.csdn.net/shellpaul/article/details/51878618

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 在学习Celery之前,我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中,...
    c2db9ba35639阅读 3,554评论 0 8
  • 许多Django应用需要执行异步任务, 以便不耽误http request的执行. 我们也可以选择许多方法来完成异...
    青峰星宇阅读 23,088评论 0 52
  • 一. celery 简介 Celery 是一个专注于实时处理和任务调度的分布式任务队列, 同时提供操作和维护分布式...
    眼睛好酸阅读 10,580评论 1 11
  • 转https://blog.csdn.net/kk123a/article/details/74549117 一....
    你常不走的路阅读 18,469评论 2 14
  • 今晚,就是平安夜。 明天,就是圣诞节。 曾几何时,这个只在大学校园流行的节日,现在变得众所周知,且与西方人同庆同乐了。
    yanqiangsheng阅读 233评论 0 1