Celery 踩坑笔记

1.看教程里经常出现的那个魔法般的from task import add实际上只是同目录下对于模块的引用。因为 @app.task 修改后的对象和原函数对象一样,都可以直接调用,也都是调用本地方法。不同的是添加了 Celery 自己的方法,比如 delay,调用这些方法就是走 Celery 的流程了。

2.配置可以在 celeryconfig.py 中设置,用 app.config_from_object('celeryconfig');
也可以用 app.conf.update(k=v) 设置。

3.常用的类 from kombu import Exchange, Queue。

4.Celery task 中不允许调用别的 task 后阻塞式的 get 等待结果。版本 3.2 后会对此行为抛出异常。根据官方文档,应该使用类似管道形式的调用来解决。但是我想根据第一个 task 的结果指定 route_key、exchange,怎么办呢?

5.文档挺详细的:subtask 之于 s,就像 apply_async 之于 delay。可是以这种形式还是没办法解决问题。问题描述为:如何动态设置下一个 subtask 的 options?目前只能先取得返回值再根据结果发送一次请求。

6.Celery 默认的并发方式是 prefork,是用多进程实现的。很多时候我们都需要在程序中共享变量。用 gevent 解决是一个好办法。使用也很简单,在启动时加上参数 -P gevent。

7.Celery 非常适合用于那种你把任务抛出去就不用管了的场景,比如爬虫爬到数据后的处理。我用它处理了 pipelines,这样不仅能节省开发成本,还解决了 scrapy 中不能动态指定 pipelines 的问题。完美!对了,记得用 -P gevent。

踩了这么多坑之后决定放弃 Celery;
因为当数据量很大的时候出现了 socket pipeline 错误,没有找到靠谱的解决方案,也没时间精力深入研究,所以决定放弃生产环境使用 Celery。

慎重处理网络操作啊!


参考:https://blog.csdn.net/shellpaul/article/details/51878618

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容

  • 在学习Celery之前,我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中,...
    c2db9ba35639阅读 3,517评论 0 8
  • 许多Django应用需要执行异步任务, 以便不耽误http request的执行. 我们也可以选择许多方法来完成异...
    青峰星宇阅读 22,991评论 0 52
  • 一. celery 简介 Celery 是一个专注于实时处理和任务调度的分布式任务队列, 同时提供操作和维护分布式...
    眼睛好酸阅读 10,456评论 1 11
  • 转https://blog.csdn.net/kk123a/article/details/74549117 一....
    你常不走的路阅读 18,355评论 2 14
  • 今晚,就是平安夜。 明天,就是圣诞节。 曾几何时,这个只在大学校园流行的节日,现在变得众所周知,且与西方人同庆同乐了。
    yanqiangsheng阅读 214评论 0 1