CELERY 测试多服务器

1.安装虚拟环境

1.1 安装pipenv

使用pip安装pipenv虚拟环境,比virtualenv使用更方便
pip install pipenv

1.2 创建虚拟环境

创建文件夹,例如env1和env2,然后分别进入文件夹下,使用命令创建虚拟环境
pipenv install

1.3 启动虚拟环境

如果需要启动虚拟环境,需要到响应的文件夹,例如env1,然后打开终端cmd,使用命令
pipenv shell
启动后,终端显示为
(env1-p9sPCrEF) E:\CODE\CeleryStudy
p9sPCrEF是虚拟环境的名称,在路径下可找到对应的文件夹。
虚拟环境的路径是:
C:\Users\chentao1\.virtualenvs\env1-p9sPCrEF

2.安装库

虚拟环境里默认只配置了python版本,所以对于用上的库需要重新安装,并且虚拟环境间是独立的,如果有多个虚拟机环境,则需要多次安装。

2.1 eventlet

在使用celery4.x时,必须安装这个,否则无法使用
pipenv install eventlet

2.2 安装celery

pipenv install celery

2.3 安装redis

pipenv install redis

3.实例

3.1 celery配置

celeryconfig.py

BROKER_URL = 'redis://127.0.0.1:6379/7' #中间件
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/8'  #保存结果

CELERY_TASK_SERIALIZER = 'json'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_RESULT_SERIALIZER = 'json'
CELERY_CONCURRENCY = 8

3.2 实际代码

from celery import Celery
import time
import celeryconfig

app = Celery('tasks')
app.config_from_object('celeryconfig')  #加载配置

@app.task
def add(x,y):
    time.sleep(0.3)
    return x + y

@app.task
def mul(x,y,z):
    time.sleep(0.2)
    return x * y * z

4. 运行CELERY

4.1 执行指令

分别启动两个虚拟环境后,输入命令(不要忘记加上-P eventlet):
celery -A tasks worker --loglevel=info -P eventlet
正常启动后会打印一下信息:

[tasks]
  . tasks.add
  . tasks.hostname

[2018-09-05 14:11:15,556: INFO/MainProcess] Connected to redis://127.0.0.1:6379/
7
[2018-09-05 14:11:15,565: INFO/MainProcess] mingle: searching for neighbors
[2018-09-05 14:11:16,589: INFO/MainProcess] mingle: all alone
[2018-09-05 14:11:16,603: INFO/MainProcess] pidbox: Connected to redis://127.0.0
.1:6379/7.
[2018-09-05 14:11:16,608: INFO/MainProcess] celery@CHENTAO1 ready.

4.2 命令解释

-A : 代表的是Application的首字母,我们的应用是在tasks.py中定义的
worker : 表示的是工人,执行任务用的
--loglevel=info : 打印LOG等级,用来观察任务执行情况
-P eventlet : celery4.x中必须添加的,不然会报错

4.3 执行

执行代码:

from tasks import add,mul

for _ in range(100):
    m = mul.delay(11,33,55)
    a = add.delay(10,250)

    print(m.get())
    print(a.get())

两个虚拟环境都启动celery后,都会打印出下列的信息。

[2018-09-05 14:36:05,690: INFO/MainProcess] Task tasks.mul[0fa4f82b-a462-4c1d-ab
1a-1a16ffa90120] succeeded in 0.20300000000861473s: 19965
[2018-09-05 14:36:05,795: INFO/MainProcess] Received task: tasks.add[80962729-9f
b8-48b9-8e72-dedf029eab27]
[2018-09-05 14:36:06,103: INFO/MainProcess] Task tasks.add[80962729-9fb8-48b9-8e
72-dedf029eab27] succeeded in 0.3119999999908032s: 260
[2018-09-05 14:36:06,114: INFO/MainProcess] Received task: tasks.add[734f212d-9a
f9-4b61-b640-7b4ec45f27f1]

如果先在两个虚拟环境中启动了celery,在运行过程中再启动第三个虚拟环境,也会自动接收任务并执行,打印结果。

5.参考

[https://blog.csdn.net/freeking101/article/details/74707619](https://blog.csdn.net/freeking101/article/details/74707619)
[http://docs.celeryproject.org/en/latest/index.html](http://docs.celeryproject.org/en/latest/index.html)
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容