Celery

Celery实现定时任务

1. 报错

1）celery 报错 在启动worker的时候 AttributeError: 'str' object has no attribute 'items'

redis版本问题
pip install redis==2.10.6

2）Celery Received unregistered task of type (run example)

--loglevel=DEBUG
debug模式
比较已注册的task和报错的task，找问题

3）[Django Celerybeat日志报错处理（'NoneType' object has no attribute 'is_due'）

按照以上意思，Django celerybeat在加载任务的时候遇见任务中有无法指定执行时间的任务，表示为NoneType类型。
数据库中djcelery_periodicttask表中，crontab_id,interval_id，两个字段都为null

4）启动celery时报错ImportError: cannot import name 'python_2_unicode_compatible'

File "/usr/local/lib/python3.6/dist-packages/django_celery_results/models.py", line 9, in <module>
    ImportError: cannot import name 'python_2_unicode_compatible'
    from celery.five import python_2_unicode_compatible
    
解决：
在/usr/local/lib/python3.6/dist-packages/django_celery_results/models.py文件中，
将from django.utils.five import python_2_unicode_compatible
换成from django.utils.six import python_2_unicode_compatible

5）No module named 'django-db'

在celery配置文件文件中添加

app.loader.override_backends['django-db'] = 'django_celery_results.backends.database:DatabaseBackend'

2. 启动

- beat:检查定时任务，并启动定时任务丢给worker执行
celery -A myproject beat -l info
python3.6 manage.py celery -A patrol beat
- worker:
celery -A myproject worker -l info
python3.6 manage.py celery -A patrol worker --loglevel=DEBUG
后台运行

3. 使用Supervisor运行celery

1）简介

supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具。可以很方便的监听、启动、停止、重启一个或多个进程。用supervisor管理的进程，当一个进程意外被杀死，supervisor监听到进程死后，会自动将它重启，很方便的做到进程自动恢复的功能，不再需要自己写shell脚本来控制。
2）配置

- yum install supervisor
安装成功后会在/etc目录中自动生成supervisord.conf文件 supervisord.d文件夹
supervisord.conf是一些默认配置，可自行修改；
supervisord.d目录用来存放用户自定义的进程配置

- 配置supervisord.conf(文件末尾)

[include]
files = relative/directory/*.ini    #可以指定一个或多个以.ini结束的配置文件

最主要配置的是supervisord.d文件夹的位置，以便supervisor控制，这里默认是supervisord.d文件夹所在位置，*.ini指的是supervisord识别所有以.ini结尾的文件，也可自定义，比如*.conf


- 运行supervisord

3）创建进程文件

在任意位置先创建一个文件，比如hello.py，待会supervisor配置的就是运行这个文件
- 进入supervisord.d文件夹,添加hello.ini

[program:hello]        名字随意，不要重复
command=python /home/hello.py 运行命令
stdout_Logfile=/home/celery_log/hello.log 进程打印的日志
stderr_logfile=/home/celery_log/hello_error.log 进程错误日志


注意: supervisor不能监控后台进程，command 不能为后台运行命令

4）运行supervisord

supervisord -c /etc/supervisord.conf 

5）常用命令

supervisorctl 是 supervisord的命令行客户端工具,直接输入：supervisorctl 进入supervisorctl 的shell交互界面，下面的命令不带supervisorctl 可直接使用

supervisorctl status：查看所有进程的状态
supervisorctl stop hello：停止es
supervisorctl start hello：启动es
supervisorctl restart hello: 重启es
supervisorctl update ：配置文件修改后可以使用该命令加载新的配置
supervisorctl reload: 重新启动配置中的所有程序

把hello 换成all 可以管理配置中的所有进程

6）为celery配置ini文件并运行进程

- 在supervisord.d文件夹中创建celery_beat.ini

[program:celerybeat]
command=python3.6 manage.py celery beat -A patrol -l info
directory=/root/patrol/
user=root
autostart=true
autorestart=true
stdout_logfile=/root/patrol/celery_log/celery_baet.log
stderr_logfile=/root/patrol/celery_log/celery_beat_error.log

- 在supervisord.d文件夹中创建celery_worker.ini

[program:celeryworker]
command=python3.6 manage.py celery worker -A patrol --loglevel=info
directory=/root/patrol/
user=root
autostart=true
autorestart=true
stdout_logfile=/root/patrol/celery_log/celery_worker.log
stderr_logfile=/root/patrol/celery_log/celery_worker_error.log

- 启动worker和beat
supervisord -c /etc/supervisord.conf 
如果是在已运行的基础上新添加进程的话可使用：
supervisorctl reload

7）报错

error: <class 'OSError'>, [Errno 99] Cannot assign requested address: file: /usr/lib/python3.6/socket.py line: 713

解决：运行是要指定路径

unix:///var/run/supervisor/supervisor.sock no such file

问题描述：安装好supervisor没有开启服务直接使用supervisorctl报的错

解决办法：supervisord -c /etc/supervisord.conf