luigi实战

启动server端

进入luigi安装包环境,执行如下命令

luigid --pidfile /tmp/luigid.pid --logdir /tmp/luigi/log/ --state-path /tmp/luigi/state --background

默认端口是8082


image.png

执行本地task两种方式

# my_module.py, available in your sys.path
import luigi

class MyTask(luigi.Task):
    x = luigi.IntParameter()
    y = luigi.IntParameter(default=45)

    def run(self):
        print(self.x + self.y)

first_way cli方式

luigi --module my_module MyTask --x 123 --y 456 --local-scheduler

second_way 主程序入口方式
import  luigi
class MyTask1(luigi.Task):
    x = luigi.IntParameter()
    y = luigi.IntParameter(default=0)

    def run(self):
        print(self.x + self.y)


class MyTask2(luigi.Task):
    x = luigi.IntParameter()
    y = luigi.IntParameter(default=1)
    z = luigi.IntParameter(default=2)

    def run(self):
        print(self.x * self.y * self.z)


if __name__ == '__main__':
    luigi.run([MyTask1(x=10), MyTask2(x=15, z=3)])

把本地task注册到server

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,993评论 19 139
  • 【忤合第六】 原文:(6.3)用之于天下,必量天下而用之;用之于国,必量国而于之,用之于家,必量家而与之,用之于身...
    路过的小强阅读 470评论 0 0