Airflow 中文文档:使用Mesos扩展(社区贡献)

有两种方法可以将气流作为mesos框架运行:

  1. 直接在mesos从站上运行气流任务,要求每个mesos从站安装和配置气流。
  2. 在安装了气流的docker容器内运行气流任务,该容器在mesos slave上运行。

任务直接在mesos从站上执行

MesosExecutor允许您在Mesos群集上安排气流任务。 为此,您需要一个正在运行的mesos集群,并且必须执行以下步骤 -

  1. 在将运行Web服务器和调度程序的mesos从站上安装气流,让我们将其称为“Airflow服务器”。
  2. 在Airflow服务器上,从mesos下载安装mesos python eggs。
  3. 在Airflow服务器上,使用可从所有mesos从站访问的数据库(例如mysql)并在airflow.cfg添加配置。
  4. airflow.cfg更改为指向airflow.cfg的point executor参数,并提供相关的Mesos设置。
  5. 在所有mesos奴隶上,安装气流。 从Airflow服务器复制airflow.cfg (以便它使用相同的sql炼金术连接)。
  6. 在所有mesos从服务器上,运行以下服务日志:
airflow serve_logs

阅读全文/改进本文

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 在快速启动部分中设置很简单,构建生产级环境需要更多的工作,下面来了解一下。 1. 设置配置选项 第一次运行Airf...
    路小漫阅读 13,234评论 0 3
  • 从事容器方面工作的朋友可能已经听说过DC/OS,往往大家误解DC/OS就是marathon + mesos,其实D...
    Alukar阅读 5,084评论 0 1
  • messos部署 安装环境 1:查看内核版本 [root@localhost ~]# uname -a Linux...
    大斌对你说阅读 4,160评论 0 0
  • 本文原载于:https://old-panda.com/2018/10/26/airflow-101/ 距离上回写...
    Old_Panda阅读 5,998评论 0 7
  • 在穿过一望无际的沙漠之后,我感到身心疲惫,在逃命的过程中跛了一只脚,洛天行下手可真重啊,五脏六腑仿佛被放在岩浆炙烤...
    八角猫阅读 1,427评论 0 0

友情链接更多精彩内容