240 发简信
IP属地:上海
  • Resize,w 360,h 240
    Spark - 编译、打包和开发环境搭建

    1. 编译打包 Spark 支持 SBT 和 Maven 两种方式,一般构建使用 maven,开发中调试使用交互式的 SBT SBT 执行 bu...

  • Resize,w 360,h 240
  • Resize,w 360,h 240
    一种大数据作业容器化的方法

    大数据分布式作业调度系统的一般架构是由 master 将任务分发到一批 worker 上执行 大数据作业有很多种不同的任务类型: Shell J...

  • Ray autoscaler for k8s installation

    https://docs.ray.io/en/latest/autoscaling.html#kubernetes 1. 安装 kuberctl...

  • Scale a CPU intensive python task using Ray

    本文旨在尝试使用 Ray 将一个运行在单机环境,非常消耗 CPU 且运行时间较长的算法任务,改成分布式环境运行的程序,以达到同时降低单台机器的负...

  • 基于 RocksDB 的可靠 Kafka producer

    https://github.com/artiship/rocks-kafka-producer 为什么 Kafka producer 需要持久...

  • 基于 RocksDB 的持久化队列

    https://github.com/artiship/rocks-queue-java[https://github.com/artiship...

  • 使用 Supervisord 托管 Java 应用

    目前结构 应用启动脚本 Supervisor 配置文件 启动服务

  • Presto HA with haproxy

    As we know, Presto coordinator service has the single point of failure i...