简介
ray 是伯克利大学开源的一个解决 AI 异构计算负载的通用分布式计算引擎，初期主要是解决强化学习这种多类型负载的计算问题，目前其应用面也超出 AI 领域，例如蚂蚁将其应用于图计算等场景
计算模型
ray 提供了 task 和 actor 两种计算原语
- task
task 是无状态的计算任务，一般通过一个方法进行定义
@ray.remote
def f(x):
return x * x
- actor
actor 是有状态的计算任务，一般通过一个 class 进行定义，且其执行的方式是串行进行，且共享其状态
@ray.remote
class Counter(object):
def __init__(self):
self.n = 0
def increment(self):
self.n += 1
def read(self):
return self.n
系统构成
Ray cluster
ray 由若干个同质的 Worker node 及一个 Head node 组成
每个 Worker node 包括一个 Raylet 进程及若干个 Worker 进程， Head node 除了 Worker node 包含的进程外，还包括 Driver 及 GCS
特点
- 调度方式
相较于传统的分布式计算引擎的中心化调度模式，ray 的调度方式为本地调度及远程转发调度两种方式，调度的灵活性及低延迟性更好 - 动态任务依赖
类似 Spark、TensorFlow 等调度模式，都是提前已知整个 job 的任务依赖关系，而后进行调度执行，ray 可以在 runtime 构建出新的任务依赖（任务中动态创建任务），更加灵活 - 异构计算负载及资源支持
例如强化学习的计算负载类型就包括随机梯度下降的训练（training）、在线服务（serving）及仿真（simulation），而对于各种异构计算资源也存在诉求，例如 GPU、CPU 等
