2021-07-09
sorry，有点松懈，昨天的文章剩的部分都还没看完，今天的又来了，债多不愁
Batch: machine learning inference serving on serverless platforms with adaptive
地址：SC'20
serverless+ml inference = 热点+热点
Abstract
serverless 是云平台对资源更细粒度使用的功能，作者希望利用这个工具的automates resource scaling的功能来解决ML inference时会遇到的bursty的问题。
（batching，这里的batching没有理解是什么意思，什么batching，怎么batching，）
machine learning serving是无法直接利用serverless的，因为serverless是无状态的。因此本文设计了一个框架，来利用AWS中lambda（14年就提出serverless的功能）来加速机器学习的推断过程。
实验证明比现有的两种方法好，MArk和SageMaker
Intro 泛-精-专
泛：
serverless 最近很火，几乎所有大厂的云服务都推出了（这里大厂，AWS，IBM，Microsoft，Google，可见江湖地位的区别[doge]）。serverless的好处是对资源划分粒度细，而且用户友好，现有很多功能都有serverless实现版本。
ML分为三阶段，模型设计，模型训练，模型推理。这三个阶段中，推理最适合用serverless了，因为推理需要动态的资源，严格的延迟时间保证。
精：
为什么选Serverless？
现有在云上推理的工作选择的是Iaas，尽管serverless对用户友好，用户不需要操心细节，但是从目前的工作看，Iaas的cost更小。
目前也有解决这个问题的方案，但是他们没有考虑到bursty的问题，当bursty问题比较大的时候，Iaas方案的cost也值得瞩目。
专：用serverless来做ML的推理，挑战在哪里？
当前ML推理的常见方案是，Batching，即当收集到一定数据的推理请求，一次性的推理运算得出结果，优化好的批处理可以有效提升性能并且减少cost。
1.serverless 是无状态的，所以天然不支持batching
- 随着情况的不同，batching的size和timeout应该是动态变化的，如何配置参数也是一个挑战
本文贡献：
1.写了一个支持batching的框架，自动调整参数来保证高效率低延时
2，调整的方法是基于对bursty的特征等多项因素的综合考虑
3，框架利用AWS的lambda实现，用不同的框架tf和mxnet，不同的领域来进行测试
4，我们设计这个调整方法的误差比较小，9%以内
5，利用这个动态调整的方法，取得了SOTA的效果
6，BATCH supports a full serverless paradigm（这里没明白，需要再看看）
