- 是一组工具，使得模型可以在移动设备上运行
- 好处：没有延迟，隐私性，离线，省电（联网耗电大）
- 两个主要的组件：
interpreter负责跑模型
converter负责模型转换
主要特性
- API支持多种语言 Java, Swift, Objective-C, C++, Python
- 在特定的设备上支持硬件加速
- 模型优化工具quantization，可以在不降低准确性的前提下减小模型大小，提升性能。
-
FlatBuffers一种高效存储模型的格式
基本流程
- 选择模型
可以是自定义的，也可以是预训练过的，根据需要重新训练 - 转换模型
如果是自定义的模型，使用converter进行转换 - 部署
调用API，使用interpreter在设备上运行 - 优化模型
使用model optimization toolkit优化模型
局限性
- 目前
interpreter只支持的Tensorflow operators是有限的，也就意味着，转换某些模型需要额外的步骤。
