概览
- 什么是tflite?
- 什么是int8?
- 我用tflite int8做了什么事？
- 做个小结
- 可以期待/扩展的东西？
什么是tflite?
tensorflow lite是把tensorflow的机器学习模型跑在手机和嵌入式终端的一个官方解决方案。使用tflite在android，ios等系统上进行模型推断，可以减少资源消耗，加快运行速度。
什么是int8?
众所周知，在深度学习的训练和推断过程中，普遍使用float32精度进行所有的计算。然而，由于神经网络本身对噪声的鲁棒性，一些人提出在追求速度的推断过程中，将运算精度从float32降低到int8，从而在牺牲精度的情况下，换取速度的提升。
int8相较float32的优点
- int8的所需字节数是float32的1/4, 即节约了 3/4的内存带宽
- int8的运算指令，比float32更快，详细评测点这里
- 更低的功耗
什么是tflite + int8 ？
基于上述背景，谷歌公司的工程师设计了一套float32模型量化方案，使得在整个模型推断过程，只需要用到整型计算(integer-only arithmetic)。为了保持量化后的模型准确率，更是为了这套量化方案设计了专门的模型训练方法，使得量化后的准确率只降0.6%左右。更细节更完整内容请看论文 quantization and training of neural networks for efficient integer-arithmetic-only inference
论文重点
定点计算
模型量化之后，我们得到的并不是一堆int8表示的整数，而是一些小数点固定的小数，即定点表示。定点表示允许我们使用int8指令进行小数的计算。详细讲解点这里
train中引入量化机制
为了保证模型的准确率，论文中的训练方法将量化机制引入到train中，具体实现是在模型forward时paramters使用int8精度获得最后的logit，但loss计算时使用float32进行参数更新；在train过程中，还会记录每一层conv weight和activation的量化范围(最大值和最小值)。
我用tflite int8做了什么事？
1. 测试tensorflow 官方放出的tflite quantized模型在rk3399上的速度，看是否属实
benchmark
device: rk3399
- arch=aarch64 use_NNAPI=false num_thread=1 loop_count=100
- note: tflite is slow in armv7a.
| (unit: ms) | tflite_int8 | tflite_float | tensorflow | ncnn |
|---|---|---|---|---|
| mobilenet_v1_0.25_128 | 4.25 | 6.47 | 16.2 | |
| mobilenet_v1_0.5_128 | 11.02 | 20.51 | 37.74 | |
| mobilenet_v1_0.75_128 | 20.88 | 43.02 | 69.97 | |
| mobilenet_v1_1.0_128 | 31.34 | 68.33 | 114.34 | |
| mobilenet_v1_1.0_224 | 92.19 | 179.26 | 312.18 | 144.64 |
- arch=aarch64 use_NNAPI=false num_thread=2 loop_count=100
| (unit: ms) | tflite_int8 | tfilte_float | tensorflow | ncnn | tvm |
|---|---|---|---|---|---|
| mobilenet_v1_0.25_128 | 3 | 10.27 | 19.33 | ||
| mobilenet_v1_0.5_128 | 6.78 | 46.01 | 41.68 | ||
| mobilenet_v1_0.75_128 | 11.98 | 54.94 | 63.03 | ||
| mobilenet_v1_1.0_128 | 19.34 | 87.25 | 106.45 | ||
| mobilenet_v1_1.0_224 | 51.58 | 211.19 | 258.38 | 88.89 | 77.9 |
结论：同模型同输入情况下，int8比最快的float实现快1.5倍左右(看mobilenet_v1_1.0_224)
2. 速度ok后，尝试替换端上的检测和分类模型
最后的实验结果：
| 分类 | 速度（rk3399单线程） | recall | acc |
|---|---|---|---|
| 原模型(tensorflow) | 25ms | 86.3% | 92.3% |
| 新模型(tflite int8) | 4ms | 87.1% | 93.2% |
| 检测 | 速度（rk3399单线程） | recall | acc |
|---|---|---|---|
| 原模型(tensorflow) | 35ms | 93.11% | 81.57% |
| 新模型(tflite int8) | 26ms | 96.17% | 86.5% |
速度更快，准确度反而还更高了？这是因为新模型的大小和参数量都比原来的模型更深，而且检测的输入也被我放大了。
在训练过程中，是在收敛的float模型的基础上finetune int8模型的，而int8模型的准确率确实会比float模型低0.6%左右。
做个小结
从实验可以看出，这一套tflite+int8方案，正如论文提及，完成可以handle检测和分类这种任务，有这类需求并在端上部署的朋友，不妨尝试一下
-
检测
检测是用的tensorflow官方的api实现的train代码，只需要build好自己的tfrecord，就能根据教程跑起来，实用！缺点是GPU多卡训练会报错，训练数据多的时候需要填这个坑。目前int8只支持ssd和faster-rcnn
-
分类
分类只需要在tensorflow原有的train代码中，在loss后面引入 fake quant ops，简单实用。论文提及，目前这套方案只在官网发布的这些模型 确认有效，不保证别的模型能work
-
导出 .tflite 模型
这个流程比较长，遇到问题的朋友可以留言讨论
-
端上开发步骤
在需部署硬件上测试模型速度，速度符合需求后再train模型
可以期待/扩展的东西？
- NVIDIA GPU上的float16 train/val, int8 val. 简单介绍
