原作者: TensorFlow(Kunwoo Park, Moogung Kim, Eunsung Han)
链接: https://medium.com/tensorflow/how-vflat-used-the-tflite-gpu-delegate-for-real-time-inference-to-scan-books-df3bb86a4eb7
尽管有许多移动扫描应用程序可供下载，但大多数都专注于将平面文档数字化，在扫描书籍的弯曲页面时会遇到困难。当扫描带有文本的曲面时，人们可以通过移除书本或出版物的装订来进行破坏性扫描，或者简单地按原样接受输入并处理读取相机捕获的曲面图像。
这就是为什么我们在旅行者开发 vFlat, 一款使用深度学习来解决这个问题的Android应用程序。vFlat应用程序的目的是让用户轻松地浏览他们的书籍，而不必担心弯曲的页面。它还试图通过自动确定书籍页面的边界来减少用户的手动输入。
左图：普通移动相机拍摄的弯曲书页图像。右：使用vFlat扫描同一图像的版本
当用户试图通过OCR（光学字符识别）从书页的照片中提取文本时，这一点非常有用。当从上面的左图像中提取文本时，OCR无法正确识别某些单词和文本行，因为它们太弯曲了。然而，将同样的技术应用到右边的图像会产生更高的成功率，并且可以在几乎没有错误的情况下提取文本。
如何构建vFlat应用程序
我们开发了一个深度学习模型，可以使弯曲的书页变平，并决定在移动设备上进行，以提供最佳的最终用户体验。在vFlat应用程序中，有一个“实时预览”功能，用户可以在其中看到实时展平的书页（超过20FPS）。如果用户只需使用该应用程序就可以将扫描的页面实时预览为扁平图像，那么他们可以在拍照前调整角度和边框。
为了在移动应用程序中实现实时推理，我们优化了训练模型，并利用硬件加速的优点。我们最初的想法是用OpenGL自己实现推理模块，所以我们准备用GLSL（OpenGL着色语言）实现模型的层。
幸运的是，我们遇到了TensorFlow Lite的GPU支持，并决定尝试一下（在编写本文时，'TensorFlow-Lite-GPU' package版本已更新为“org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly”). 我们减少了权重和复杂操作的数量，提出了一个轻量级版本的模型，并利用TFLite GPU代理进行硬件加速。深神经网络非常适合GPU，因为它们比cpu具有更多的计算能力，并且擅长处理大量并行工作负载。但是，使用移动GPU并不是一件小事；这就是TFLite GPU代理的作用所在。
TFLite GPU代理为移动GPU优化神经网络图，并生成和编译异步执行的计算着色器。感谢TFLite GPU代理，我们不必实现自己的硬件加速推理模块，从而节省了几个月的开发时间。
尽管我们使用TFLite GPU代理节省了时间和精力，但我们在将自己的模型转换为TFLite模型并将其与TFLite GPU代理集成时遇到了问题。仅GPU代理的实验版本支持的操作 它主要用于MobileNet，不支持我们原始模型中的某些操作。
为了在不牺牲模型性能的情况下利用GPU代理，我们必须在保持整个网络结构不变的情况下替换一些操作。我们在转换过程中遇到了问题，由于此时源代码尚未打开，因此很难确定我们看到的错误的原因。（TFLite GPU代理的代码现在公开提供在 GitHub)
例如，由于TFLite GPU代理不支持LeakyReLU操作，因此我们必须按以下方式使用受支持的PReLU操作：
通过改变
tf.keras.layers.LeakyReLU(alpha=0.3)
to
tf.keras.layers.PReLU(alpha_initializer=Constant(0.3), shared_axes=[1, 2], trainable=False)
然而，当我们试图通过共享所有轴（shared_axes=[1，2，3]）将PReLU操作中的参数数量减少到1时，我们遇到了一个意外的行为。虽然此代码在CPU模式下运行良好，但GPU代理失败，错误为“线性alpha形状与输入通道数不匹配”。这就是为什么我们最终只沿着轴1和轴2共享参数。
我们遇到的另一个问题是，当我们试图使用网络中的Lambda层规范化-1和1之间的输入数据时:
tf.keras.layers.Lambda(lambda x : (x / 127.5) — 1.0)用TFLite转换器转换Lambda层的可视化这似乎适用于GPU代理，但当实际运行时，它会在没有警告的情况下返回到CPU。通常情况下，当这种情况发生时，TFLite会以“未能应用代理”之类的消息警告我们。只有第一个M操作将在GPU上运行，其余的N操作将在CPU上运行”。因此，在使用Lambda层时要小心，并在继续之前始终尝试测量实际的推断时间
结论
尽管在这一过程中有几个障碍，但是我们通过使用TFLite GPU代理将模型的推理时间减少了一半以上。我们终于能够为用户提供一个“实时预览”功能，其中扁平的页面实时显示.
我们可以自信地说，使用TFLite GPU代理是一个很好的选择，强烈建议那些想在移动设备上部署他们的训练模型的人尝试一下。
要了解更多，并亲自尝试，请阅读TensorFlow Lite GPU delegate.
