飞桨预测介绍(官方群号:696965088)
飞桨(PaddlePaddle)是百度开发的深度学习框架,目前市场上还有TensorFlow, PyTorch比较流行。
飞桨是功能完备的深度学习框架,除了训练框架,还有完整的预测部署框架。
飞桨的预测目前有两套,一套是原生推理库Paddle Inference,另一套是轻量级推理引擎Paddle Lite。
飞桨原生推理库 Paddle Inference
原生推理框架Paddle Inference是与训练一套的。训练出来的模型都可以通过paddle inference来支持。
支持硬件:支持较为通用的X86 CPU,英伟达的GPU。值得一提的是,支持英伟达Jetson系列的嵌入式GPU,比如Jetson Nano,TX2,Xavier等。
对于在Jetson Nano上使用Paddle Inference的方法,可以参考https://www.jianshu.com/p/3ec57b2f9198Paddle Inference详细资料:https://blog.csdn.net/PaddlePaddle/article/details/104935404
Paddle Inference文档:https://paddle-inference.readthedocs.io/en/latest/introduction/quick_start.html
-Paddle Inference使用demo:https://github.com/PaddlePaddle/Paddle-Inference-Demo
飞桨轻量级推理引擎Paddle Lite
- 支持硬件:对于在手机上或者边缘端的硬件上做深度学习部署时,可以使用Paddle Lite。支持的硬件包括安卓或ios的手机,树莓派开发板,RK3288,3399等芯片。另外还支持新型的AI加速芯片,包括华为手机上的NPU(比如麒麟810,980),寒武纪,比特大陆等。
基础资料
- Paddle Lite Github:
https://github.com/PaddlePaddle/Paddle-Lite - Paddle Lite 文档:
https://paddle-lite.readthedocs.io/zh/latest/
官方文档,包括使用教程和说明文档。 - Paddle Lite Demo:
https://github.com/PaddlePaddle/Paddle-Lite-Demo
该demo包括很多使用的内容,提供了不少实用的工程代码。给出了APP的示例,可以直接在手机上安装使用。主要内容包括:
iOS示例
基于MobileNetV1的图像分类(支持视频流);
基于MobileNetV1-SSD的目标检测(支持视频流);
Android示例
- 基于MobileNetV1的图像分类;
- 基于MobileNetV1-SSD的目标检测;
- 基于Ultra-Light-Fast-Generic-Face-Detector-1MB的人脸检测;
- 基于DeeplabV3+MobilNetV2的人像分割;
- 基于视频流的人脸检测+口罩识别;
ARMLinux示例
- 基于MobileNetV1的图像分类;
- 基于MobileNetV1-SSD的目标检测;
实用示例
- 将Paddle Lite部署在树莓派上
基于树莓派4B与Paddle-Lite实现的实时口罩识别
https://aistudio.baidu.com/aistudio/projectdetail/315730
关键词: 树莓派 实时检测 python接口PaddlePaddle学习之使用PaddleDetection在树莓派4B进行模型部署(三)--- 树莓派4B部署
https://blog.csdn.net/qq_42549612/article/details/104998329
关键词: 树莓派 检测
Paddle-Lite 安卓端部署(YoloV3示例)
https://www.ralphlu.top/article/2020/3/4/7.html
https://github.com/ralph0813/Paddle_Lite_Object_Detection_Demo
关键词: 安卓 检测 YoloV3 APP基于Flutter和Paddle-Lite的实时目标检测程序(YOLO v3)
- 内容:https://zhuanlan.zhihu.com/p/114926049?from_voters_page=true
- 项目地址:https://link.zhihu.com/?target=https%3A//github.com/KernelErr/realtime-object-detector
关键词: 安卓 Flutter YoloV3 实时检测
- 对于NV Jetson系列的嵌入式GPU,推荐使用Paddle Inference。
与PaddleSlim的配合
PaddleSlim+Paddle Lite 模型量化全流程解决方案
https://aistudio.baidu.com/aistudio/projectdetail/526625
Paddle Lite应用教程:
https://www.paddlepaddle.org.cn/tutorials/projectdetail/512211
其他记录
- 解决安装yolov3 demo时,no module问题。
https://blog.csdn.net/qiushisoftware/article/details/87395458
将local.properties中的ndk注释掉。
File, sync Project with Gradle Files - 飞桨动态图如何通过save_inference_model存储并部署?
参考https://www.paddlepaddle.org.cn/documentation/docs/zh/beginners_guide/basic_concept/dygraph/DyGraph.html ,里面的“模型部署”那一节