什么是 OpenVINO 工具包?
OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。
提升计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能
使用经过 TensorFlow、PyTorch 等流行框架训练的模型
减少资源需求并在从边缘到云端的一系列英特尔® 平台上高效部署
这个开源版本包括几个组件:即模型优化器、OpenVINO™ 运行时、训练后优化工具,以及 CPU、GPU、GNA、多设备和异构插件,以加速英特尔® CPU 和英特尔® 处理器上的深度学习推理图形。它支持来自Open Model Zoo的预训练模型,以及 100 多个流行格式的开源和公共模型,例如 TensorFlow、ONNX、PaddlePaddle、MXNet、Caffe、Kaldi。
OpenVINO™ Runtime - 是一组 C++ 库,具有 C 和 Python 绑定,提供通用 API 以在您选择的平台上提供推理解决方案。
core - 为模型表示和修改提供基础 API。
inference - 提供一个 API 来推断设备上的模型。
转换- 包含在 OpenVINO 插件中使用的一组常见转换。
低精度转换- 包含低精度模型中使用的一组转换
绑定- 包含由 OpenVINO 团队维护的所有可用 OpenVINO 绑定。
c - 用于 OpenVINO™ 运行时的 C API
python - 用于 OpenVINO™ 运行时的 Python API
插件- 包含由 OpenVINO 团队以开源方式维护的 OpenVINO 插件。有关详细信息,请查看支持的设备列表。
前端- 包含可用的 OpenVINO 前端,允许从本机框架格式读取模型。
模型优化器- 是一种跨平台命令行工具,可促进训练和部署环境之间的转换,执行静态模型分析,并调整深度学习模型以在端点目标设备上实现最佳执行。
训练后优化工具——旨在通过应用无需模型再训练或微调的特殊方法来加速深度学习模型的推理,例如训练后 8 位量化。
示例- 以 C、C++ 和 Python 语言编写的应用程序,展示了基本的 OpenVINO 用例。
ros2_openvino_toolkit
支持的 ROS2 版本:
ROS2 foxy
ROS2 银河系
支持的推理功能:
物体检测
人脸检测
年龄性别识别
情绪识别
头部姿势估计
对象分割
行人再识别
车辆属性检测
车牌检测