参考链接：
https://www.arm.com/solutions/artificial-intelligence
https://developer.arm.com/ip-products/processors/machine-learning/arm-nn
https://github.com/Arm-software/armnn
http://www.elecfans.com/d/643409.html
armnn是arm公司推出的一项开源软件，可在基于arm的高性能平台上完成机器学习应用程序的构建和运行
armnn桥接了底层硬件和深度学习框架（tf, tf_lite, caffe, 等），可以在编程过程中选择用到的后台计算硬件（包括CPU，mali GPU或者arm的专用NPU）这样我们能够很方便地在嵌入式平台上搭建训练好的深度学习模型，并配合opencv或者其他开源框架构建完整的人工智能应用。
本文将大致总结一下用armnn来运行一个神经网络需要的步骤
需要包含的头文件
#include "armnn/ArmNN.hpp"
#include "armnn/Exceptions.hpp"
#include "armnn/Tensor.hpp"
#include "armnn/INetwork.hpp"
#include "armnnTfParser/ITfParser.hpp"
armnn运行一个神经网络的过程主要包括如下步骤：
- 读取模型，创建网络
armnnTfParser::ITfParserPtr parser = armnnTfParser::ITfParser::Create();
armnn::INetworkPtr network = parser->CreateNetworkFromBinaryFile(输入数据（指针）,{{input_tensor_name, 输入tensor的size}},{output_tensor_name});
armnnTfParser::BindingPointInfo inputBindingInfo = parser->GetNetworkInputBindingInfo(input_tensor_name);
armnnTfParser::BindingPointInfo outputBindingInfo = parser->GetNetworkOutputBindingInfo(output_tensor_name);
- 配置运行参数，其中可以指定用到的后台，包括CPU，GPU。其中使用GPU能够明显提升神经网络运行速度，在RK3399平台上，对于一个基于resnet-18的语义分割网络（两个resnet-18正向反向相接，pb格式的模型大小约为90MB），使用GpuAcc选项运行时间大概在1.2s左右，使用CpuRef选项用时接近200s,而直接使用tensorflow for aarch64的python接口，运行时间在4s左右(可能是编译好的tensorflow for aarch64中使用了一些加速方法)。不过使用GPU存在的一个问题就是IO时间要比使用CPU长很多，如果跑一些小网络（比如lenet-5,使用CPU循环执行500000次用时16s，用GPU循环执行5000次同样用时16s）使用CPU来完成会更好。
armnn::IRuntime::CreationOptions options;
armnn::IRuntimePtr runtime = armnn::IRuntime::Create(options);
options.m_EnableGpuProfiling = false;
options.m_GpuAccTunedParameters = armnn::IGpuAccTunedParameters::Create(armnn::IGpuAccTunedParameters::Mode::UseTunedParameters);
armnn::IOptimizedNetworkPtr optNet = armnn::Optimize(*network, {armnn::Compute::GpuAcc}, runtime->GetDeviceSpec());
armnn::NetworkId networkIdentifier;
runtime->LoadNetwork(networkIdentifier, std::move(optNet));
- 读入数据并运行模型
armnn::Status ret = runtime->EnqueueWorkload(networkIdentifier,MakeInputTensors(inputBindingInfo, &arr_256[0]),MakeOutputTensors(outputBindingInfo, &output[0]));
其中函数 makeInputTensor 和 makeOutputTensor定义如下：
armnn::InputTensors MakeInputTensors(const std::pair<armnn::LayerBindingId,armnn::TensorInfo> &input, const void *inputTensorData)
{
return {{input.first, armnn::ConstTensor(input.second, inputTensorData)}};
}
// Helper function to make output tensors
armnn::OutputTensors MakeOutputTensors(const std::pair<armnn::LayerBindingId, armnn::TensorInfo> &output, void *outputTensorData)
{
return {{output.first, armnn::Tensor(output.second, outputTensorData)}};
}
