有很多方法可以将经过训练的神经网络模型部署到移动或嵌入式设备上。不同的框架在各种平台上支持Arm,包括TensorFlow、PyTorch、Caffe2、MxNet和CNTK,如Android、iOS和Linux。每个框架和操作系统的部署过程是相似的,但每个框架和系统可能使用不同的工具。本演练专门介绍在Android、Linux和iOS上部署TensorFlow模型的准备工作。
使用TensorFlow对经过训练的神经网络模型进行优化,步骤如下:
1.确定图中输入和输出节点的名称以及输入数据的维度。
2.使用TensorFlow的transform_graph工具生成优化的32位模型。
3.使用TensorFlow的transform_graph工具生成一个优化的8位模型,该模型效率更高,但精度较低。
4.在设备上对优化的模型进行基准测试,并选择最符合您部署需求的模型。
本教程使用预训练的ResNet-50模型(resnetv1_50.pb)依次完成每个步骤。其他模型的过程相同,但输入和输出节点名称不同。
在本教程的最后,您将准备好在您选择的平台上部署您的模型。