浅谈阿里轻量级的深度神经网络推理引擎MNN
MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。
作者：开心的派大星
首发：微信公众号：NeuroMem
转自：https://github.com/alibaba/MNN/edit/master/README_CN.md
简介
MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。
整体特点
轻量性
- 针对端侧设备特点深度定制和裁剪，无任何依赖，可以方便地部署到移动设备和各种嵌入式设备中。
- iOS平台：armv7+arm64静态库大小5MB左右，链接生成可执行文件增加大小620KB左右，metallib文件600KB左右。
- Android平台：so大小400KB左右，OpenCL库400KB左右，Vulkan库400KB左右。
通用性
-
支持
Tensorflow、Caffe、ONNX等主流模型文件格式，支持CNN、RNN、GAN等常用网络。 -
支持86个
TensorflowOp、34个CaffeOp；各计算设备支持的MNN Op数：CPU 71个，Metal 55个，OpenCL 29个，Vulkan 31个。 - 支持iOS 8.0+、Android 4.3+和具有POSIX接口的嵌入式设备。
- 支持异构设备混合计算，目前支持CPU和GPU，可以动态导入GPU Op插件，替代CPU Op的实现。
高性能
- 不依赖任何第三方计算库，依靠大量手写汇编实现核心运算，充分发挥ARM CPU的算力。
- iOS设备上可以开启GPU加速（Metal），常用模型上快于苹果原生的CoreML。
-
Android上提供了
OpenCL、Vulkan、OpenGL三套方案，尽可能多地满足设备需求，针对主流GPU（Adreno和Mali）做了深度调优。 - 卷积、转置卷积算法高效稳定，对于任意形状的卷积均能高效运行，广泛运用了 Winograd 卷积算法，对3x3 -> 7x7之类的对称卷积有高效的实现。
- 针对ARM v8.2的新架构额外作了优化，新设备可利用半精度计算的特性进一步提速。
易用性
- 有高效的图像处理模块，覆盖常见的形变、转换等需求，一般情况下，无需额外引入libyuv或opencv库处理图像。
- 支持回调机制，可以在网络运行中插入回调，提取数据或者控制运行走向。
- 支持只运行网络中的一部分，或者指定CPU和GPU间并行运行。
架构设计
MNN可以分为Converter和Interpreter两部分。
Converter由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)；后者通过算子融合、算子替代、布局调整等方式优化图。
Interpreter由Engine和Backends构成。前者负责模型的加载、计算图的调度；后者包含各计算设备下的内存分配、Op实现。在Engine和Backends中，MNN应用了多种优化方案，包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、Neon优化、手写汇编、多线程优化、内存复用、异构计算等。
开始使用
工具
如何修改
如何使用Python
交流与反馈
License
Apache 2.0
致谢
MNN参与人员：淘宝技术部、搜索工程团队、达摩院团队、优酷等集团员工。
MNN参考、借鉴了下列项目：
- Caffe
- flatbuffer
- gemmlowp
- Google Vulkan demo
- Halide
- Mace
- ONNX
- protobuffer
- skia
- Tensorflow
- ncnn
- paddle-mobile
- stb
- rapidjson
推荐阅读
欢迎关注公众号，关注模型压缩、低比特量化、移动端推理加速优化、部署。
审核编辑：符乾江
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
神经网络
+关注
关注
42文章
4771浏览量
100777 -
人工智能
+关注
关注
1791文章
47282浏览量
238534
发布评论请先 登录
相关推荐
国产芯上运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板
是面向单片机的超轻量级的神经网络推理库，即 TinyML 推理库，可以让你在任意单片机上运行轻量级深度
发表于 08-09 18:26
国产芯上运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板
D9360国产开发板）的TinyMaxi轻量级的神经网络推理库方案测试。
算力测试
TinyMaix 是面向单片机的超轻量级的神经网络
发表于 08-07 18:06
FPGA在深度神经网络中的应用
、低功耗等特点，逐渐成为深度神经网络在边缘计算和设备端推理的重要硬件平台。本文将详细探讨FPGA在深度神经网络中的应用，包括其优势、设计流程
残差网络是深度神经网络吗
残差网络（Residual Network，通常简称为ResNet） 是深度神经网络的一种 ，其独特的结构设计在解决深层网络训练中的梯度消失和梯度爆炸问题上取得了显著的突破，并因此成为
简单认识深度神经网络
深度神经网络（Deep Neural Networks, DNNs）作为机器学习领域中的一种重要技术，特别是在深度学习领域，已经取得了显著的成就。它们通过模拟人类大脑的处理方式，利用多层神经
国产芯上运行TinyMaxi轻量级的神经网络推理库-米尔基于芯驰D9国产商显板
TinyMaix是面向单片机的超轻量级的神经网络推理库，即TinyML推理库，可以让你在任意单片机上运行轻量级
深度神经网络概述及其应用
深度神经网络（Deep Neural Networks, DNNs）作为机器学习的一种复杂形式，是广义人工神经网络（Artificial Neural Networks, ANNs）的重要分支。它们
循环神经网络和卷积神经网络的区别
循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）是深度学习领域中两种非常重要的神经网络
深度神经网络与基本神经网络的区别
在探讨深度神经网络（Deep Neural Networks, DNNs）与基本神经网络（通常指传统神经网络或前向神经网络）的区别时，我们需
深度神经网络的设计方法
深度神经网络（Deep Neural Networks, DNNs）作为人工智能领域的重要技术之一，通过模拟人脑神经元之间的连接，实现了对复杂数据的自主学习和智能判断。其设计方法不仅涉及网络
bp神经网络是深度神经网络吗
BP神经网络（Backpropagation Neural Network）是一种常见的前馈神经网络，它使用反向传播算法来训练网络。虽然BP神经网络在某些方面与
深度学习与卷积神经网络的应用
随着人工智能技术的飞速发展，深度学习和卷积神经网络（Convolutional Neural Network, CNN）作为其中的重要分支，已经在多个领域取得了显著的应用成果。从图像识别、语音识别
深度神经网络模型有哪些
深度神经网络（Deep Neural Networks，DNNs）是一类具有多个隐藏层的神经网络，它们在许多领域取得了显著的成功，如计算机视觉、自然语言处理、语音识别等。以下是一些常见的深度
详解深度学习、神经网络与卷积神经网络的应用
在如今的网络时代，错综复杂的大数据和网络环境，让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年，深度学习逐渐走进人们的视线，通过深
工商网监
评论