一样平常来说，端侧深度进修的应用可以分成如下几个阶段：

• 模子实习阶段，首要办理模子实习，操作标注数据实习出对应的模子文件。面向端侧计划模子时，必要思量模子巨细和计较劲；
• 模子压缩阶段，首要优化模子巨细，可以通过剪枝、量化等本领低落模子巨细，以便在端上行使；
• 模子陈设阶段，首要实现模子陈设，包罗模子打点和陈设、运维监控等；
• 端侧推理阶段，首要完成模子推理，即加载模子，完成推理相干的全部计较；

由上可知，端侧推理引擎是端智能应用的焦点模块，必要在有限算力、有限内存等限定下，高效地操作资源，快速完成推理。可以说，端侧推理引擎实现的是非，直接抉择了算法模子可否在端侧运行，抉择了营业可否上线。因此，我们必要一个端侧推理引擎，一个优越的端侧推理引擎。

4.2 为什么要开源 MNN？

在 2017 年头，我们在开始引擎研发之前，重点调研了体系方案和开源方案，从通用性、轻量性、高机能、安详性等方面深入分。CoreML 是 Apple 的体系框架，MLKit 和 NNAPI 是 Android 的体系框架，体系框架最大的上风是轻量性 —— 在包巨细方面相对宽裕。而最大的劣势是通用性，CoreML 必要 iOS 11+，MLKit 和NNAPI 必要 Android 8.1+，可以包围的机型很是有限，同时难以支持嵌入式装备的行使场景。另外，体系框架支持的收集范例、Op 范例都较少，可拓展性又较差，还未能充实操作装备的算力，加之存在模子安详方面的题目。综上各种，体系框架不是一个很好的选择。开源方案中 Tensorflow Lite 宣而未发，Caffe 较成熟但不是面向端侧场景计划和开拓的，NCNN 则方才宣布还不足成熟。总的来说，我们找不到一套面向差异实习框架，差异陈设情形，简朴高效安详的端侧推理引擎。

因此，我们但愿提供面向差异营业算刑场景，差异实习框架，差异陈设情形的简朴、高效、安详的端侧推理引擎 MNN 。可以或许抹平 Android 和 iOS 的差别，碎片装备之间的差别，差异实习框架的差别，实现快速的在端侧陈设运行，而且可以或许按照营业模子举办 OP 机动添加和 CPU/GPU 等异构装备深入机能优化。

跟着时刻推移，NCNN、Tensorflow Lite、Mace、Anakin 等慢慢进级和开源，给与我们很好的输入和小心。我们跟着营业需求也在不绝迭代和优化，而且经验了双十一检验，已经相对成熟和完美，以是开源给社区，但愿给应用和 IoT 开拓者孝顺我们的力气。

5、应用场景

今朝，MNN 已经在手淘、猫客、优酷、聚划算、UC、飞猪、千牛等20+团体App中集成，在拍立淘、直播短视频、互动营销、实人认证、试妆、搜刮保举等场景行使，天天不变运行上亿次。2018年双十一购物节中，MNN 也在猫晚笑酡颜包、扫一扫明星豁拳大战等场景中行使。

拍立淘是在手淘内里的一个图像搜刮和辨认产物，从14年初次上线颠末不绝迭代成长今朝已经生长为 UV 高出万万的应用。个中的技能也在不绝迭代更新，从最早的照相上传图片云端辨认，演进到今朝在端上做物体辨认和抠图再上传云端辨认，有用地晋升了用户体验同时节减了处事端计较本钱。针对一些简朴的物体分类万物辨认和 logo 辨认，今朝也已经支持直接通过端上的模子举办及时辨认。

笑酡颜包是18年双十一猫晚开场的第一个节目，这个玩法是基于及时人脸检测和心情辨认手段做的，对比之前各类通过屏幕触控的交互玩法，这个勾当通过摄像头及时人脸检测算法实现从传统触控交互玩法到天然交互玩法的超过，给用户带来新的用户体验。

集五福是19年春节的勾当，也是手淘第一次通过扫年货的方法插手到这个勾当中来。通过扫一扫商品辨认手段，辨认赤色年货，除了福卡之外，还能获得羽绒被、五粮液、茅台、帝王蟹等实物大奖和猫超、天猫精灵等无门槛优惠券，让家里的年货酿成下金蛋的“母鸡”。

6、Roadmap

我们打算每两个月 Release 一个不变版本。当前筹划如下：

模子优化方面：

1. 完美 Converter 图优化
2. 完美对量化的支持，增进对稀少的支持

调治优化方面：

1. 增进模子 flops 统计
2. 针对装备硬件特征动态调治运行计策

计较优化：

1. 现有 Backend 一连优化（CPU/OpenGL/OpenCL/Vulkan/Metal）
2. 优化 Arm v8.2 Backend，支持量化模子
3. 行使 NNAPI，增进 NPU Backend
4. 应用快速矩阵乘法、Winograd 算法优化机能

其他：

1. 文档和示例
2. 完美 test、benchmark 相干器材
3. 支持更多 Op

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!