加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 创业 > 正文

腾讯优图开源深度进修揣度框架TNN

发布时间:2020-06-12 17:24:47 所属栏目:创业 来源:中国软件网
导读:6月12日动静,腾讯优图尝试室公布开源新一代移动端深度进修推理框架TNN。腾讯优图但愿通过底层技能优化辅佐用户实现人工智能在多个差异平台的轻量陈设落地。 据悉,基于TNN,开拓者可以或许轻松将深度进修算法移植得手机端高效的执行,开拓出人工智能 APP,将 A
6月12日动静,腾讯优图尝试室公布开源新一代移动端深度进修推理框架TNN。腾讯优图但愿通过底层技能优化辅佐用户实现人工智能在多个差异平台的轻量陈设落地。

据悉,基于TNN,开拓者可以或许轻松将深度进修算法移植得手机端高效的执行,开拓出人工智能 APP,将 AI 带到指尖。

中国软件网相识到,TNN是腾讯优图针敌手机端推出的高机能、轻量级移动端推理框架,其在计划之初便将移动端高机能作为焦点理念。在开拓上,TNN基于腾讯优图在深度进修方面的技能蕴蓄,并小心了业内主流框架利益,在2017年开源的ncnn框架举办了重构进级。

得益于在GPU深度调优、ARM SIMD深入汇编指令调优、低精度计较等技妙本领上的晋升,TNN在多款主流平台上的机能稀奇。腾讯优图也发布了在骁龙845/835/615以及麒麟970平台上,TNN与MNN, ncnn框架的机能比拟。

腾讯优图开源深度进修揣度框架TNN

腾讯优图开源深度进修揣度框架TNN

腾讯优图开源深度进修揣度框架TNN

腾讯优图开源深度进修揣度框架TNN

对此,腾讯优图暗示,低精度计较的运用对TNN的机能晋升施展了重要浸染。TNN引入了INT8、 FP16、 BFP16等多种计较低精度的支持,对比大部门仅提供INT8支持的框架,不只能机动适配差异场景,还让计较机能晋升。

数据表现,TNN通过回收8bit整数取代float举办计较和存储,模子尺寸和内存耗损均镌汰至1/4,在计较机能上晋升50%以上。同时引入arm平台BFP16的支持,对比浮点模子,BFP16使模子尺寸、内存耗损镌汰50%,在中低端机上的机能也晋升约20%。

同时,腾讯优图暗示通用、轻即是TNN的另一亮点。TNN计划了与平台无关的模子暗示,为开拓职员提供同一的模子描写文件和挪用接口,支持主流安卓、iOS等操纵体系,适配CPU、 GPU、NPU硬件平台。

另外,TNN通过ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多种实习框架,今朝支持ONNX算子高出80个,包围主流CNN收集。TNN全部算子均为源码直接实现,不依靠任何第三方,接口易用,切换平台仅需修改挪用参数即可。

中国软件网以为,人工智能落地难的很重要缘故起因就是要求专业性高、算力丰裕以及办法粗笨。TNN很好地规避了这些,但也不丢脸出,TNN的场景更多合用于简朴、入门级的人工智能。




(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读