腾讯AI Lab开源首款自动化模子压缩框架：将深度进修装口袋

e)多 GPU实习（multi-GPU training）组件：深度进修模子实习进程对计较资源要求较高，单个 GPU 难以在短时刻内完成模子实习，因此团队提供了对付多机多卡漫衍式实习的全面支持，以加速行使者的开拓流程。无论是基于 ImageNet 数据的 Resnet-50 图像分类模子照旧基于 WMT14 数据的 Transformer 呆板翻译模子，均可以在一个小时内实习完毕。

f)超参数优化（hyper-parameter optimization）组件：大都开拓者对模子压缩算法每每不甚相识，但超参数取值对最终功效每每有着庞大的影响，因此团队引入了超参数优化组件，回收了包罗强化进修等算法以及 AI Lab 自研的 AutoML 自动超参数优化框架来按照详细机能需求，确定最优超参数取值组合。譬喻，对付通道剪枝算法，超参数优化组件可以自动地按照原始模子中各层的冗余水平，对各层回收差异的剪枝比例，在担保满意模子整体压缩倍数的条件下，实现压缩后模子辨认精度的最大化。

4. PocketFlow 机能展示

通过引入超参数优化组件，不只停止了高门槛、繁琐的人工调参事变，同时也使得 PocketFlow 在各个压缩算法上全面高出了人工调参的结果。以图像分类使命为例，在 CIFAR-10 和 ImageNet 等数据集上，PocketFlow 对 ResNet 和 MobileNet 等多种 CNN 收集布局举办有用的模子压缩与加快。

在 CIFAR-10 数据集上，PocketFlow 以 ResNet-56 作为基准模子举办通道剪枝，并插手了超参数优化和收集蒸馏等实习计策，实现了 2.5 倍加快下分类精度丧失 0.4%，3.3 倍加快下精度丧失 0.7%，且明显优于未压缩的 ResNet-44 模子；在 ImageNet 数据集上，PocketFlow 可以对本来已经异常精简的 MobileNet 模子继承举办权重稀少化，以更小的模子尺寸取得相似的分类精度；与 Inception-V1、ResNet-18 等模子对比，模子巨细仅为后者的约 20~40%，但分类精度根基同等（乃至更高）。

对比于费时艰辛的人工调参，PocketFlow 框架中的 AutoML 自动超参数优化组件仅需 10 余次迭代就能到达与人工调参相同的机能，在颠末 100 次迭代后搜刮获得的超参数组合可以低落约 0.6% 的精度丧失；通过行使超参数优化组件自动地确定收集中各层权重的量化比特数，PocketFlow 在对用于 ImageNet 图像分类使命的 ResNet-18 模子举办压缩时，取得了同等性的机能晋升；当均匀量化比特数为 4 比特时，超参数优化组件的引入可以将分类精度从 63.6% 晋升至 68.1%（原始模子的分类精度为 70.3%）。

5. PocketFlow 助力移动端营业落地

在腾讯公司内部，PocketFlow 框架正在为多项移动端现实营业提供了模子压缩与加快的技能支持。譬喻，在手机照相 APP 中，人脸要害点定位模子是一个常用的预处理赏罚模块，通过对脸部的百余个特性点（如眼角、鼻尖等）举办辨认与定位，可觉得后续的人脸辨认、智能美颜等多个应用提供须要的特性数据。团队基于 PocketFlow 框架，对人脸要害点定位模子举办压缩，在保持定位精度稳固的同时，大幅度地低落了计较开销，在差异的移动处理赏罚器上取得了 25%-50% 不等的加快结果，压缩后的模子已经在现实产物中获得陈设。

6. 结语

深度进修模子的压缩与加快是当前学术界的研究热门之一，同时在家产界中也有着普及的应用远景。跟着 PocketFlow 的推出，开拓者无需相识模子压缩算法的详细细节，也不消体谅各个超参数的选择与调优，即可基于这套自动化框架，快速获得可用于移动端陈设的精简模子，从而为 AI 手段在更多移动端产物中的应用铺平了阶梯。

[1] Zhuangwei Zhuang, Mingkui Tan, Bohan Zhuang, Jing Liu, Jiezhang Cao, Qingyao Wu, Junzhou Huang, Jinhui Zhu, “Discrimination-aware Channel Pruning for Deep Neural Networks"， In Proc. of the 32nd Annual Conference on Neural Information Processing Systems, NIPS '18, Montreal, Canada, December 2018.

[2] Jiaxiang Wu, Weidong Huang, Junzhou Huang, Tong Zhang, “Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization”， In Proc. of the 35th International Conference on Machine Learning, ICML ’18, Stockholm, Sweden, July 2018.

【编辑保举】

1. 腾讯半年报宣布 四大牵挂待发表？
2. 想进鹅厂吗？送你一份腾讯秋招专题
3. 再添开源项目！腾讯AILab开源业内最大局限多标签图像数据集
4. Science重磅！用光速实现深度进修，跟GPU说再会
5. 甲骨文最新推出的 Java 微处事框架 Helidon：轻量简朴

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!