TensorRT怎样加快人脸辨认
|
TensorFlow Serving 是由 Google 的 TensorFlow 团队开拓的一种机动的、高机能的呆板进修模子处事体系，专为出产情形计划。在呆板进修推理方面，其可以对实习后的模子举办生命周期打点，通过高机能、引用计数的查找表为客户端提供版本化会见。其提供了与 TensorFlow 模子开箱即用的集成，也能拓展到其他模子。假如模子由 TensorFlow 实习天生的，用 TensorFlow Serving 最为利便。具体先容拜见 https://github.com/tensorflow/serving 。 ② MMS( Multi Model Server ) Multi Model Server（MMS）是一个机动和易于行使的器材，为行使任何 ML/DL 框架实习的深度进修模子提供推理处事。这个是由 Amazon 的 AWSlab 开拓的模子推理器材，原本叫 MxNet Model Server。因为 Amazon 主力支持的是 MxNet，因此 MMS 对 MxNet 有更好的优化，对 MxNet 的特征支持也越提议劲。详见 https://github.com/awslabs/multi-model-server 。 ③ TensorRT Inference Server 前面先容的 TensorFlow Serving 和 MMS 都是由深度进修框架的厂商推出的，响应的对其各自的深度进修框架支持也会更好。 TensorRT Inference Server （最新版叫 Nvidia Triton Inference Server）是由显卡厂商 Nvidia 开拓的深度进修模子推理 Server。其针对 Nvidia GPU 有更深条理的优化，该 Server 可以通过 HTTP 可能 GRPC 端点提供推理处事。其最大的特点是多框架的支持，其不只支持 TensorRT 自己天生的模子，并且支持 TensorFlow、Caffe2、ONNX 和 PyTorch 的模子。还支持殽杂模子的推理，以及差异框架模子同时推理。这很好的契合营业上推理处事与神经收集框架离开的需求。详见 https://github.com/NVIDIA/triton-inference-server。 这里简朴先容常见的 Inference Server，虽然尚有其他厂商的 Inference Server，如 TorchServe，见 https://github.com/pytorch/serve。 三、TensorRT 加快人脸辨认 1、TensorRT 的典范 INT8 事变流程： 起首我们必要在 FP32 模式下实习获得的模子文件及校准数据集。接下来: ① TensorRT 将会在校准集上作 FP32 的推理。 ② 获得每个收集层响应的激活值统计。 ③ 实验校准算法即获取每层对应的最佳阈值 T，获取最优的量化因子。 ④ 量化 FP32 的权重为 INT8 模式。 ⑤ 天生响应的校准表 ( CalibrationTable ) 和 INT8 执行引擎。 2、TensorRT 加快必要留意的题目： ① 深度进修框架与 TensorRT 的整合度差异 如上所述实验 TensorRT 推理加快，起首是必要一个 FP32 模式下实习获得的神经收集模子。假如要举办 INT8 推理，还必要校准数据集 (Calibration Dataset)，一样平常是选取验证集的子集。因为各深度进修框架和 TensorRT 的整合度和支持度差异，除了 TensorFlow 和 MATLAB 已经集成了 TensorRT 外，大部门的深度进修框架天生的模子都要通过 ONNX 名目导入 TensorRT 中。如图 12 所示：
因为 TensorFlow 内实现了和 TensorRT 举办整合的 API，即可以从 TensorFlow 代码中指定 TensorRT 作为 Inference 的 backend，TensorRT 中也实现了一个 TensorFlow Parser 用于理会 TensorFlow 天生的模子文件。PyTorch、MXNET 则必要在实习的时辰将模子文件生涯为 ONNX 名目，可能是将原先的模子文件导入框架再生涯为 ONNX 名目。虽然这些深度进修框架也在跟进对 TensorRT 的支持和整合，好比新的 1.60 版本 MXNET 中已经实现了挪用 TensorRT 加快推理，可是当前版本只支持 FP16 的推理，还不支持 INT8 推理。虽然行使框架内提供的 TensorRT 接口举办加快有其甜头，虽然也会带来响应的题目，甜头是框架内提供的较量利便，镌汰转换等中间进程，但照旧不能离开框架自己，这与同一用推理引擎，离开深度进修框架自己的起点相背道。 ② TensorRT 对神经收集中的算子和层的支持 因为我们当前营业中人脸辨认是在 mxnet 框架上实现的，为了实现并比拟其在 TensorRT FP32、FP16、INT8 三种模式下的精度丧失环境和加快结果。我们起首将原始的 mxnet 名目（.params + .json）模子文件导入到 mxnet 中，然后操作 mxnet 内部的 onnx 接口将模子文件转换为 onnx 名目。这里必要留意一个题目是 Mxnet 模子导出为 onnx 名目，必要安装 1.3.0 以上版本的 mxnet，以及对应的组件 onnx 也必要 1.2.1 版本，不外我们测试过 1.3.0 版本的 onnx 也可以。详细可拜见 MxNet 的官方教程：Exporting to ONNX format [5]。onnx-1.2.1 版本天生的是 onnx 文件默认 V7 版本的 onnx operator，而 1.3.0 版本 onnx 天生的 onnx 文件支持的是 V8 版本的 onnx operator。差异版本的 onnx operator 对算子的支持是差异的，并且即即是同样的算子，差异的版本其内部实现方法也也许会差异。差异版本的 TensorRT 对 onnx 的算子支持也差异，mxnet 对 onnx 算子支持可拜见: ONNX Operator Coverage[6]。TensorRT 对 onnx 算子支持可拜见：Supported ONNX Operators[7] 和 TensorRT-Support-Matrix-Guide[8]。 我们团队在操作 TensorRT 转换人脸辨认 onnx 模子到 TensorRT 对应的模子文件（.trt）的进程就曾碰着过算子支持的题目。由 mxnet 天生的 onnx 模子文件导入到 TensorRT 之后，一向无法正常的导出 TRT 文件。其后通过调研发明是 TensorRT 对 Prelu 这个算子的支持模式题目。通过 Netron（神经收集可视化器材）可以清晰的看到这两种 Prelu 的模式区别。如图 13 所示：
（编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
