基于RGB视频数据的深度行为分类模型发展综述之二

摘 要

领略视频中的人体举动在视频监控、自动驾驶以及安详保障等规模有着普及的应用远景。今朝视频中的人体举动分类研究是对支解好的视频片断举办单人的举动分类。对视频中的人体举动分类研究已经从最初的几种简朴人体举措到险些包括全部一般糊口的几百类举动。上篇官微文章具体先容了基于RGB视频数据的两种深度举动分类模子，本文将先容第三种深度举动分类模子——基于3D卷积神经收集的，并对三种模子举办说明和比拟。

基于 3D卷积收集深度举动分类模子

视频特性进修的难点在于时序特性的进修。示意精采的双流架构在基于2D CNN发掘空间信息的同时，不绝试探时序上行为特性的表达方法。这里的行为特性指的是视频帧外面的改变。视频自己就是一个3D体，用3D卷积的方法获取视频中的空时特性显然是更直观的，3D卷积收集(3D ConvNets)比2D卷积收集更合用于时空特性的进修。3D卷积与2D卷积的区别如图1所示，图中(a)(b)是2D卷积核别离应用于单帧图像和多帧图像(可能是单通道图像，多通道图像)，输出2D特性图，(c)是3D卷积核应用于3D视频体，输出的3D特性图保存了时刻维度的信息。 

图 1 2D与3D卷积表示图

Baccouche等人[1]和Ji等人[2]起首提出了3D卷积收集，行使3D卷积核同时处理赏罚空间和时刻维度，然而该3D卷积模子浅层且参数目庞大，异常痴肥。Karpathy [3]等人在研究怎样行使2D CNN来融适时刻信息时，发此刻单个视频帧上运算的收集与处理赏罚整个视频空时体的收集示意差别很小，因此以为时刻维度上的建模对付举动识此外精度并不重要。Facebook在2015年提出C3D[4]，该模子实现了与2014年双流法靠近的视频举动分类的精度。它行使3D卷积和3D池化以及全毗连层组成了11层的浅层收集(如图2)，其最大的上风在于速率，然而C3D的模子巨细却到达321MB，乃至大于152层ResNet[5]的235MB模子。这样的模子实习起来是坚苦的，且无法在像ImageNet这样大局限图片数据集上预实习，浅层的收集也限定了模子的分类机能。2017年，Facebook尝试室的Du Tran[6]等人又在残差收集框架下从头实现了C3D，使得推理速率快了两倍的同时模子参数也少了两倍。

图 2 C3D模子表示图

为了进一步进步3D CNN模子的泛化手段，P3D[7]将三维卷积核解析为二维空间卷积和一维时刻卷积((2+1)D卷积)(如图3)。

图 3 3D卷积解析成(2+1)D卷积

Pseudo-3D(P3D)[7]在残差进修[5]的框架下，将2维的残差单位中的卷积核所有扩充成3维的卷积核，并将3*3*3的卷积核解析为一个1*3*3的二维空间卷积和3*1*1的一维时域卷积。P3D模子加深了模子深度的同时，进步了视频人体举动分类的精度，而且对比于原始的C3D低落了模子巨细。I3D[8]是基于ImageNet预实习的Inception-V1主干收集，将收集中的2D卷积核和池化核都扩展为3D的，同时团结双流收集处理赏罚持续多帧的 RGB图像和光流图像。行使大型视频数据集Kinetics预实习后，I3D模子在更小的UCF 101数据集上揭示了良好的机能，成为了后续研究事变重点较量的模子。2018年Facebook和谷歌deepmina团队又别离在P3D和I3D的基本上，进一步探讨3D空时卷积在举动辨认中的浸染，相继提出了R(2+1)D [9] 和S3D [10]。两个收集都回收了将3D卷积核解析为2D卷积核加1D卷积核的情势(如图3)，证明白从恒久时序上进修视频的时刻动态特性的须要性。R(2+1)D模子对比3D收集，在不增进模子参数目的环境下，具有更强的表达手段且更易优化，尤其是在收集层数加深时。S3D模子在精确率、模子容量、尚有计较服从上都实现了比原始的I3D更好的机能，在S3D模子基本上S3D-G增进了上下文特性门控机制，进一步进步了举动分类的精度。视频的举动分类使命应用2D可疏散卷积大大晋升了精度与计较手段，受此开导，facebook在2019年最新的一个研究事变CSN[11]，思量了卷积运算中通道交互的身分，将一个3D卷积核分为的传统卷积，用于通道交互;的深度卷积用于局部空时交互。CSN在明显镌汰模子参数目的同时又晋升了精度，个中的通道疏散对模子有正则化的浸染，停止了太过拟合。本文在UCF101数据集和kinetics数据集上对上述3D收集模子的参数目，计较服从，以及分类精度做了比拟。(如表1所示)。

表 1 在UCF101和kinetics数据集上较量3D卷积模子

UCF 101数据集固然是风行的视频举动分类尺度，但研究者们都有的共鸣是其有限的视频数据量无法支持从新开始实习较深的CNN收集。上述3D CNN研究事变都存眷对3D卷积核的解析，首要念头之一是将3D卷积核解析为2D卷积核和1D卷积核之后，个中的2D卷积核可以行使图像数据举办预实习，对付已标凝望频数据的需求也会大大镌汰。Kinetics大局限视频数据集的呈现给3D CNN的成长提供了新的远景。Hara等人[12]应用Kinetics数据集实习了基于残差收集及其扩展版本的差异深度的3D CNN收集，发明Kinetics的数据量已经足够支持实习152层的深度Resnet 3D收集，而且这样实习出来的简朴的3D CNN布局的分类精度已经可以和I3D对比。Wang等人[13]则是在I3D三维收集的基本上，行使ResNet-101主干收集，通过插手非局部模块来得到视频中更长间隔的空时依靠相关，这样使得模子NL-I3D在仅输入RGB视频帧的环境下，举动分类的机能已经异常良好。

先辈要领的较量说明

基于双流架构，RNN收集以及3D收集的深度举动分类模子表示图如图4所示。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!