【星球知识卡片】视频分类与行为识别有哪些核心技术,对其进行长期深入学习

1 3D卷积

视频相对于图像多出了一个维度,而3D卷积正好可以用于处理这个维度,因此也非常适合视频分类任务,不过缺点是计算量比较大,下图展示了一个简单的3D模型。

2 RNN与LSTM

视频和语音信号都是时序信号,而RNN和LSTM正是处理时序信号的模型,也是早期用于视频分类的重要模型。

3 双流法

视频中的目标往往是运动的,因此光流也是非常重要的信息。双流法包含两个通道,一个是RGB图像通道,用于建模空间信息。一个是光流通道,用于建模时序信息。两者联合训练,并进行信息融合。

4 光流预测模型

由于双流模型是当前视频分类的主流模型,而其中光流信息对结果影响很大,因此光流预测模型至关重要,尤其是轻量级的光流预测模型非常值得研究。

5 多框架融合

Two-Stream网络和3D网络各有优点,都可以很好的建模时序关系,但是计算量巨大,因此有的框架致力于融合两类框架,并降低计算量。

6 其他

总的来说,视频分类和行为识别有非常多的研究方向,包括:

(1) 三维卷积的改进。

(2) 光流提取模型的改进。

(3) RGB和光流特征的融合改进。

(4) 多模态信息融合。

(5) 多标签视频分类。

(6) 更加细粒度的动作分类。

(7) 更长程信息的捕获。

(8) 行为定位。

(9) 视频标注。

以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—视频分类板块阅读。

有三AI知识星球

知识星球是有三AI的付费内容社区,里面包括各领域的模型学习,数据集下载,公众号的付费图文原稿,技术总结PPT和视频,知识问答,书籍下载,项目推荐,线下活动等资源,了解详细请阅读以下文章:

【杂谈】有三AI知识星球一周年了!为什么公众号+星球才是完整的?

【杂谈】万万没想到,有三还有个保密的‘朋友圈’,那里面都在弄啥!

转载文章请后台联系

侵权必究

(0)

相关推荐