视频人体行为检测

理论

视频检测通常处理思路

思路	应用场景	原理	缺点
视频行为检测	行为识别	通过3D卷积核实现，结合空间语义信息以及运动信息识别人体行为	？
人体姿态识别	用于检测一个人是否摔倒或疾病，或用于健身、体育和舞蹈等的自动教学	基于关键点检测，联合时序信息判断人的行为	当人体被遮挡时会产生失真现象，复杂场景下鲁棒性不高
异常行为检测	视频场景下的异常行为检测技术是智能监控系统的核心技术	基于之前的正常行为预测下一帧，预测的下一帧与原视频对比，判断是否为异常行为

视频行为检测综述

• 行为识别：识别短视频中的动作——what
• 时序动作检测：在长视频中定位特定动作出现的时间段——what+when
• 时空动作检测：识别并定位视频中出现的人和动作——what+when+where

视频检测的痛点：

• 如何表示视频中的动作
• 如何高效处理大量视频数据
• 如何降低视频数据的标注成本

slowfast–2019ICCV

作者创作思路来源

SlowFast是Facebook在2019年ICCV的一篇视频识别论文，受到灵长类动物的视网膜神经细胞种类的启发（大约80%的细胞（P-cells）以低频运作，可以识别细节信息；而大约20%的细胞（M-cells）则以高频运作，对时间的变化敏感）。作者提出了一种快慢网络SlowFast架构，来实现两个分支分别对时间与空间维度进行处理分析。

结构

SlowFast算法整体由两个卷积分支组成：

• Slow分支：较少的帧数以及较大的通道数学习空间语义信息。
• Fast分支：较大的帧数以及较少的通道数学习运动信息

数据集特点

.avi文件 需要每隔几帧采集成一幅图像.jpg文件

视频长短不一致

模型效果

mmaction2使用说明

ubantu18.04
python == 3.8
torch == 1.8.0
cuda == 11.11

1、下载 数据集 和 开源框架mmaction2

从github下载mmaction2-init-master github：https://github.com/open-mmlab/mmaction2

下载UCF101（行为识别）数据集中的 Data Set、Action Recognition https://www.crcv.ucf.edu/research/data-sets/ucf101/

UCF101是从YouTube收集的具有101个操作类别的逼真动作视频的动作识别

2、安装开源框架

cd mkdir mmaction2
cd mmaction2
unzip mmaction2-master.zip
cd mmaction2-master
pip install -r requirements/build.txt
python setup.py develop
pip install decord -i https://pypi.douban.com/simple

https://github.com/jfzhang95/pytorch-video-recognition

人体姿态识别

基于图卷积

人体姿态识别OpenPose源码编译 - 迷途小书童的Note迷途小书童的Note (xugaoxiang.com)

视频异常行为检测

• 无监督学习：基于之前的正常行为预测下一帧，预测的下一帧与原视频对比，判断是否为异常行为
• 有监督学习：扩充异常样本

应用场景

监控安保暴力行为检测