工厂人员违规行为识别

工厂人员违规行为识别系统借助视频监控ai分析技术+计算机视觉学习技术，人员违规行为识别系统利用现场已有监控摄像头，对车间园区人员擅自离岗、玩手机、区域入侵、吸烟、劳保服不佩戴等个人行为实时检测分析，当系统识别到人员违规行为立即抓拍提醒，违规截图和视频保存到数据库系统生成表，推到后台人员妥善处理，及时纠正不符合操作规范的行为。

目标：给定一段视频，通过分析，得到里面人员的动作行为。

问题：可以定义为一个分类问题，通过对预定的样本进行分类训练，解决一个输入视频的多分类问题。 这里提出的问题是简单的图片（视频）分类问题，该问题的前提条件是：场景目标为单人，并且占据图片比较大的比例，

我们将算法描述为以下步骤：

1）在原始图像多尺度上进行密集特征点采样，采样间隔为W（上图左）；

2）进行有效的特征点筛选（只保留有用的），这里选用的方式是基于自相关矩阵的特征值；

和直接通过surf去选择特征点的思路基本上一样。该 Step 形成空域信息。

3）跟踪特征点，在时间轴形成特征点的轨迹序列（上图中）；该 Step 形成时域信息。

4）对应每个时间片上的每个特征点，在该点影响范围内 分别进行特征采样（HOG、HOF、MBH）（上图右），

对序列进行编码（Fisher Vector），得到 Total 特征；

5）采用分类器（SVM）进行分类；

描述非常清晰，通过CNN网络对 single frame 提取图像的特征信息，下面通过多帧间的密集光流（与iDT类似）提出时域信息，后面通过 fusion＋分类来输出结果。针对 Two Stream 的改进比较多，主要思路包括 网络的改进、Fusion 方法、结合RNN（LSTM）、选择Key Frame等， 这里没有太多创新的东西，可以自己refer一下。与传统卷积的区别就在于将平面特征的提取扩展到3维，将空域特征和时域特征同时提取，该方法相比传统的2D方法，效率有明显的提高，基于VGG-like网络帧率达到了300FPS＋。