导　　师： 成思源

授予学位： 硕士

作　　者： (）;

机构地区： 广东工业大学

摘　　要： 人体行为识别是计算机视觉和人工智能等领域的重点研究方向。其研究成果广泛应用于智能监控、人机交互、运动分析、虚拟现实等领域,具有重要的学术研究意义与巨大的市场应用潜力。针对日常生活视频下的人体动作识别任务,为了保留动作在真实场景下的时间和空间维度上的更多特征,通过基于视频中人体行为时空运动特征,设计了融合以人体骨架、RGB图和光流作为输入,具有时序性的行为识别神经网络框架TS-IC3D-LSTM。在自建数据库上验证了文中算法的有效性,并在UCF101数据集上验证了文中算法相对于其它相关算法的优越性。主要研究内容如下:(1)为了降低外界光照、遮挡等因素对特征提取的影响。首先,通过特征提取模块提取目标视频序列中的人体骨架特征,得到人体骨架运动序列。对骨架关节点坐标归一化以消除人体的绝对空间位置对识别过程的影响。然后通过简单的平滑滤波器对骨架关节点进行滤波,以提高信噪比。最后对人骨架进行特征表征,以表征矩阵的形式输出。(2)为了解决单一特征在描述视频中人体行为时存在特征表征不足的问题。通过融合RGB图和人体骨架运动序列共同表征空间信息,加入光流表征时间信息。为了解决视频数据中的计算冗余问题,还提出了对视频数据进行图像帧序列化并提取关键帧。在保证图像帧之间关联性的同时,尽可能减少冗余计算。(3)为了解决大的输入数据流下算法运算速度慢。文中先通过基于3D CNN进行卷积核扩充和结构上深度的改进而构建了IC3D神经网络。使用权值共享策略来降低神经网络中的参数膨胀问题。并通过连续卷积和下采样,减少下一步工作参数庞大的问题,以提高整个算法的计算效率。同时,加入LSTM构成TS-IC3D-LSTM神经网络中的子网络模块。从结构上解决因输入流过大而可能产生的梯度爆炸和梯度消亡问题。然后加入了BN和Dropout等优化网络结构,以防止模型训练中的过拟合。最后在自建行为数据库上验证了文中算法的有效性。(4)基于Two-stream和LCRN,设计了用于视频中人体行为识别任务的TS-IC3DLSTM神经网络。使用光流输入来表征样本间的时间维度,使用人体骨架运动序列和RGB图来表征空间维度。通过预训练后权值迁移加微调再训练的方式进行网络模型训练。并在人体行为视频库UCF101上与相关算法进行比较,验证了文中算法的鲁棒性及优越性。更多还原

关 键 词： 行为识别 双流卷积神经网络 长短时记忆神经网络 骨架特征表征

分 类 号： [TP391.41;TP18]

领　　域： [] []