导　　师： 余卫宇

授予学位： 硕士

作　　者： (）;

机构地区： 华南理工大学

摘　　要： 视频描述是计算机视觉与自然语言处理领域上的一个新兴研究课题,旨在自动为目标视频生成描述语句。在早期的研究工作中,视频描述生成方法一般采用视觉检测器对视频中的对象信息、场景信息以及对象之间的交互关系进行检测,并用基于模板的语言模型对各元素进行组合构成描述语句。该方法高度依赖于视觉检测器的准确性,另一方面套用模板生成的描述只能简单地陈述事件,而不能表达其中丰富的语义信息。随着深度学习方法在图像分类、视频识别和机器翻译等方向上取得的重大突破,越来越多学者开始关注基于深度神经网络的视频描述方法研究。在近几年视频描述的研究工作中常用编码器-解码器模型框架,通过卷积神经网络和递归神经网络等深度神经网络分别对视频进行特征编码和解码,并利用波束搜索算法排序选出最佳描述语句作为最终输出。本文主要围绕基于深度神经网络的视频描述方法展开了研究。首先,对深度神经网络相关理论知识以及视频描述方向上的核心技术问题进行了详细阐述。其次,本文深入研究了Yao等人提出的基于时序注意力机制的视频描述方法,并设计三组对比实验分别探讨了采用不同的训练学习率初始值、批尺寸和波束宽度对描述生成模型的影响。在Yao等人提出方法的基础上,本文进行了一系列的改进并提出了一种结合丰富语义信息和时空注意力机制的视频描述方法,涉及四点改进:1、融入场景信息和光流特征,分别表征视频内容位置信息和行为形态变化信息。2、嵌入双向LSTM编码器,通过学习视觉特征过去和未来的上下文信息,生成高层语义表达。3、采用时空注意力机制,让模型动态地关注与当前生成单词最相关视频帧子集中的关键特征。4、在波束搜索算法中加入长度归一化的处理。最后,分别在MSVD和MSR-VTT视�

关 键 词： 视频描述 深度神经网络 丰富语义信息 时空注意力机制 长度归一化

领　　域： [] []