导　　师： 郭礼华

授予学位： 硕士

作　　者： (）;

机构地区： 华南理工大学

摘　　要： 随着计算机技术的发展,在互联网上同时包含图像和文本的数据在不断增加,例如新闻和对应的插图,视频画面和字幕,还有用户上传的图文短讯等。如何更好地理解现有的海量互联网数据,意义十分重大。为了利用同时包含图像和文本的数据,需要算法能理解图像内容和其文本描述之间的联系。所以,在图像和自然语言结合的研究领域中,自动图文标注成为了一个关键的任务。自动图文标注任务的过程是:输入一张图像,通过分析它的视觉信息,输出一个描述图像内容的语法正确的文本句子。自动图文标注是一个困难的问题,过去结合传统图像特征提取方法和语言模型的算法,效果不能令人满意。随着深度学习技术的发展,主要基于递归网络,并结合利用了深度卷积网络的算法,在自动图文标注问题上取得了较大的进展,但仍存在较多问题。在研究基于递归网络的自动图文标注算法的基础上,本文主要有如下贡献:1、在英文的图文标注系统中,本文提出了一个基于递归网络和深度卷积网络的改进模型(WICN模型)。WICN模型针对现有方法的不足,首先实现描述图像概念的单词检测,并结合检索方法进行改进,然后自适应地融合图像特征和单词特征,最终送入LSTM网络进行训练学习,从而实现更准确的英文图文标注系统。2、在中文的图文标注系统中,由于现有的算法研究都基于英文语言,缺乏对中文语言的研究。本文根据中文和英文语言的不同特点,首先实现了一个基于中文统一编码的自动图文标注算法,该方法避免了对中文语料使用分词算法引入的误差累积。然后,针对中文统一编码容易出现词语错乱的问题,本文结合n-grams模型对递归网络的输出进行限制,提出一种后分词算法,从而实现更准确的中文图文标注系统。本文在Flickr8k,Flickr30k和Pascal VOC 2008数据库上,对WICN模型进行�

关 键 词： 自动图文标注 中文自动图文标注 深度卷积网络 递归网络

领　　域： [] []