导　　师： 王伟凝; 熊尚坤

授予学位： 硕士

作　　者： (）;

机构地区： 华南理工大学

摘　　要： 美是人类感知、认知和情感相互作用的结果。在计算机领域,图像美学质量评估的目的是让计算机能够模拟人类的审美系统,自动对图像的美感进行判别。研究人员通常将其转化为一个机器学习问题,即让模型在人类标注的数据上进行训练,学习如何预测图像的美学等级。而学习到的模型能在很多劳动力密集的主观任务中发挥作用,如智能照片编辑、图像推荐或搜索、海报横幅生成,其应用前景十分广泛。目前,基于大规模数据训练的深度卷积模型在可计算美学评估中被广泛使用,但是仍然存在两个难题:包括如何处理CNN的识别机制与人类审美感知识别机制之间的差异性,以及如何从大量数据中学习到更好的美学规则。本文主要通过研究将人类视觉感知和数据紧凑表达的知识应用于基于深度卷积网络的美学质量评估任务,以提升美学评估模型的性能,主要工作如下:1)提出了一种基于视觉感知的双层神经网络(Visual Perception Network),用于启发性地学习图像中与视觉感知相关的特征。该网络包含两个子网络,感兴趣区域子网络和多尺度信息子网络,分别用于学习图像中的感兴趣区域特征和多层次细粒度特征。另外,为了学习到图像中的感兴趣区域,我们还提出一种新颖的感兴趣区域搜索算法,用于搜索出图像中吸引力强的局部区域。实验结果表明,该算法能够有效地融合图像中不同层次的信息,获得较好的效果。2)设计了一种基于数据紧凑表达的训练策略。该策略关注于美学数据的有效利用问题,分阶段利用聚合程度不同的图像,学习简单到复杂的美学规则。该策略先计算数据集中图像的局部密度和距离,将数据集分为三个聚合程度不同的子集,紧凑的、稀疏的、高度稀疏的。接着从紧凑的数据开始训练,逐步加入稀疏的数据,以一种从紧凑到稀疏(Compact-to-Sparse)的方式逐步训练。实验结果表明,这种学习方式不仅能够有效地提高模型的泛化性能,而且可以学习到数据集中样本的聚合程度。本文设计的算法是在深度卷积神经网络的基础上,结合人类视觉感知的知识,从网络结构、训练数据、训练策略三方面对CNN进行改进。实验结果表明,在大规模美学数据集AVA上,我们的算法能达到较为领先的水平。更多还原

关 键 词： 图像美学评估 深度卷积神经网络 [6965716]感兴趣区域 [491524]多尺度特征 [2253505]数据聚合

分 类 号： [TP391.41]

领　　域： []