导　　师： 常天海;金连文

授予学位： 硕士

作　　者： ;

机构地区： 华南理工大学

摘　　要： 近年来,随着移动通信网络和互联网的不断发展,手机、平板电脑等智能便携设备逐渐普及,人们对相关智能化应用,尤其有关计算机视觉和文字识别领域的相关应用的需求量越来越大。目前,基于深度神经网络的相关算法,其包括深度卷积神经网络和深度递归神经网络,在计算机视觉和文字识别等模式识别的相关领域,相比传统算法,精度有较大提升,但基于深度神经网络的算法,相比于各领域传统算法有更大运算量和参数存储量,使其有更长的计算时延和需要更大的内存空间,从而导致在移动设备难为大规模应用。基于上述深度神经网络的参数量和计算量较大的问题,本文在深度神经网络的加速算法、模型压缩算法,以及如何将两者有机的结合起来做出了相应的创新工作。其主要包括如下三个方面:(1)在对深度卷积神经网络的参数压缩及前向加速上,提出了全局监督低秩分解算法,其有效地解决了对卷积层进行低秩分解时,精度损失较大的问题,同时使用输入数据的标签信息作为其收敛目标;提出了自适应剪枝算法,有效的缓解了传统剪枝算法,对网络各层剪枝阈值设置太大导致性能急剧下降,或阈值太小导致压缩倍数不足的问题,采用自适应动态增加的阈值,使网络各层冗余的连接逐渐被移除;提出了连接冗余度分析的概念,其可以在给定的精度损失阈值下,分析各层的连接度,从而指导网络各层砍连接的比例;随后,将全局监督低秩分解算法、自适应剪枝算法以及连接冗余度分析三者结合起来,应用在基于卷积神经网络的脱机手写汉字识别网络上,其可以减少初始网络9倍的计算量和18倍的参数存储量,网络的精度仅仅下降0.21%,这个结果依旧可以超过,迄今为止在该数据集上识别精度最高的单个模型,而且网络的参数量和计算量均比其明显小。(2)在对深度递归神经网络的�

关 键 词： 深度卷积神经网络 深度递归神经网络 参数压缩 前向加速

领　　域： []