导　　师： 陈健

授予学位： 硕士

作　　者： ;

机构地区： 华南理工大学

摘　　要： 自2012年第一个真正意义上的深度神经网络Alex Net获得了Image Net的最终优胜,越来越多的学者和企业组织开始关注深度学习领域。深度卷积神经网络的实质是通过多次卷积池化操作学习外部输入信号的不同层面的特征表达,再将学习到的特征表达作为最后的非线性分类器的输入作最终的预测。深度网络的优点是可以利用非监督的方式让神经网络本身更好地学习特征抽取的方法,从而代替人工特征抽取。目前,深度神经网络在计算机图像、自然语言处理、文本分析、音频处理、信息检索等领域都取得了令人瞩目的成绩,但同时深度网络在实际应用中也存在一些缺陷和限制。比如,深度神经网络庞大的计算需求和本身模型参数过多导致的内存存储空间消耗等问题。当计算资源和硬件条件良好时,以上问题可以通过外部条件来解决。但在某些硬件条件受到限制的设备上(如移动设备),普通深度神经网络的可行性将会大幅降低。针对深度网络的这一局限,在本文中我们提出了位量化神经网络来加速网络运算过程,并针对量化参数的离散特性对模型大小进行压缩处理。本文的主要工作包括以下几点:1)对神经网络正反向传播的数学过程进行分析和推导,证明了利用位操作代替乘法运算来加速神经网络的有效性;2)提出了一种具有创新性的位量化神经网络模型,优化了卷积操作的运算过程,并在本文中详细介绍了位量化网络的训练和推断的操作细节;3)对位量化参数特性进行分析,利用量化参数的离散性对模型进行压缩,实验数据证明位量化网络在保证性能的同时将存储空间压缩至原本模型的10%左右,并且节省了50%~75%的网络运行内存空间;4)最后,通过实验数据证明了位量化网络在加速和压缩了网络模型的同时还保证了性能,位量化网络能够获得与全精度网络模型相近的准�

关 键 词： 深度学习 神经网络 模型压缩 模型加速

领　　域： [] []