摘要：随着物联网(Internet of Things,IoT)逐步地对传统行业进行智能化升级,深度学习技术不断被应用到可穿戴设备...随着物联网(Internet of Things,IoT)逐步地对传统行业进行智能化升级,深度学习技术不断被应用到可穿戴设备、智能家居、无人数字工厂、无人物流运输和智慧医疗等方面。然而,如今性能强大的大型卷积神经网络(Convolution Neural Network,CNN)模型仍然难以在FPGA(Field Programmable Gate Array)和嵌入式等硬件资源非常有限的边缘设备上部署使用。所以,亟需对CNN模型进行有效地压缩,从而使网络模型满足边缘设备部署应用的要求。目前,在CNN模型压缩算法方面已有许多的工作,学者们使用不同的方式来降低网络的冗余。然而,现有的这类方法在解决边缘计算的需求时仍然面临许多挑战。在当前的CNN模型压缩方法中,都存在着局限于小型的数据集和网络模型、仅考虑某一方面的要求和只针对GPU处理器实现加速推理等问题,难以满足实际任务的大型CNN模型在边缘部署应用的要求。因此,针对现有上述边缘设备的限制和CNN模型压缩的问题,提出面向边缘设备的压缩方法。为了满足既CNN模型在实际任务中精确率的要求,也要满足模型的部署需求,因此针对CNN模型存在的中多方面的冗余,使用本文提出的搜索框架,探索各个维度冗余之间的平衡点,在确保满足任务精确率的同时,更大幅度地压缩CNN模型的大小。本文的主要工作包括:1)根据如今大型CNN模型的结构和以及边缘设备的特性,提出了面向边缘部署的CNN模型压缩方法,同时针对权重连接和数据位宽两个维度进行压缩,以保持网络精确率的前提下,对CNN模型进行有效的压缩。2)针对大型CNN模型部署应用所需的存储以及计算硬件资源偏高的问题,基于网络模型权重连接的冗余度分析,建立权重冗余度的搜索框架,在保证网络精确率的前提下,对网络冗余权重进行最大限度的裁剪。3)针对浮点型运算复杂和FPGA和嵌入式等边缘设备的运算性能有限的矛盾,采用动态定点型对网络模型进行量化,并且对网络模型数据位宽冗余度进行分析,构建数位的位宽冗余度搜索框架,在保证网络精确率的前提下,对网络各部分数据以较少位宽的定点型进行表示。4)针对上述CNN模型压缩方法,对不同结构的大型CNN模型进行实验。实验证明,面向边缘应用的CNN压缩方法能在保持网络精确率同时,有效地将网络模型压缩至边缘设备的要求。更多还原显示全部
