摘要：近年来,深度卷积网络在计算机视觉及模式识别等领域取得了重大突破,除了得益于深度结构和卷积运算的优势之...近年来,深度卷积网络在计算机视觉及模式识别等领域取得了重大突破,除了得益于深度结构和卷积运算的优势之外,也有一部分原因来自于激活函数的发展。本文针对深度卷积网络中的激活函数相关技术做了较深入的调研。传统神经网络模型中常用的Sigmoid激活函数与Tanh激活函数容易出现梯度消失问题,导致模型结构无法深度化;现如今常用的激活函数都是ReLU及其变体形式,本文称之为修正单元函数,其中,ReLU(Rectified Linear Unit,修正线性单元)激活函数容易导致“神经元死亡”现象;PReLU(Parameteric Rectified Linear Unit,参数化修正线性单元)、PELU(Parameteric Exponential Linear Unit,参数化指数线性单元)等以解决“神经元死亡”为目的的激活函数在训练阶段能够根据不同的输入数据学习调整其参数,但是在测试阶段激活函数的形式就不会再改变,无法响应不同的输入数据。因此,本文提出自适应激活函数重点解决激活函数在测试阶段无法响应不同输入的问题,主要设计了三种组合形式将基本的修正单元函数进行组合得到新的激活函数。首先,mixed激活形式是两种或两种以上的激活函数进行加权求和得到的,权重是一个可学习的系数,一旦在训练阶段学习完毕,在测试阶段就保持不变。其次,gated激活形式也是将两种或两种以上的激活函数进行加权求和,不过其权重是输入的映射函数,这样在测试阶段也可以根据不同的输入调整权值,达到了自适应激活的目的。最后,Hierarchical激活形式是根据gated激活形式推广得到的一个三层结构,将多组基本激活函数组合之后,根据winner-take-all原则选择最大的输出值作为激活值。最后,本文从物体分类和目标检测两个方面验证了自适应激活函数的效果。实验证明,自适应激活函数相对于Re LU等常见的激活函数提高了神经网络模型学习非线性变换的能力,提高了网络的表达能力。更多还原显示全部
