摘要：储备池计算(Reservoir Computing)模型结构简单、训练高效,是一种训练循环神经网络的新型计算方法。目前已...储备池计算(Reservoir Computing)模型结构简单、训练高效,是一种训练循环神经网络的新型计算方法。目前已经在动态系统识别、时间序列预测等领域中得到了广泛的应用。然而,相比于深层次的深度学习模型,储备池计算模型层次结构单一化(只有随机固定的单个隐含层),唯一需要训练的网络输出权值也仅仅依赖于简单的回归工具。因此储备池计算目前还尚未能应用于更广泛的时间序列应用领域,例如动作识别。本文拟基于典型的储备池计算模型——回声状态网络(Echo State Network,ESN),探索储备池计算与深度学习在模型思想、技术等方面结合的可能性,提出两种新型的深度储备池计算模型。具体地,本文研究工作主要包括在以下两个方面:1)提出一种新型的层次化储备池计算模型——深度储备池网络(Deep Reservoir Network,DRN)。该模型通过多重投影与编码的交替方式叠加储备池和无监督编码器。各层的储备池与最后的输出层之间均有需要学习的输出连边,并且这些输出连边的权值可以通过简单的回归方程求解。该模型在保证传统储备池计算简单、高效的学习特点(不依赖于时间方向上的梯度反向传播过程)的同时,也通过在各层储备池之间加入的无监督编码器融合了深度学习多层次特征学习和抽象的模型思想。实验结果证明,这种基于多重投影编码的深度储备池网络比起目前已有的层次化储备池工作更能保证在实现高效率时序建模任务的同时,在整个层次系统内部产生丰富多尺度动态特征。2)提出一种基于储备池编码与卷积解码相结合的新型深度储备池计算模型——卷积回声状态网络(Convolutional Echo State Network,ConvESN)。该模型可适用于一般的时间序列分类问题。该模型的研究动机在于利用深度学习方法来解码储备池生成的丰富的高维动态特征,突破原来基于简单线性回归的储备池计算模型对复杂动态特征解码能力弱的建模瓶颈。进一步,本文针对带有结构化信息的时间序列数据(例如基于人体骨骼节点的动作序列数据),提出了两种基于多步通道融合策略的卷积回声状态网络扩展模型(ConvESN-MSSC和ConvESN-MSMC),将ConvESN这种深度储备池计算模型进一步拓展至更为复杂的时间序列识别应用中。通过基于UCR时间序列数据库的标准分类任务以及基于人体骨骼节点序列数据的动作识别任务,证明了这种卷积回声状态网络方法的有效性。更多还原显示全部
