导　　师： 陈平华; 钟志

授予学位： 硕士

作　　者： (）;

机构地区： 广东工业大学

摘　　要： 互联网和移动互联网应用的快速发展带来了文本数据的爆炸式增长,使用人工方式分类和整理文本已经成为了不可能。如何在海量的文本数据中实现对文本的快速分类并应用于后续的文章推荐、语义分析、信息检索、信息抽取和机器翻译一直是业界研究的热点。随着深度学习技术的不断发展,越来越多的学者将深度学习技术应用到自然语言领域中,也取得了非常不错的效果。但是,现有的算法往往无法准确的表达文本信息以及在深层网络时会出现网络退化问题。本文在分析已有文本分类算法基础上,主要研究工作如下:本文针对在文本分类中使用高维度的文本词向量在训练中难以收敛。对预处理后的文本语料使用word2vec算法进行预训练。将得到的向量化文本数据作为整个分类模型的输入,避免了出现维度灾难,也加快了模型的收敛。本文针对基于深度学习技术的文本分类算法中卷积神经网络(CNN)无法获取文本全局特征、双向循环神经网络(BiLSTM)无法聚焦文本局部特征的问题,本文将CNN与BiLSTM进行结合,在提取文本特征信息时,既可以通过CNN网络提取文本局部特征,又可以通过BiLSTM网络提取文本全局特征,解决了文本分类中特征提取问题。本文针对文本中不同单词对文本分类结果影响不一问题,本文在模型中引入了注意力机制,对输入信息计算其对分类结果产生影响的概率分布,通过概率分布有针对性地对输入的文本特征向量进行优化,获取对文本分类结果产生影响的重点单词特征。本文针对神经网络模型层数过深时,神经网络的退化问题,引入残差连接。保证了在深层次的网络中,深层的网络参数可以更新和学习。最后,为验证模型和算法的有效性,本文设计并实现了对比实验,实验结果表明,本文所提出的模型在4个语料库中的准确率、精确率、召回率等取得了预期效果。更多还原

关 键 词： [3922870]文本分类 注意力机制 残差连接 [8283049]CNN BiLSTM

分 类 号： [TP391.1;TP183]

领　　域： [] []