导　　师： 吴庆耀

授予学位： 硕士

作　　者： (）;

机构地区： 华南理工大学

摘　　要： 随着信息技术的不断发展,互联网上产生出了大量文本数据。文本分类技术作为组织和处理大量文本数据的关键技术也同时得到了快速的发展。虽然文本数据蕴含了丰富的信息,但由于具有非结构化的特点,使得计算机无法直接进行计算处理,进而无法获取到有价值的信息。文本分类技术的核心在于文本的向量化表示。传统的文本表示方法是基于关键词设置和词频统计,这种方法的缺点在于忽略了词语之间的关联关系和隐藏在文本上下文中的语义信息,并且提取到的特征向量具有高维度和高稀疏性的缺点。随着深度学习技术的不断发展,深度神经网络模型被证明在非结构化数据的特征提取方面具有独特的优势。本文在总结研究传统文本特征提取和分类方法的基础上,对运用深度神经网络模型解决文本分类问题进行了深入研究。本文的主要研究工作有:本文研究分析了文本分类问题中的几个关键步骤。首先对词嵌入技术进行了研究。词嵌入能够通过神经网络将词语映射到一个低维度的实数向量中,有效避免了传统词向量缺乏语义信息的缺点。之后对文本特征提取和分类方法进行了研究,认为在传统方法中,特征向量维度往往较大,并且忽视了文本中词序信息的重要性。本文认为,利用LSTM处理序列化数据的优势,将LSTM运用在文本进行特征提取和分类任务中,能够在最大程度上解决传统方法中存在的问题。本文在基于LSTM的特征提取与分类模型的基础上,提出将注意力机制与Bi-LSTM模型相结合的策略来解决文本分类问题,进一步提升分类模型的性能。融合注意力机制后的Bi-LSTM模型能够通过计算中间状态与最终状态之间的相关关系得到关于注意力的概率分布,目的在于对每一时刻下的状态加以不同的权重,能够在保留有效信息的基础上,最大程度解决信息冗余的问

关 键 词： 文本分类 词嵌入 文本特征提取 模型 注意力机制

领　　域： []