导　　师： 史景伦;徐韬

授予学位： 硕士

作　　者： (）;

机构地区： 华南理工大学

摘　　要： 技术旨在通过机器将长文本概括成凝练简洁的摘要,可从海量文本数据中快速地获取所需信息,以有效解决信息过载。现有文摘技术的研究集中在抽取式方法和小规模数据集,难以满足大数据时代的信息需求。受益于深度学习技术的发展,基于seq2seq神经网络模型的生成式摘要已成为新的研究趋势。鉴于LSTM在处理序列数据长距离依赖关系的优越性,本文在此基础上构建了seq2seq生成式多句摘要模型,实现自动摘要获取,提升文本摘要的质量,并在CNN/Daily Mail数据集上验证分析,采用ROUGE指标评估,主要研究内容如下:首先,构建了融合编码器全局注意力的seq2seq模型,以便模型关注有用的信息。为进一步提升模型效果,文中提出了用以衡量源文本和摘要的语义相关度的两种计算方式,分别是直接计算和融合计算,以计算编码端和解码端最后隐状态的余弦相似度,并在训练时引入额外的损失项,最大化源文本和摘要的语义相似度。仿真结果表明,注意力模型以及两种计算方法可显著提高模型效果,直接计算的性能优于融合计算。其次,针对注意力模型无法正确解码未登录词的问题,提出了融合解码器全局注意力的混合指针模型。为了构建一个调节门作为软开关,解码器上需先生成一个语境向量,并与编码器的语境向量相结合,从而将生成词的来源分为两部分,一部分用传统softmax层从词表中预测词,另一部分用注意力机制来预测从源文本复制词的位置。仿真结果表明,混合指针模型可解决未登录词问题,有效提升了ROUGE分数。再次,针对解码过程中产生重复片段的现象,提出了基于多注意力的覆盖模型,以便解码时可以回顾过去所有时刻的编码器和解码器的注意力关注情况,有效分析源序列对当前输出的有用信息。并在训练过程中引入了惩罚因子,对重复关注加以惩罚,可增强模型的�

关 键 词： 生成式文摘 注意力机制 自然语言处理

领　　域： []