一种基于“预读”及简单注意力机制的句子压缩方法

分类： 计算机科学 >> 计算机科学的集成理论 提交时间： 2018-05-20 合作期刊: 《计算机应用研究》

鹿忠磊 刘文芬 周艳芳 胡学先 王彬宇

摘要： 针对英文句子压缩方法进行研究，提出一种基于“预读”及简单注意力机制的压缩方法。在编码器-解码器（encoder-decoder）框架下，以循环门单元（Gated Recurrent Unit，GRU）神经网络模型为基础，在编码阶段对原句语义进行两次建模。首次建模结果作为全局信息，加强二次语义建模，得到更全面准确的语义编码向量。解码阶段充分考虑删除式句子压缩的特殊性，适用简单注意力（3t-Attention）机制，将编码向量中与当前解码时刻最相关的语义部分输入到解码器中，提高预测效率及准确率。在谷歌新闻句子压缩数据集上的实验结果表明，所提压缩方法优于已有公开结果。因此，“预读”及简单注意力机制可有效提高英文句子压缩精度。

通过

 点击量 2692  下载量 1530  评论 0