基于注意力机制地 LSTM 地语义关系抽取.pdf

————————————————————————————————————————————————
基于注意力机制的 LSTM 的语义关系抽取
作者 王红，史金钏，张志伟
机构 中国民航大学 计算机科学与技术学院
基金项目 国家自然科学基金资助项目（U1633110，U1533104；U1233113）
预排期卷 《计算机应用研究》 2018 年第 35 卷第 5 期
摘要 目前关系抽取方法中，传统深度学习方法存在长距离依赖问题，并且未考虑模型输入与输出
的相关性。针对以上问题，提出了一种将 LSTM 模型（Long Short-term memory）与注意力
机制（Attention Mechanism）相结合的关系抽取方法。首先将文本信息向量化，提取文本局
部特征；然后将文本局部特征导入双向 LSTM 模型中，通过注意力机制对 LSTM 模型的输入
与输出之间的相关性进行重要度计算，根据重要度获取文本整体特征；最后将局部特征和整
体特征进行特征融合，通过分类器输出分类结果。在 SemEval-2010 Task 8 语料库上的实验
结果表明，该方法的准确率和稳定性较传统深度学习方法有进一步提高，为自动问答、信息
检索以及本体学习等领域提供了方法支持。
关键词 文本信息；语义关系；关系抽取；LSTM；注意力机制
作者简介 王红（1963-），女，重庆万州人，教授，硕士，主要研究方向为本体技术、数据挖掘与智能
信息处理等；史金钏（1992-），女（通信作者），山西运城人，硕士，主要研究方向为人工智
能、数据挖掘、自然语言处理等（sjc*************@）；张志伟（1992-），男，山西
运城人，硕士，主要研究方向为人工智能、数据挖掘、自然语言处理等．
中图分类号 TP391
访问地址 -2018-05-
发布日期 2017 年 8 月 17 日
引用格式 王红, 史金钏, 张志伟. 基于注意力机制的 LSTM 的语义关系抽取[J/OL]. 2018, 35(5). [2017-
08-17]. htt