基于Transformer的推理方法研究 裴鸣轩.pdf

: .
用户以自然语言的方式直接提问，系统将简洁、
精准的答案直接返回给用户，提高了获取信息的效率，在目前互联网海量数据的背景下，
研究问答系统具有重要的价值和意义。本文主要研究问答系统中的推理方法，传统的基
于关键字匹配以及模糊查询的答案抽取方法效率差，且准确性低，已经不能满足目前用
户的需求。改进知识推理技术是解决问答系统答案抽取的重要方法，故本文重点研究问
答系统中的知识推理方法。随着深度学习技术在自然语言处理领域的广泛应用，取得了
非常显著的效果，所以将深度学习的神经网络应用于知识推理成为目前重要的研究方向，
取得了一定的成果。但目前利用深度学习方法研究推理方法时，存在语料不足的问题、
中文拼音的音同义不同导致的语义理解偏差问题、以及推理算法的效率低等问题。为了
解决这些问题，本文提出将 Unified Transformer 模型融入知识推理问题，进行深入研究。
改进了现有的基于双向循环神经网络的数据增强模型方法，解决了现阶段存在数据增强
任务的工作难点。并提出了基于 Transformer 模型的推理方法，本文主要研究工作与创新
点如下：
（1）为解决智能问答系统的知识推理中存在语料不足的问题和中文拼音的音同义不
同导致的语义理解偏差问题，提出了基于 SimBERT 模型和随机拼音替换的数据增强方法
进行语料库的数据增强。首先构建同拼音字词典，通过词典对语料库内的随机词进行随
机替换，生成新的句子，以增加句子的语义多样性。然后利用 SimBERT 模型进行数据增
强，在保留实体及不改变语义的情况下，进一步丰富语料库。结果表明，DuConv 数据集
和 KdConv 数据集使用本研究提出的数据增强方法的 Distinct-1 和 Distinct-2 值分别达到了
和 ，KdConv 数据集使用本研究提出的数据增强方法的 Distinct-1 和 Distinct-2
值分别达到了 和 。DuConv 数据集准确率、召回率、F1 值分别达到了 %、
%、%，KdConv 数据集准确率、召回率、F1 值分别达到了 %、%、
%，具有较好的效果。表明该方法有效解决了数据集中数据不足和中文拼音输入同
音错字的问题，同时也扩充了输入句的语句、语义数量，进而提高推理方法的准确度。
（2）针对传统的用于知识推理的神经网络模型存在因无法并行计算导致的推理算法
效率低下的问题，提出了采用 Unified Transformer 模型来取代传统的记忆神经网络模型并
加入注意力机制来完成知识推理的方法，该方法降低了模型的复杂性，还可以对数据进
行并行运算，提高了运行效率，解决了模型内长期依赖的问题，提升推理精度。实验表
明，本文改进的算法运行效率有明显提升，并且，在 DuConv 数据集的实验中连贯性指标
提升了 、信息性指标提升了 、参与性指标提升了 、人性化指标提升了
。在 KdConv 数据集的实验中连贯性指标提升了 ，信息性指标提升了 ，参
与性指标提升了 ，人性化指标提升了 。
关键词：推理方法；Transformer 模型；问答系统；深度学习；数据增强；注意力机制
IIIAbstract
Abstract
Question answering system is an important rese