基于生成对抗网络的类别文本生成 蔡丽坤.pdf

: .
广西师范大学，吴运兵 1,2,3，陈甘霖 1,2,3，刘翀凌 1,2,3，廖祥文 1,2,3*
(1. 福州大学 计算机与大数据学院，福建 福州 350108；(福州大
学)，福建 福州 350108；3. 福州大学 数字福建金融大数据研究所，福建 福州 350108)
摘 要：类别文本生成旨在让机器生成人类可理解的文本，并且赋予生成文本特定的类别属性。现有工作主要采用基
于生成对抗网络的文本生成框架，往往直接采用卷积神经网络进行文本特征的提取，缺乏对文本全局语义的关注；此
外，简单地在生成网络中引入注意力无法有效消除解码过程中的噪声。针对上述问题，本文提出一种将文本全局特征
与局部特征联合建模的方法，通过将长短时记忆网络提取的全局语义信息与卷积神经网络提取的局部语义信息进行
融合，增强生成过程中对文本全局语义信息的关注，并且引入了双重注意力，进一步过滤掉序列生成中的无关信息。
与基准模型相比，本文提出的方法分别在 2 个公开的真实数据集(Movie Review 和 Amazon Review)上取得了至少
和 的 BLEU 值的提升，表明了本文方法的有效性。
关键词：文本生成；生成对抗网络；双重注意力；特征融合；进化学习算法
中图分类号： 文献标志码：A 文章编号：1001-6600(2022)04-0000-00
随着自然语言处理在人工智能领域的迅猛发展，自然语言生成已成为人工智能和自然语言处理
的一个重要研究方向。类别文本生成[1]作为文本生成的一个子任务，旨在生成包含特定语义的文本。
不同类别、不同情感的文本生成，能够使得机器更加人性化。同时，大量具有类别属性的文本的生
成能够在很大程度上缓解大规模标签训练数据集获取困难的问题。
传统的文本生成方法主要基于规则模板[2]，通过内容规划，句子规划以及语言实现进行文本的生
成。随后，基于概率统计的方法[3]也被运用到对语言的建模中，该方法将词与上下文的关系编码成条
件概率，从概率统计的角度出发来进行文本的生成。随着深度学习的不断发展，当前大多数的工作
采用端到端的文本生成框架[4]，通过数据驱动的方法训练模型，避免了大量手工规则的构造，同时也
提高了模型的泛化能力。
生成对抗网络（generative adversarial networks, GAN）[5]作为深度学习中的一个主流框架，采用
博弈的思想，通过生成网络和判别网络的对抗训练实现网络的优化目标。其中，判别网络的目标是
最大化真实样本与生成样本的距离，反之即为生成网络的目标。目前基于生成对抗网络的文本生成
研究中，大都采用基于 LSTM 的生成网络对文本进行解码。为了获得更丰富的语义表达，Nie 等[6]引
入了关系记忆网络以获得更丰富的上下文依赖关系，并采用注意力机制[7]来实现文本对自身序列的
对齐。但是，当注意力查询与结果不匹配时，会导致对无关信息的关注，从而影响生成文本的多样
性表达。在判别网络方面，现有的工作，如 SentiGAN[8]、CatGAN[9]等，均采用了卷积神经网络[10]来
进行文本特征信息的提取。卷积神经网络采用局部连接的方式大大减少了网络的参数，但同时也造
成了文本中上下文依赖关系的丢失，缺乏对文本全局语义特征的学习，从而影响生成文本的整体流