一种基于CNN与双向LSTM融合的文本情感分类方法.docx

一种基于CNN与双向LSTM融合的文本情感分类方法
 
 
张翠　周茂杰
摘  要： 现在文本情感分类普遍采用深度学习的方法。卷积神经网络可以较好地提取局部特征，但是缺少對上下文的理解。长短记忆网络可在图像处理及音频识别领域中取得了成功，一些学者将此方法推广应用到文本处理上，经过多年的应
用实践，证明深度学习方法用在文本处理上是可行的。与传统的文本分类算法相比，深度学习算法能自动提取特征，加快处理速度，显著提高分类效果。
深度学习的核心是利用多重非线性变换结构对数据进行高阶抽象，并最终完成数据特征识别的一种算法[1]。神经网络是深度学习中重要的模型之一，经过多年的发展，产生了多个变种，每种神经网络都有自己的优势。卷积神经网络（CNN）利用卷积核进行移动计算，可以较好的提取局部特征[2-4]，但利用CNN进行文本识别，不能解决长文本的上下文依赖。
循环神经网络（RNN）以序列形式输入数据[5]，输出数据要对当前数据及前后数据都有所依赖，可以提取全局特征，LSTM（Long Short-Term Memory）是循环神经网络的一种，利用三门设计方法，解决了长期依赖导致的梯度消失和梯度爆炸问题[6]。
本文设计一种CNN与LSTM结合的深度学习模型，发挥CNN的局部特征提取优势，并且从全局上理解文本的情感特征。首先利用CNN提取局部特征，利用LSTM获取上下文相关信息，然后将两种特征信息的向量进行拼接，拼接后的特征向量作为文本的特征向量，将两种神经网络有机结合，在文本情感识别上取得较好效果。
1 相关工作
情感分析的原理是通过对情感文本的分析，挖掘出文本所表达情感的极性和强烈程度。目前，情感分类主要是通过规则、情感词典和机器学习两种方法。近年来，机器学习方法取得了较大进步，情感分类的效果也大大改善。
机器学习方法中用得最多的是卷积神经网络（CNN）和循环神经网络（RNN）。Kalchbrenner等提出了利用CNN来进行自然语言处理[7]，提出了动态卷积神经网络（DCNN） 模型，适应不同长度的文本，对不规则文本的处理效果较好;Kim在利用词向量与卷积神经网络结合实现了句子级的分类任务[8]。卷积神经网络在文本分类应用中取得了较大的进步，但是它更关注局部特征，忽略了上下文的关系，文本的语义和情感都对上下文有较强的依赖作用，所以在文本的语义情感分类中，准确率有一些影响。
循环神经网络以序列形式接受文本中的词向量输入，不但有当前位置上的信息，而且有临近位置的信息，可以有效地解决上下文依赖问题[9]。长短记忆网络模型是循环神经网络的一个子类，它在神经网络单元中加入三个门，可以避免长距离依赖产生的梯度消失问题，同时具有更强的记忆功能，对文本的识别能力更强。
2 情感模型研究
CNN模型
卷积神经网络利用卷积核与原始数据相乘，提取局部特征，因为在一个卷积神经网络中可以采用多个不同类型的卷积核，从而提取多个局部特征，因此具有较强的局部特征提取能力。因为相邻的词之间具有一定的修饰关系，并可以表达出情感倾向，所以本文在进行文本情感识别时，首先利用word2vec方法将文本构造成向量集，在文本的向量集合中采用卷积运算，进行局部特征提取，经过池化层后得到用于分类的输出向量，最后利Softmax函数进行数据分类。
例如，句子分词后得到n个词，表示为：[S=w1，w2，…，wn]，其中wi表示句中第i个词，向量化后可得[wi=Vwi]，其中[Vwi∈Rn*d]，表示S由组成n个词构成，每个词转化为d维向理，构成了向量矩阵。
在分类时，把词向量当作独立的个体，所以采用Fk=k*d维卷积核与向量矩阵进行卷积计算，分别表k个词之间的局部联系，特征提取如公式⑴所示。
⑴
Ci表示经过一次卷积计算得到的局部特征值，f表示一个RELU函数，Fk表示k*d维滤波器，b表示偏置值，经过卷积核在矩阵上滑动计算一轮后得到完成的一个完整的局部特征向量C，记为：
⑵
为了降低向量维度，采用最大池化函数对C进行池化操作，。其中m为池化宽度。
⑶
di为卷积所提取特征，将所有的特征向量送到全连接层，最后的用Softmax激活函数的输出层。可以根据输出数据判断出输入词向量的情感极性。
LSTM模型
1997年，Hochreiter首先提出了长短记忆网络LSTM（Long Short-Term Memory）[7]，它是一种特殊循环神经网络（RNN），它可以有效解決RNN的梯度消失或梯度爆炸的问题，能够学习到长期的依赖关系。与RNN相比，LSTM对神经单元（Cell）的控制器进行了设计，能够判断信息是否有用，Cell控制单元如图1所示。
在 LSTM模型中的控制单元由一个用于记录状态的记忆