基于RNN结构下的字母级别语言模型的研究与实现.doc

基于RNN结构下的字母级别语言模型的研究与实现.doc基于RNN结构下的字母级别语言模型的研究与实现
刘辰郭邵忠殷乐
信息工程大学四院
X
关注成功!
加关注后您将方便地在我的关注中得到本文献的被引频次变化的通知!
新浪微博
腾讯微博
人人网
开心网
豆瓣网
网易微博
摘    要:
本文设计实现了一种neural language model, 它的输入只有字母, 输出为所预测的单词。该模型是一种recurrent -work language model (RNN-LM) , 具体实现方面应用了较为成熟的long short-term memory (LSTM) 结构, -work技术, 提高了该模型的性能, 该模型在English Penn Treebank上测试结果达到了上游水平。并且训练出的模型的空间大小比传统DNN模型小的多。该模型在语意理解方面综合来说略微低于word level模型, 但更加容易理解变形词汇, 通过少量的模型变换可以转换成为word level模型, 适应性较强。
关键词:
RNN; 语言模型; 自然语言处理; 神经网络;
0 引言
随着人工智能技术的发展, RNN模型被广泛应用在语音识别, 机器翻译和文本生成等领域, 并取得了举世瞩目的效果。Recurrent work (RNN) 是一种能学习向量到向量之间映射关系的强力模型, 它适用于时序数据集上。但由梯度爆炸和梯度消失的问题的存在, 使得RNN结构难于训练。在学者们的努力下, 提出了Long Short-Term Memory (LSTM) 模型, 解决了梯度消失的问题。梯度爆炸问题相对梯度消失复杂的多, Mikolov与Pascanu通过强制约束梯度范数解决了该问题。Cho等人提出名为lstm的一种新的改进型Gated Recurrent Unit (GRU) , 在语言模型的实际应用背景中, 两种实现方法效果不分伯仲。
在natural language processing (NLP) 任务中, 语言模型是一项基础工作。语言模型是一个单纯的、统一的、抽象的形式系统, 语言客观事实经过语言模型的描述, 比较适合于电子计算机进行自动处理, 因而语言模型对于自然语言的信息处理具有重大的意义。
神经语言模型Neural Language Models (NLM) 通过将词的参数化作为向量, 并将其用作神经网络的输入, 取得了很好的效果。
虽然NLM比以往的基于统计的语言模型性能表现出色, 但是该模型不能分辨出词根, 词缀或者分词等信息, 例如like和unlike两词应在embedding时候空间位置距离比较接近, 这个功能上述模型无法实现。因此, 训练集中没有或者出现几率特别小的词, 模型无法理解。实际应用中, 尤其在俄文语境下, 词态变化繁复, 使得模型训练成本增大, 性能下滑。为了克服上述不足, 本文设计了一种char-level语言模型, 该模型的输入是一个个字符。同Botha and Blunsom 2014;Lu-ong, Socher, and Manning2013相比下, 我们的模型不需要词素标注, 将字母一个个输入模型就可以。同Dos Santosand Zadrozny 2014比较, 我们的模型不需要word-embedding, 只需要char