基于统计的中文词自动分类研究.doc

Forpersonaluseonlyinstudyandresearch;mercialuse衿薇蒈基于统计的中文词自动分类研究袄节螇*973国家重点基础研究工程羇莂螂智能技术与系统国家重点实验室清华大学计算机系100084蚁螇薈E-mail:******@:010-62782266b5E2RGbCAP蚆蒂膈一、引言肂葿薅基于统计的中文词分类在自然语言处理领域有着重要的应用。机器自动生成的词类可以取代文法的词类;在分类基础上建立的基于类的语言模型可以应用于语音识别、OCR、汉字智能输入等许多领域。众所周知,基于词的语言模型在自然语言处理的许多方面取得了巨大的成功。然而,基于词的语言模型也存在着许多的问题,如参数空间庞大,训练数据不足,数据稀疏等。词的分类可以在一定程度上解决上述问题。在计算语言学方面的应用中,不管是采用统计的方法,还是采用文法的方法,对词类进行处理都比对单个的词进行处理时问题的复杂度要小得多。我们用基于类的语言模型取代基于词的语言模型,可以减小模型的参数空间,减少系统对存储空间的要求。从而可以在小型的系统如掌上电脑、移动电话上建立基于类的语言模型,实现智能输入等。p1EanqFDPw蒅薂薁词的分类是建立基于类的语言模型的基础。无论是针对中文,还是别的语言,人们对词的类算法已经做了许多的研究。DXDiTa9E3d膈羆蚈Brown等人提出了两个词的自动分类算法。在他们实现的两个分类算法中,都是利用平均互信息作为评价函数。算法I.(1>首先将每一个词都当成一个单独的类,然后计算所有相邻类的互信息;(2>将互信息损失最少的两个类合并;(3>经过V-C次合并得到C个类;(4>在得到C个类以后,把词汇表中的每一个词移到一个使得平均互信息最大的类中,重复该步骤直到互信息不再增加为止。然而,他们认为,当词汇表的大小超过5,000时,这个算法是不可行的。,(1>将C个频度最高的词作为C个单独的类;(2>将未被分配的词中频度最高的一个词作为第C+1类,然后将这C+1个类中互信息损失最wenjian-3少的两个类合并;(3>经过V-C步后,词汇表中的V个词被分成C个类。用这个方法,一个有260,741个英文单词的词表被分成了1,000类。RTCrpUDGiT芃蚂芅Chang和Chen在他们的论文中,以混乱度作为全局最优评价函数,提出了一个模拟退火的词分类算法:(1>初始化:将每个词随机分配到一个类中,类的总数是事先定义好的。(2>移动:随机地选取一个词,将该词重新分配到一个随机选取的类中。(3>接受或者返回:如果混乱度的改变在控制的范围之内,则接受新的分配,否则,撤销刚才2的操作。(4>循环:重复上述两个步骤,直到混乱度收敛为止。该算法试图找出一个全局最优的分类方案,但是在训练集比较大的时候,算法的时间复杂度太大。5PCzVD7HxA蕿蚈肃Gao和Chen提出了一个自顶向下的二叉树分裂的方法,他们利用词的上下文的方向性,同时得到两个分类二叉树。McMahon在他的论文中,提出了一个类似退火的分类算法。李涓子在她的博士论文中,提出了一种聚类的算法。她认为聚类过程主要由三个部分组成:聚类时词分布的描述方法,聚类采用的控制策略以及控制聚类过程的目标函数。她在聚类时是采用自顶向下的方法,词的分布信息用的是词的二元同现关系,利用信息论中的熵作为聚类时的目标函数。jLBHrnAILg芆螂芀上面描述的自顶向下分裂的方法和从下而上合并的方法,两者具有一定的互补性。在自顶向下的方法中,上层的失误在下层是无法纠正的,而且下层的分类结果精确度较低。因此,在本文中,我们采用自顶向下分裂和从下而上合并相结合的方法。我们使用平均互信息作为分类的全局评估函数,分类过程分为两个步骤,首先,我们采用合并的方法将词表中的一些词聚在一起,形成一些小的词类。在第二个阶段,我们把第一步得到的词类作为一个单独的词来加以考虑,然后采用自顶向下的方法,对整个词表进行分类。在实际的工作中,我们首先对大规模语料文本进行了统计和计算工作,得到词的一元和二元信息,在这个基础上,我们进行了词的分类。xHAQX74J0X羀膆螈我们对实现的系统进行了一系列实验,实验结果是令人满意的。肅袂蚆本文第二节介绍了我们采用的分类算法,第三节给出了分类的结果及其在基于类的语言模型中的应用,第四节给出了我们的一些结论。LDAYtRyKfE莁袈螄二、中文词分类算法螄袁莃<一)互信息的计算公式螂芆螈词分类算法的实现跟采用的评价函数密切相关。本文采用平均互信息作为全局评价函数对汉字进行分类。根据信息学原理,熵的定义如下:Zzz6ZB2Ltk袇羁肇罿羈膂其中是一个离散的随机变量,其概率分布为p(x>,。熵是