基于词典的中文分词技术研究.pdf

基于词典的中文分词技术研究
摘要
随着现代信息技术的发展，自动分词技术已经广泛应用在信息检索、信息
抽取、机器翻译、语音合成等自然语言处理领域，同时结合中文文本的特点，
自动分词技术的研究已经成为中文信息处理的一项基础性课题。
中文分词技术主要研究将待处理文本利用分词算法切分成词，便于计算机
对文本信息进行处理、理解和传递。在实现分词的过程中，主要难点是歧义处
理和未登录词识别。本文结合现有相关分词技术理论与实现的方法，通过最大
匹配算法与词频统计算法的结合，对中文文本分词技术进行深入研究与实践。
本文在传统单一词典基础上，将其分为特征词典和基本词词典两部分，优
化分词词典中对于词条的存储结构；采用双字哈希索引结构，将词典中的词按
前两个字为索引关键字进行存储，提高匹配查找的速度和准确率；增加对姓名、
专属名词、地名和数量词切分准确性，提高分词系统的性能指标。同时，在分
词算法上，主要采用正向与反向最大匹配分词结合的双向分词，将双向匹配所
产生的歧义字段应用词频信息进行判断，完成对词语间歧义和未登录词的处理。
采用 C#作为开发工具，在分词结果中，实现对存在严重歧义的短语和段落
无明显歧义字段；通过对比实验，分词准确性优于单一使用最大正向匹配的分
词算法。

关键词 中文分词；最大匹配方法；分词词典；歧义处理；词频统计
Research on word Segmentation
based on dictionary
Abstract
With the development of modern information technology, Chinese word
segmentation technology is already widely used in information retrieval, information
extraction, machine translation, speech synthesis and other natural language
processing field, and combined with the characteristics of the Chinese-text,
automatic word segmentation technology has become a basic issue of information
processing.
Chinese word segmentation technology meets major problem is dealing with the
texts are cut into the use of the word segmentation by algorithm, in order to desolve
the computer processing of text-information, understanding and delivery process. In
the realization of the process of sub-word faces many difficults which are the
ambiguity and the unknown word processing. The article related to sub-word with
the existing technology theory and implementation methods, through the maximum
matching algorithm and a combination of statistical algorithms frequency get the
Chinese version of the word knowledge in-depth study and practice.
Based on the analysis of automatic word segmentation and difficulty, in order
to reduce ambiguity and improve the word accuracy rate, with a dicti