统计与词典相结合的领域自适应中文分词 张梅山.docx

统计与词典相结合的领域自适应中文分词_张梅山卷年第月!第!"期中文信息学报!CDE8(FG!D,)’H(IJI!!H(,D8KFLHD(!A8D)IJJH(M!#$!%K.-B!#$!文章编号"$##%>##==#!#$!$#!>###&>#*统计与词典相结合的领域自适应中文分词张梅山邓知龙车万翔刘挺社会计算与信息检索研究中心黑龙江哈尔滨!"哈尔滨工业大学计算机学院!!!%!摘#!!相比分词训练语料$要基于统计的中文分词方法由于训练语料领域的限制导致其领域自适应性能力较差$*###$领域词典的获取要容易许多而且能为分词提供丰富的领域信息该文通过将词典信息以特征的方式融入到统计#)8,$%!分词模型该文使用!%域自适应能力%当测试领域和训练领域相同时分词的,>/-0值提升了当测试领域和训练领域不同时!分词的"值提升了"e!!e&,>/-0关键词中文分词%"F中图分类号)8,文献标识码0!;!!!3!!!!!,G<1212&*4*16*1847(,-)742-518*1,24/.,/5,G412’-4*1,2,.#!+12)6)!H,/-!&)0G)2*4*1,2![’F(M!******@.5!SI(M![***@4325Q!)’I!:.!GHE!L45Q"!8090.-T@!)0510-!P2-!!)2/RZ145Q!.5O!H5P2-/.1425!801-40\.3’.-;45!H59141Z10!2P!******@5232QV!’.-;45!’04325Q^!$*###$!)***@45.$’<6*/48*M050-.!/******@2O9!P2-!)***@45090!:2-O!J0Q/!O25X1!***@.\0!Q22O!O2/.45!..;4341V!2a45Q12!******@0!90TR4P4T!1-.4545Q!T2-RZ9BH5!R-.T14T0!O2/.45!O4T1425.-409!.-0!/2-0!!.******@40\0O!******@.5!***@Z/.53V!.!T2-RZ9!.5O!41!!R3051V!2P!O2/.45!45P2-/.1425B:0!R-2R290!.5!.RR-@!******@4T@!4510Q-.109O4T1425.-V45!P2-/.1425!4512!!/2O0394B0B)8,!/2O03!45!******@49!-12!-?0!O2/.45!.!P2-!)***@45090:2-O!J0Q/-4/!-09Z319!******@2a!******@.1!2Z-!.RR-@!***@.\0!Q22O!O2/.45!.:***@05!******@0!1091!T2-RZ949!!12!******@0!O2/.45!2P!1-.4545Q!T2-RZ9!******@0!,>/-0!\.3Z0!45T-!!e&******@05!1091!T2-RZ9!49!45!.O4!PP0-051O2/.45!2P!******@0!1-.4545Q!T2-RZ9!******@0!,/0>.9Z-0!\.3Z0!45T-!"eB=)>,/-6")***@45090a2-&)8,&O