语料库语言学.ppt

语料库语言学提纲1什么是语料库􀂃2语料库的发展简史􀂃3语料库的设计􀂃4语料库的加工􀂃5语料库的应用语料库与语料库语言学传统上认为语料库就是存放语言材料的仓库(或数据库)。语料库语言学主要包括两方面的内容:一是对自然语料进行加工、标注;二是用已经标注好的语料进行语言研究和应用开发。1什么是语料库在今天,仅仅将语料库视为存放语言材料的仓库,是令人无法忍受的观点。新一代的兆亿级的大规模语料库可以作为语言模型的训练和测试手段,来评价一个语言模型的质量;此外,诸如困惑度之类的统计方法也可利用语料库来评估一个语法模型对语料的解释能力。——GeoffreyLeech,TheStateofTheArtinCorpusLinguistics,1991,InAijmar,,B.,eds.,EnglishCorpusLinguistics:StudiesinHonorofJanSvartvik,London:Longman,;􀂄;􀂄(分析和处理),才能成为有用的资源;语料库示例(一)北京大学计算语言所富士通人民日报标注语料库样例:历史/n将/d铭记/v这个/r坐标/n:/w北纬/、/w东经/;/w人们/n将/d铭记/v这/r一/m时刻/n:/w1998年/t1月/t10日/t11时/t50分/t。/w……[中国/ns政府/n]nt顺利/ad恢复/v对/p香港/ns行使/v主权/n,/w并/c按照/p“/w一国两制/j”/w、/w“/w港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。/w语料库示例(二)London-Lund英语口语语料库样例^whata_boutacigar\ette#./*((4sylls))*/*I^w\on'h/anks#*---/^aren'#-/^[/\m]#-/^havemy_coffeeinp=eace#---/^!s\itin((actually))#/*^\isn't*it#/*^y/\es#*---/转引自TonyMcEnery&AndrewWilson,1996,CorpusLinguistics,p55。语料库与语言知识库语言知识库(LinguisticDatabase)语料库(corpora/corpus)2语料库发展简史早期语料库语言学(20世纪50年代中期以前,乔提出转换生成语法理论之前的所有基于语言材料的语言研究)(语言习得:方言学;语言教学;句法和语义;音系研究)20世纪50年代Chomsky的影响(,提倡理性主义;,短语结构具有递归性)第一代(1970-80年代)􀂄第二代(1980-90年代)􀂄第三代(1990年代-)第一代语料库Brown语料库􀂄LOB语料库百万词级以语言研究为导向􀂄LLC语料库