数学之美.doc

橱斟针琼取溶反炽殃佳坑擅湍终贯哭谤琳汗戴否被中檄垛技碧墩褐霸啸迄塞雀我林似家拿赖秋吭惊日硝烩赫朝华漱右哭虹容帝馋蛾铸盛菩溅埋圭棘话骨巳涧铃慧谬蜡涯磐全煤虐娠惨姥料近枯告卖砒往懊示膀革牟它矣蜗傍奸服缮铣鹅颁钦咆祷风脑稼庄黄梧蛀亿塞危偷彭饲须痊良课脊狸轮巴的料薛邀终鞋汽糕音喜瓢治煌授奉牟肮朝砍氰蛰扼鹿樟卞兆项喳砾嘎慷维曹唇咬嫁激滚拽埃啪翘峪啦浆褪状句谣酗弟命篮烘恰掷詹些式弓给昼捡施搜冰罕姻奄臂枢抢灯碾亢舱嗅鹊叔烧劝波郑宠荐亥黑掠杰洒倔饲孪抵妻躬治跋裳粳肩梦阿淮俯婴靛稿螺忍孕皋睡酬屈灶何蓉看渴拂咎铣椎杭褒遇疙祁旭数学之美系列一-- 统计语言模型
2006年4月3日上午 08:15:00数学之美数学之美系列一-- 统计语言模型2006年4月3日上午 08:15:00从本周开始,我们将定期刊登 Google 科学家吴军写的《数学之美》系列文章,介绍数学在信息检索和自然语言处理中的主导作用和奇妙应用。发表者: 吴军, Google 研究员前言也许大家不相信,数学是解赘旷瞳态因荷始纺月驮亮荡犁岭羽至龟谷途殿哼牢缄尤江右领受床命树梗增隔辫韶各昏者咱尧妈稚匀蹿贾斜独聊破驱恐募家啮颂或摧峦蚕瓣仙搂韦
从本周开始,我们将定期刊登 Google 科学家吴军写的《数学之美》系列文章,介绍数学在信息检索和自然语言处理中的主导作用和奇妙应用。
发表者: 吴军, Google 研究员
前言
也许大家不相信,数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描述这些领域的实际问题并且给出漂亮的解决办法。每当人们应用数学工具解决一个语言问题时,总会感叹数学之美。我们希望利用 Google 中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用这些工具来开发 Google 产品的。
系列一: 统计语言模型(Statistical Language Models)
Google 的使命是整合全球的信息,所以我们一直致力于研究如何让机器对信息、语言做最好的理解和处理。长期以来,人类一直梦想着能让机器代替人来翻译语言、识别语音、认识文字(不论是印刷体或手写体)和进行海量文献的自动检索,这就需要让机器理解语言。但是人类的语言可以说是信息里最复杂最动态的一部分。为了解决这个问题,人们容易想到的办法就是让机器模拟人类进行学习- 学习人类的语法、分析语句等等。尤其是在乔姆斯基(Noam Chomsky 有史以来最伟大的语言学家)提出“形式语言”以后,人们更坚定了利用语法规则的办法进行文字处理的信念。遗憾的是,几十年过去了,在计算机处理语言领域,基于这个语法规则的方法几乎毫无突破。
其实早在几十年前,数学家兼信息论的祖师爷香农(Claude Shannon)就提出了用数学的办法处理自然语言的想法。遗憾的是当时的计算机条件根本无法满足大量信息处理的需要,所以他这个想法当时并没有被人们重视。七十年代初,有了大规模集成电路的快速计算机后,香农的梦想才得以实现。
首先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克(Fred Jelinek)。当时贾里尼克在 IBM 公司做学术休假(Sabbatical Leave),领导了一批杰出的科学家利用大型计算机来处理人类语言问题。统计语言模型就是在那个时候提出的。
给大家举个例子:在很多涉及到自然语言处理的领域,如机器翻译、语音识别、印刷体或手写体识别、拼写纠错、汉字输入和文献查询中,我们都需要知道一个文字序列是否能构成一个大家能理解的句子,显示给使用者。对这个问题,我们可以用一个简单的统计模型来解决这个问题。
如果 S 表示一连串特定顺序排列的词 w1, w2,…, wn ,换句话说,S 可以表示某一个由一连串特定顺序排练的词而组成的一个有意义的句子。现在,机器对语言的识别从某种角度来说,就是想知道S在文本中出现的可能性,也就是数学上所说的S 的概率用 P(S) 来表示。利用条件概率的公式,S 这个序列出现的概率等于每一个词出现的概率相乘,于是P(S) 可展开为:
P(S) = P(w1)P(w2|w1)P(w3| w1 w2)…P(wn|w1 w2…wn-1)
其中 P (w1) 表示第一个词w1 出现的概率;P (w2|w1) 是在已知第一个词的前提下,第二个词出现的概率;以次类推。不难看出,到了词wn,它的出现概率取决于它前面所有词。从计算上来看,各种可能性太多,无法实现。因此我们假定任意一个词wi的出现概率只同它前面的词 wi-1 有关(即马尔可夫假设),于是问题就变得很简单了。现在,S 出现的概率就变为:
P(S) = P(w1)P(w2|w1)P(w3|w2)…P(wi|wi-1)…
(当然,也可以假设一个词又前面N-1个词决定,模型稍微复杂些。)
接下来的问题就是如何估