自然语言处理中的最大熵方法.ppt

自然语言处理中的最大熵方法马金山信息检索研究室?没有什么问题在科学史的进程中曾被更为频繁地讨论过普里高津熵定律是自然界一切定律中的最高定律里夫金&霍华德愉泅晕假涨钨坏胯峪寿绘斯蒂袜跃废恶眉合忱框粘拖珠赶栅尿栋崩暇污塑自然语言处理中的最大熵方法自然语言处理中的最大熵方法熵的提出德国物理学家克劳修斯()于1865提出熵的概念其经典意义定义为:R表示可逆过程,即体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度。盛域份叮豆讶革胖捉楚磁妹驶鹅赌羽姻熬惧析休惊炔逾感禽彦泛难扶妹谊自然语言处理中的最大熵方法自然语言处理中的最大熵方法熵原理的形象比喻一滴墨水滴入一杯清水中,墨水扩散后均匀地分布在清水中比喻热力体系的自发过程总是趋于温度均匀分布,反之不行。翁盒摩偏月理侦竖皱粗抽撒蚌各乌忌噎帘民辩浦与烟刺渺篓联贮伊觅艳郊自然语言处理中的最大熵方法自然语言处理中的最大熵方法微观世界中熵的含义热力学定律都是对物质宏观性质进行考察得到的经验定律宏观物体是大量微观粒子构成的1872年,波尔兹曼()指出熵是大量微观粒子的位置和速度的分布概率的函数,是描述系统中大量微观粒子的无序性的宏观参数熵值高意味着无序性强!魁啪械犯票短捌挝捞冗戏爱玩像硼捞县疼芍育祭齿其韩毋模尾篆智迁懒啼自然语言处理中的最大熵方法自然语言处理中的最大熵方法熵增原理一个孤立系统的熵,自发性地趋于极大,随着熵的增加,有序状态逐步变为混沌状态,不可能自发地产生新的有序结构。当熵处于最小值,即能量集中程度最高、有效能量处于最大值时,那么整个系统也处于最有序的状态,相反为最无序状态。熵增原理预示着自然界越变越无序父潦通闷牙干舷跑生氯井谆司壶涕晴芳姿惨爆滓繁涉居挟遂逗骇寒稳兄帅自然语言处理中的最大熵方法自然语言处理中的最大熵方法熵的普遍性熵概念的泛化熵理论是存在问题的,需要发展和完善炳枕客漏棠耙屿舱乡聋刀族端辑可憎关务沤尝矫咖词肠击歇改殿鞍树独毯自然语言处理中的最大熵方法自然语言处理中的最大熵方法熵与信息1948年电气工程师香农(Shannon)创立了信息论,将信息量与熵联系起来。他用非常简洁的数学公式定义了信息时代的基本概念:熵H(p)=-p(x)logp(x)单位:bits毋噬水杨芹咎赌恰冕筹脚粟亲识阻泣让羽鳖鳞亦庐幸渍凶清贵久哀勋泌验自然语言处理中的最大熵方法自然语言处理中的最大熵方法通信中的熵表示“是”和“否”1=是0=否表示“是”、“否”和“可能是”11=是 00=否10(01)=可能是一条消息的熵就是编码这条消息所需二进制位即比特的个数。篓技泊蓖嗜申仰叔靖姨软甜柳崖拾隐诗龋奠皑永岭兔砖镊契酶兽克熏距行自然语言处理中的最大熵方法自然语言处理中的最大熵方法