全信息理论与中文信息处理课程设计.ppt

全信息理论与中文信息处理课程设计.ppt全信息理论与中文信息处理钟义信智能科学技术研究中心北京邮电大学2006-8-******@Date1一,问题的提出Date3中文信息(自然语言)处理的重大社会需求1,人际交往--多种语言的存在--全球交往的进程--学习语言的困难--机器翻译的前景2,人机合作--人类操作能力的局限--机器工作性能的威力--机器认知能力的潜力--人机能力的天然互补Date4中文信息(自然语言)处理的核心目标表面上看,“中文信息处理”研究工作的着眼点和落脚点应是中文信息的“处理”–如词语切分,词形标注,语句分析,专名识别,词语消岐,等等。实质上看,研究工作的目标是“使机器能够在一定程度上理解中文信息”,或对中文信息实现一定认知。无论从“人际通信”还是“人机合作”的需求来看,处理都是手段,理解(认知)才是目的。Date5自然语言“理解”与人工智能1,智能的核心是思维;语言是思维的表达;因此语言也是智能的表达。2,理解(认知),是智能的内核;因此自然语言理解是人工智能的基本研究方向。3,自然语言理解本质上是人工智能、信息科学、认知科学和语言学的交叉科学。4,自然语言理解系统本质上是一类智能系统。Date6智能系统的核心机制:信息-知识-智能转换需求/约束信息获取信息执行信息传递信息传递预处理决策本体信息智能策略智能行为目标认知知识感觉器官传导系统思维器官效应器官传导系统有序信息知识库需求/约束实得信息Date7信息-知识-智能转换:自然语言理解通用方法论智能行为信息-知识转换知识-智能转换信息知识转换知识库信息(问题与约束)结果(性能与评价)归纳归纳演绎目的Date8中文信息处理研究的现状中文信息处理研究领域取得了许多重要进展和重要成果;但基本理论、基础资源、基本工具、基本方法和性能水平离实际应用的要求还有相当差距。中文信息理解的研究基本上突破了纯粹语法分析的层次,正在走向语法与语义分析相结合的新阶段。但是,还少有语用要素的考虑:还没有真正到位。Date9统计方法(归纳)基于大数定律,方法论上是“从众”,不要求真正达到理解。是初级认知方法。缺点:假设难满足;结论平均性;真理常在少数人手中。优点:容易操作,尤其是有了计算和网络技术的支持。自然语言“机器认知”的两种基本方法两种方法性质互补,谁也不能单独包打天下。问题是如何实现“统计与规则方法的有效结合:大统计,小规则”。规则方法(演绎)基于理解和规则推理,是处理新问题和复杂问题不可避免的高级认知方法。缺点:规则难建立;规则难完备;规则不灵活。优点:可信(如果规则和前提均可信)Date10