Artificial Intelligence NLP: 1 Graduate University , Chinese academy of Sciences. 人工智能人工智能 Artificial Intelligence The Principles of AI-Wang Wenjie NLP: 2 Graduate School , Chinese academy of Sciences. Fall 2004 自然语言理解自然语言理解 Artificial Intelligence NLP: 3 Graduate University , Chinese academy of Sciences. 本章主要内容 自然语言理解的一般问题自然语言理解的一般问题 词法分析词法分析 句法分析句法分析 语义分析语义分析 大规模真实文本的处理大规模真实文本的处理 Web信息抽取 Artificial Intelligence NLP: 4 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题(1)(1) 自然语言自然语言 自然语言：人类交流的语言自然语言：人类交流的语言, ,口语口语、书面语书面语、手语手语、 旗语等旗语等 人造语言：机器语言人造语言：机器语言，包括包括C+,C+, BASICBASIC等等 世界语世界语 到目前为止的人类知识有到目前为止的人类知识有80%80%以上使用自然语言文字记载下来的。以上使用自然语言文字记载下来的。 但将来，可能用计算机语言形式记载的知识将会越来越多。因此说但将来，可能用计算机语言形式记载的知识将会越来越多。因此说 ，语言信息处理技术和每年所处理的信息总量已成为衡量一个国家，语言信息处理技术和每年所处理的信息总量已成为衡量一个国家 现代化水平的重要标志之一。现代化水平的重要标志之一。 相比较人工智能其它领域，自然语言理解是难度大，进展小的。至相比较人工智能其它领域，自然语言理解是难度大，进展小的。至 今为止未能达到很高的水平。今为止未能达到很高的水平。 Artificial Intelligence NLP: 5 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (2)2) 什么是“自然语言理解”？ 与“智能”一样，存在各种各样的理解和解释。 利用计算机对自然语言进行理解 自然语言“理解”的准则： 给计算机输入一段自然语言文本，如果计算机能 问答(question-answering)机器能正确地回答输入 文本中的有关 问题； 文摘生成(summarizing)机器有能力产生输入文本 的摘要； 释义(paraphrase)机器用不同的词语和语句复述输入文本； 翻译(translation)机器把一种语言(源语言)翻译为 另一种语言( 目标语言) Artificial Intelligence NLP: 6 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (3)3) 自然语言理解自然语言理解 自然语言理解是语言信息处理技术的一个高层次的重要自然语言理解是语言信息处理技术的一个高层次的重要 方向。是人工智能领域关注的核心问题之一。方向。是人工智能领域关注的核心问题之一。 自然语言理解的困难原因：自然语言理解的困难原因： 目标表示的复杂性目标表示的复杂性 映射类型的多样性映射类型的多样性 源表示中各元素间交互程度的差异性源表示中各元素间交互程度的差异性 Artificial Intelligence NLP: 7 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (4)4) 语言学的研究语言学的研究 自然语言理解是哲学自然语言理解是哲学( (philosophy)philosophy)，语言学语言学( (linguistics), linguistics), 语言心理学语言心理学( (psycholinguistics), psycholinguistics), 认知科学认知科学( (cognitive cognitive science), science), 计算机科学计算机科学( (computer science)computer science)，数学数学 ( (mathematics)mathematics)，逻辑学逻辑学( (logic)logic)及相关学科发展和结合而及相关学科发展和结合而 形成的一门交叉学科。形成的一门交叉学科。 Artificial Intelligence NLP: 8 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (5)5) 语言学的研究语言学的研究 语言学家：只关心词组成短语语言学家：只关心词组成短语，短语组成句子短语组成句子，句法如何句法如何。即语言即语言 理论理论 哲学家：词怎么能表示万物万事哲学家：词怎么能表示万物万事。如何用词来描述如何用词来描述。 心理学家：语言产生的机制心理学家：语言产生的机制，人怎么能理解句子的意思人怎么能理解句子的意思。神经网络神经网络 。 计算语言学家：用数据结构计算语言学家：用数据结构、数学模型把哲学数学模型把哲学、心理学心理学、语言学等语言学等 语言分科的知识进行表示语言分科的知识进行表示，用恰当的算法识别句子的结构用恰当的算法识别句子的结构，完成自完成自 然语言相关的各项任务然语言相关的各项任务。 Artificial Intelligence NLP: 9 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (6)6) 语言学的研究理解的层次语言学的研究理解的层次 语音分析：找出最小可独立的声音单元语音分析：找出最小可独立的声音单元-音素音素 词法分析：找出词汇的各个词素词法分析：找出词汇的各个词素（词根词根），从中获得语从中获得语 言学信息言学信息 例：我们研究所有东西例：我们研究所有东西; ;把手放在桌上把手放在桌上 我们我们-研究所研究所-有有-东西东西 （交叉歧义交叉歧义） 我们我们-研究研究-所有所有-东西东西 把把-手手-放在放在-桌上桌上 （组合歧义组合歧义） 把手把手-放在放在-桌上桌上 Artificial Intelligence NLP: 10 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (7)7) 语言学的研究理解的层次语言学的研究理解的层次 句法分析：对句子和短语的结构进行分析句法分析：对句子和短语的结构进行分析，找出词找出词、短短 语等的相互关系以及各自在句子中的作用等语等的相互关系以及各自在句子中的作用等。在语言自在语言自 动处理的研究中动处理的研究中，句法分析的研究是最为集中的句法分析的研究是最为集中的，这与这与 乔姆斯基乔姆斯基（ChomskyChomsky）的贡献是分不开的的贡献是分不开的。主要方法有主要方法有 ：短语结构语法：短语结构语法、格语法格语法、扩充转移网络扩充转移网络、功能语法等功能语法等 。 语法分析：将单词之间的线性次序变换成一个显示单词语法分析：将单词之间的线性次序变换成一个显示单词 如何与其它单词相关联的结构如何与其它单词相关联的结构。确定语句是否合乎语法确定语句是否合乎语法 Artificial Intelligence NLP: 11 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (8)8) 语言学的研究理解的层次语言学的研究理解的层次 语义分析：通过分析找出词义语义分析：通过分析找出词义，结构意义及其结合意义结构意义及其结合意义，从而确定从而确定 语言所表达的真正语言所表达的真正（实际实际）含义或概念含义或概念。在语言自动理解中在语言自动理解中，语义语义 越来越成为一个重要的研究内容越来越成为一个重要的研究内容。（尤其是对话系统尤其是对话系统） 你打我你打我 我打你我打你 语用分析：研究语言所在的外界环境对语言使用所产生的影响语用分析：研究语言所在的外界环境对语言使用所产生的影响。描描 述语言的环境知识述语言的环境知识、语言与语言使用者在某个给定语言环境中的关语言与语言使用者在某个给定语言环境中的关 系系。为确定真正含义为确定真正含义，对表达的结构重新加以解释对表达的结构重新加以解释。（故宫故宫、一块一块 ） Artificial Intelligence NLP: 12 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (9)9) 研究目标研究目标 建立一个足够精确的语言数学模型使计算机通过编程来建立一个足够精确的语言数学模型使计算机通过编程来 完成自然语言的相关任务。如：听、读、写、说，释义完成自然语言的相关任务。如：听、读、写、说，释义 ，翻译，回答问题等。通过语言索取信息，由此能力则，翻译，回答问题等。通过语言索取信息，由此能力则 说明该系统对语言已理解了说明该系统对语言已理解了 。 Artificial Intelligence NLP: 13 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (10)10) 自然语言的层次划分及对应技术自然语言的层次划分及对应技术 理论理论 层次结构层次结构 实现技术实现技术 模板匹配、基于规则模板匹配、基于规则 语音语音 模式匹配模式匹配 基于词素、词汇基于词素、词汇 词汇词汇 词典结构词典结构 转换生成、词汇功能语法转换生成、词汇功能语法 语法语法 扩 展 转 移 网 络扩 展 转 移 网 络 ( (ATN),CFATN),CF规则规则 格语法、语义基元理论、模型理论格语法、语义基元理论、模型理论 语义语义 产生式规则产生式规则、概念相概念相 依理论依理论、脚本脚本、框架框架 、语义网络语义网络、逻辑逻辑 基于记忆的推理、语言行为理论、基于记忆的推理、语言行为理论、 篇章语法篇章语法 语用语用 Artificial Intelligence NLP: 14 Graduate University , Chinese academy of Sciences. 自然语言理解的一般问题自然语言理解的一般问题( (11)11) 应用应用 机器翻译或机器辅助翻译机器翻译或机器辅助翻译。 文本理解：将输入文本转换成某种数据库格式文本理解：将输入文本转换成某种数据库格式。