Transcript 自然语言处理
第七章 信息组织中的自然语言 第一节 自然语言在信息组织中 的应用概述 一、自然语言的演化与发展 • 检索语言 – 广义而言，检索语言包括受控语言和自然语 言语言两类语言系统。 – 狭义而言，检索语言包括规范的受控语言。 检索语言的演化与发展 • 前信息检索阶段的自然语言 –原生态的自然语言是前信息检索阶段的原始的“检索 语言” 。 • 规范的受控语言 –如分类表、标题表、单元词表、叙词表、分类主题一 体化词表 。 • 受控语言向自然语言“回归” –自然语言的应用是以计算机为前提的; –在对词汇控制的科学性上、规范化程度上以及方法上 等方面的进步，使自然语言成为现代信息检索，尤其 是网络信息检索的主流保障语言。 检索系统中检索语言的应用变化 • 基于印刷型文献的手工检索 – 以受控语言（分类法、主题法）为主。 • 基于数据库的计算机检索 – 受控语言和自然语言结合。 • 基于网络的信息检索 – 以自然语言为主。 二、自然语言的优缺点 • 优点(VS受控语言) • 缺点(VS受控语言) • 结论 优点 • 可以降低标引难度及成本，从而提高标引速度 • 采用用户熟悉的自然语言，符合用户检索习惯， • • • 减少了概念转换中产生的失真现象，专指度强 由于自然语言标引检索多采用自动处理方式， 省略了编制词表和词汇的智力负担 自然语言标引检索入口词多，有利于提高检全 率 操作简单方便，灵活，比较适合没有专业知识 的广大网络用户使用等 缺点 • 由于自然语言对标引用词不加严格控制，必然 会形成非关键性词语的大量出现，影响检准率 的提高 • 由于不能反映概念词间的一一对应关系，也不 能反映概念关系的隐含性，无法排除同义词、 近义词、多义词等词间的模糊现象，势必也会 直接影响到检全率的提高 结 论 • 自然语言和受控语言都有各自独特的优点和缺 点，不能简单彼此替代，而应当相互补充、交 融 • 针对上述自然语言及其检索中存在的这些问题 – 一方面要依靠计算机技术和自然语言处理技术的突 破发展； – 另一方面受控语言的基本原理――对词汇的控制， 是永远不会被省略的，变化的只是词汇控制的方式、 方法和手段。 三、自然语言与自然语言处理 （一）自然语言处理 （二）自然语言在信息组织和检索中的应用 （一）自然语言处理 • 自然语言处理是自然语言得以应用所要解决的首 要的核心问题 • 自然语言处理是人工智能领域的一个重要分支， 它主要研究计算机对输入的自然语言文本的分析、 理解和生成，旨在建立人与计算机之间友好的交 流通道，实现更高层次的信息交互 • 自然语言处理（Natural Language Processing,简称 NLP）是实现自然语言理解的核心基础，是语言信 息处理的一个重要分支 • 自然语言处理追求的目标是计算机是如何来理解 一个句子和领会一个文档所要表述的意思 continued • 由于自然语言十分复杂，人是如何理解语言的， 也还是个谜，因此给“理解”下一个定义极其 困难 – 从信息处理的角度看，语言既然是信息的载体，如 果计算机实现了机器翻译、自动文摘以及人机会话 等语言信息处理功能，则认为计算机具备了理解自 然语言的能力。 • 自然语言处理的核心技术主要是解决自然语言 的歧义问题 – 关键问题：如何建立大规模知识库。 语言学上对语言的层次划分 • 第一层次 –语音和文字，即基本语言信号的构成。 • 第二层次 –词法和句法(合称“语法”)，即语言基本运用单位 的构成和组合的形式规律。 • 第三层次 –语义,即语言所要表达的概念结构。 • 第四层次 –语用,即语言与语言使用环境的相互作用。 自然语言处理研究内容的基础部分 • 语法分析(Syntactic Understanding) • 语义分析(Semantic Understanding) • 语用分析(Pragmatic Understanding) 例如：“汤姆给了玛丽一本大书。” 语法层分析 根据语言的语法，单词可以组成不同的 词组，词组可以包含不同的角色。 单词 角色 汤姆 人名 给 动词 玛丽 人名 一 冠词 大的 形容词 书 名词 等级表示语法结构 语义层分析 语义结构（句子各个部分之间的联系） 知识装饰下的丰富的语法结构 扩展的语义结构 计算机产生的语义结构 语境层分析 • 例1：“Could you turn the light on?” “语境语义”－－“Press the light switch.” “句子的语义”－－ “Are you capable of achieving to increase the amount of light?” （句子脱离语言环境，本身的所表示的语义） • 例2：“It is dark in here.” 语境语义－－“Light is weak here.” 句子语义－－“Press the light switch. ” 语义和语境含义之间的匹配 （二）自然语言在信息组织和检索中的应用 • 自然语言检索，从技术上讲，就是将自然语言 处理技术应用于信息检索系统的信息的组织、 标引和输出 • 具体地，汉语自动分词和自动标引、单汉字标 引、自动文摘、全文检索等都是自然语言在信 息组织和检索中的具体应用 –汉语的机械分词法、单汉字标引(未介入自然语言 理解的成分)。 –基于理解的自动标引技术、自动文摘技术(应用了 自然语言理解技术 )。 小结 • • • • 自然语言的演化 自然语言与受控语言的优缺点 自然语言理解 自然语言在信息组织和检索中的具体应 用有哪些 结束