(
课件网) 第五节 让机器能理解会思考 学习目标 了解自然语言处理技术的基本概念 理解自然语言处理技术的基本方法 探讨自然语言处理技术的应用案例 新知讲解 什么是自然语言处理技术？这一技术跟前面所学的智能语音技术有什么关联？ 自然语言处理（Natural Language Processing，NLP）是指利用计算机对人类特有的书面形式和口头形式的自然语言进行各种处理和加工。语音识别技术可以将语音转换为文字，让机器“听见”我们说的话。 本节学习的自然语言处理技术要解决语音识别中遇到的同音字词、词语歧义、方言、口音、噪声等问题，试图让机器“听懂”我们说话。在实际应用中，我们经常将智能语音技术和自然语言处理技术结合应用，实现人机对话、机器翻译等应用。 新知讲解 语言是具有特定语法结构的指令，通过它能够实现人与人之间、机器与机器之间、甚至人与机器之间的信息传递。人类日常沟通的语言是自然演化而来的，通常称之为自然语言，普通话、方言皆是自然语言。 认识自然语言处理 新知讲解 要用自然语言与计算机交流，计算机既要理解自然语言的含义，也要用自然语言来表达意图和思想。前者称为自然语言理解技术，后者称为自然语言生成技术。 认识自然语言处理 新知讲解 机器翻译技术就是自然语言处理技术中的一种，它能让计算机把一种语言翻译为另外一种语言。在机器翻译过程中，计算机首先需要理解输入句子的含义，然后根据含义进行翻译，并根据翻译结果生成另外一种语言的句子。如果添加语音识别和语音合成功能，就可以实现口语翻译（口译）。 认识自然语言处理 新知讲解 如图2-5-1展示了口译过程。它首先利用语音识别技术将口语转换成句子，然后再利用机器翻译技术把句子翻译成其他语言的语句，最后再利用语音合成技术把翻译结果朗读出来。 认识自然语言处理 图2-5-1 口译过程 新知讲解 语音 语音识别 机器翻译 语音合成 另外一种语言 文本 另外一种语言的文本 请同学们上网查找一个机器翻译平台，将下表中的英文翻译为中文，中文翻译为英文。 认识自然语言处理 表2-5-1 利用机器翻译平台翻译语句 语句 翻译结果 他既不喜欢游泳，也不喜欢跑步。 He likes neither swimming nor running. He likes neither swimming nor running. 他既不喜欢游泳，也不喜欢跑步。 新知讲解 我们以中文为例，讲述与自然语言理解相关的基本技术、过程和方法。在自然语言理解中，主要的任务包括自动分词、词性标注、句法分析、语义分析等任务。 自动分词是指找出句子中的单词。 词性标注是获得每个词的词性。 句法分析的目的是分析句子的语法功能。 语义分析的目的是理解句子中词的含义。 自然语言处理的基本方法 新知讲解 1.自动分词 词是最小的能够独立运用的语言单位，自然语言处理是以词为单位进行书面语言的处理。中文句子由词组成，一个词既可以是一个汉字，也可以是多个汉字。让计算机判断出句子中的词的过程叫自动分词，它是自然语言处理的基础。 自然语言处理的基本方法 新知讲解 以“少先队员应邀到北京天安门广场看升旗”为例，分词的输入是一整个句子；分词的输出则是用分界符，比如“/”或者“│”分割的一串词：少先队员/应邀/到/北京/天安门广场/看/升旗。如何让计算机自动分词呢？最简单的办法就是“查字典”。 自然语言处理的基本方法 新知讲解 “查字典”的方法，就是把一个句子从左向右扫描一遍，遇到字典里有的词就标识出来，遇到复合词（比如“北京大学”）就找最长的词匹配，遇到不认识的字串就分割成单字词，这样就完成了简单的分词任务。 自然语言处理的基本方法 新知讲解 “查字典”的方法可以解决大部分简单的分词问题。但是，当遇到稍微复杂一点的问 ... ...
