4.2.3 文本数据处理 课件(共18张PPT）-2024-2025学年《信息技术》高中·必修 1 数据与计算（浙教版）

(课件网) 文本数据处理 1 文本数据处理的一般过程 中文分词 特征提取 4.2.3文本数据处理 2 文本数据分析与应用 标签云 文本情感分析 视频 标签云是文本可视化的一种方式。用词频代表文本特征，以文字大小代表词语的重要性。将文本中复杂的或者难以通过文字表达的内容和规律以视觉符号的形式表达出来，使人们能利用视觉感知能力快速获取文本数据中蕴含的关键信息。 标签云概念 数据分析 结果呈现 一、文本数据处理的一般过程 文本数据 文本数据 中文分词 中文分词 特征提取 特征提取 数据分析 数据分析 一、文本数据处理的一般过程 文本数据 文本数据 中文分词 特征提取 数据分析 结果呈现 一、文本数据处理的一般过程 文本数据 文本数据 中文分词 特征提取 数据分析 结果呈现 文化 自信 是 基础 ， 道路 自信 、 理论 自信 、 制度 自信 ， 是 文化 自信 的 具体 表现 。 词语 文化 自信 是 基础 道路 理论 制度 的 具体 表现 、 ， 。 中文分词 一、文本数据处理的一般过程 文本数据 文本数据 中文分词 特征提取 数据分析 结果呈现 中文分词 1.基于词典 2.基于统计 3.基于规则 1.基于词典的分词方法 分析句子时与词典中词语进行对比，词典中存在则划分为词。 2.基于统计的分词方法 依据上下文相邻字出现的频率统计，频率越高则越可能是词。 3.基于规则的分词方法 让计算机模拟人的理解方式，学习大量资料后，达到分词效果。 一、文本数据处理的一般过程 文本数据 文本数据 中文分词 特征提取 数据分析 结果呈现 中文分词 特征提取 词语 词频 文化 2 自信 5 是 2 基础 1 道路 1 理论 1 制度 1 的 1 具体 1 表现 1 、 2 ， 2 。 1 文化自信是基础，道路自信、理论自信、制度自信，是文化自信的具体表现。 词语 词频 自信 5 文化 2 基础 1 道路 1 理论 1 制度 1 具体 1 表现 1 特征提取 将词作为特征项，通过特征提取获得最有代表性特征词，提高文本处理效率。 一、文本数据处理的一般过程 文本数据 文本数据 中文分词 特征提取 数据分析 结果呈现 中文分词 特征提取 数据分析 结果呈现 项目实践：探秘古诗词 唐诗宋词是中国文学史上的两颗明珠，我们从小到大背诵过很多诗词，但始终无法穷尽近5万首唐诗与2万多篇宋词。请制作古诗词标签云，探秘隐藏其中鲜为人知的信息。 项目实践：探秘古诗词 《全唐诗》 《全宋词》 二、文本数据分析与应用 文本情感分析： 通过计算机技术对文本的主观性、观点、极性进行挖掘和分析。主要应用于网络舆情监控、用户评论分析等领域。 二、文本数据分析与应用 ———文本情感分析 二、文本数据分析与应用 图1.网络游记时间特征的情感分析 二、文本数据分析与应用 图2.不同地区某手机品牌用户评论积极情感可视化 课堂小结 1.文本处理的一般过程 文本数据 文本数据 中文分词 特征提取 数据分析 结果呈现 中文分词 特征提取 数据分析 结果呈现 2.文本数据分析与应用 标签云的制作 文本情感分析 文本数据处理 谢谢聆听 ... ...