第3单元 第3课 《文本与图像的多模态模型》 课件＋素材 清华大学版 信息科技 八年级下册

(课件网) 第3单元 第3课 文本与图像的多模态模型 （清华大学版）八年级 下 1 核心素养目标 3 新知讲解 5 拓展延伸 7 板书设计 2 新知导入 4 课堂练习 6 课堂总结 课后作业 8 01 核心素养目标 信息意识 计算思维 数字化学习与创新 信息社会责任 合理使用多模态模型生成图像，树立信息安全意识，提高社会责任感。 通过多模态模型的学习过程，实现文本和图像的多模态数据的交互和生成，提高创新能力。 能够优化提示语创作生成符合需求的内容，掌握如何将文本和提示语转化为图像的形式，会设计和实现简单的多模态创作。 了解多模态问题的概念，明晰根据文本提示生成图像的过程，熟练掌握借助跨模态生成工具进行图像创作的过程。 02 新知导入 本课中你将学习： 什么是多模态问题 如何根据文本提示生成图像 如何优化提示语创作生成符合需求的内容 02 新知导入 人工智能生成工具如同魔术师，不仅能施展神奇的力量，将提示语瞬间变幻为鲜活生动的文本佳作，还能将文字描绘一键转化为栩如生的视觉场景。试着让我们的灵感与科技碰撞出绚烂的火花吧! 02 新知导入 03 新知讲解 一、多模态模型 人类生活在一个由多种信息构成的世界中。人类可以借助眼、耳、口、鼻、皮肤等获取外界信息，这些信息包括文字、图像、语音、视频等多种类型的数据。这些不同的数据类型可以理解为模态，不同模态的数据有着不同的表达方式和表征空间。当研究的问题需要同时处理两种或多种模态的信息时，我们将其称为多模态问题。 03 新知讲解 对于多模态问题，可以借助多模态模型解决，将来自不同模态的信息融合起来，以便在它们之间建立语义联系。以文本与图像的多模态模型为例，可以通过多种方式实现不同模态的融合。比如，可以从文本和图像中提取特征，然后将这些特征映射到一个共同的特征空间中，建立文本和图像之间的语义联系，从而实现文本和图像的多模态数据的交互和生成。 03 新知讲解 二、根据文本生成图像 建立起文本和图像的多模态模型之后，就可以实现涉及文本和图像的各种跨模态任务，比如根据文本生成图像、图文检索、看图说话、图像编辑等，这极大地延伸了生成式人工智能应用的广度。 03 新知讲解 1. 根据文本生成图像的过程 输人文字“一只在街上奔跑的柯基狗”，生成模型很快就会生成一张图像,如图 3.3.1所示，画面主角是一只柯基狗，背景是街道，姿态是在奔跑。可以发现，图像中的内容和文本的描述非常匹配，文本涉及的关键词都能满足。 03 新知讲解 采用同样的文本指令时，生成模型会源源不断地输出不同的图像，且都符合文本的描述，如图 3.3.2所示。 图3.3.2根据提示语“一只在街上奔跑的柯基狗”生成的系列图像 03 新知讲解 生成模型就好比是不同的创作者，听到相同的指令，但是会产生不同的创作表达。在创作的过程中，生成模型不但要理解指令中每一个词语的含义及其对应的影像，还要补全文本中没有涉及的可能的想象，如街道两侧是高楼林立的居民区，还是红红火火的商业街 柯基狗奔跑的姿态是双蹄腾空，还是左右蹄交替奔跑 这些信息在文本中都没有明确表达，但是在生成图像的那一刻需要明确。 03 新知讲解 生成模型生成的这种图像，既符合事物规律，又带有随机性，可以理解为从一个分布空间中随机抽取样本，文本“奔跑的柯基狗”对应很多不同的可能状态，它们都符合这个文本描述，在生成的时候，生成模型会随机从这个文本描述对应的图像分布空间中抽取一个样本。 03 新知讲解 2. 编写提示语生成图像 目前，文本生成图像的模型功能非常强大，通过输人文字类型的提示语描述就能得到想要的图像。提示语可以按照一定的结构给出，一般包括画面主题、主题描述词、风格修饰词、画面质感增强 ... ...