编者按 复旦大学新闻学院教授周葆华、博士生吴雨晴在《传媒观察》2026年第7期发文指出，多模态大模型正在重塑智能传播研究，既作为研究方法更新传播分析的工具，又作为研究对象丰富传播研究的问题。该文对2022—2025年间围绕多模态大模型展开的传播研究进行系统综述，发现相关文献自2023年起出现并迅速增长，更多关注图像生成型模型，对视频、音频等其他模态的探索不足。文章提出“模型类型（理解／生成）×模型角色（方法／对象）”的2×2分类框架，展示多模态大模型传播研究的主要模式：作为研究方法，理解型模型被引入内容分析，生成型模型被用于构建实验刺激物；作为研究对象，模型在传播实践中的理解能力，以及其所生成内容的价值偏向与传播影响，受到重点关注。该文提出，多模态大模型影响下，智能传播研究的理论亟待深入，方法亦需规范。

面对媒介生态中海量的非结构化多模态数据，研究者此前主要采用计算机视觉、计算机听觉等计算方法展开特征提取与分类判断。而多模态大模型通过大规模预训练和跨模态表征学习，拥有对多种模态数据的理解能力以及跨任务泛化能力。研究者可以在零样本或少样本的情况下，应用预训练模型完成对多种模态数据的复杂编码。多模态大模型的兴起，为传播研究的方法创新带来新的契机。

同时，多模态大模型还能实现文本、图像、视频、音频等内容的跨模态生成。其生成能力不仅在方法层面实现实验材料的快速受控生成，辅助传播实验研究；还拓展了传播研究的对象范畴，衍生出新的传播研究命题。首先，在模型训练数据、程序架构、用户指令中存在的偏见层层嵌套，可能导致AI生成的多模态内容中出现种族、性别、年龄和文化等方面的偏见与歧视，需要传播研究的审查与评估。其次，AI生成内容和深度伪造的泛滥使用户对AI的理解和交互成为重要议题，传播学者需要理解用户群体的使用方式。再次，多模态大模型与新闻生产、广告营销、艺术创作等传播实践的结合，正在改变用户的认知机制、人机信任的建立路径、人机协作的伦理边界等，为传播研究提供了理论更新的经验入口。最后，多模态大模型的生成能力挑战了人类作为创作主体的权威，促使研究者进一步展开作者性、观看方式与意义建构等的反思。

一、多模态大模型的定义、分类与技术演进

多模态大模型指能够处理文本、图像、音频、视频等多模态数据的大规模人工智能模型。中文语境里的“多模态大模型”，对应多种英文表述方式：MLLM、LMM、MFM等。相比其他表述，MFM涵盖的模型范围更广：既包括以LLM为架构中枢的通用多模态基础模型，也包括不以大语言模型为核心、但具备跨模态表征学习或生成能力的基础模型，如CLIP、Stable Diffusion等。因此，本文将使用包容性更强的MFM指代多模态大模型，并展开论述。

基础模型，通称“大模型”，由Bommasani等提出，指在大规模数据集上进行训练、能够适配广泛下游任务的模型。相应地，多模态基础模型即拥有多模态处理能力的基础模型。与传统的自然语言处理、计算机视觉、计算机听觉等方法不同，多模态基础模型不仅可以分别处理文本、图像、音频等不同模态的数据，还可以展开跨模态数据的关联和转换。

多模态大模型面对的任务主要有两大类：（1）理解：学习多种模态的数据表示，用以理解和分析多模态的数据输入，完成多模态数据识别、分类、推理等任务；（2）生成：根据人类指令，合成高保真的多种模态数据，例如文生图、文生视频、语音合成等。理解与生成能力并不相互排斥。随着模型架构的发展，部分模型整合了多模态的理解与生成能力。不过目前，大部分的多模态基础模型，仍然是分别针对两大类任务预先训练的理解型和生成型基础模型。它们分别在跨模态理解和生成任务上，展现出较强的泛用性。

基于此，本文以多模态大模型为切入点，全面梳理其影响下的传播研究现状，揭示其如何扩展传播研究的方法路径，以及如何带来新的传播研究议题，从而整合两者并搭建一套面向多模态智能传播的研究框架。

二、研究方法

本文基于Web of Science平台，在WOS核心合集的SSCI和A&HCI数据库中对相关论文展开检索，检索时间区间为2022年1月1日到2025年12月31日，主题关键词主要包括两部分——多模态和大模型，检索得到4311篇文献。另外，使用相同关键词检索Nature、Science、PNAS等权威期刊及其子刊，得到821篇文献。在检索获得的5132篇文献的基础上，通过逐一阅读标题、摘要和部分正文展开人工筛选，筛选标准包括论文涉及传播学主题与多模态大模型。最终，剔除不涉及传播学主题与多模态大模型的论文，得到N=107篇论文。再基于这些文献进行统计分析和质性归纳，我们获得以下发现。

三、多模态大模型传播研究的基本现状

（一）研究概况：数量、来源、主题与方法

稍滞后于多模态大模型的技术演进，涉及多模态大模型的传播学研究2023年才出现，当年发表（含在线发表）论文9篇。自此，相关研究快速发展，2024年32篇，2025年则有66篇。论文来自82本社会科学期刊，具有较强的交叉性。主题方面，广告营销主题的论文最多（19篇），其次主要包括健康（12篇）、艺术（9篇）、性别（9篇）、新闻（6篇）、环境（5篇）等。从研究方法来看，现有研究以经验研究为主，其中量化研究最多，共65篇，主要包括实验研究、问卷调查、计算分析等；质性研究25篇，多采用访谈、数字民族志等方法展开；有10篇研究采取了混合方法。另有7篇思辨性研究，主要围绕模型的主体性展开理论讨论。

（二）模型类别与涉及模态

若按能力将多模态大模型分为理解型与生成型两类，当前研究明显呈现出生成型模型占据主导（91次）、理解型模型相对较少（20次）的特征。在生成型模型内部，又以图像生成模型为核心（共87篇提及），DALL·E、Midjourney、Stable Diffusion等头部模型成为研究关注的主要对象。这不仅源于图像模态在传播实践中处理速度更快、效率更高，也与图像生成模型发展更早、迭代更快、应用更成熟相关。相较之下，视频生成模型（5篇）与音频生成模型（2篇）的文献数量有限，且缺少实证研究。同时，理解型模型的研究相对较少，集中于图像理解，几乎未涉及动态影像与音频理解。

四、多模态大模型传播研究的主要模式

本文从模型类型与模型角色两个维度提出2×2分类框架，分析多模态大模型传播研究的四种主要模式。其中，模型类型包括理解型与生成型。模型角色包括方法与对象：作为研究工具，多模态大模型被应用于传播研究中多模态数据的采集、标注、编码或生成，扩展了传播研究的方法体系；作为研究对象，多模态大模型介入新闻生产、广告创意、艺术实践和日常交往，构成了新的传播对象与研究问题。

（一）理解型多模态大模型作为分析方法（14篇）

在该分类下，多模态大模型作为分析工具嵌入既有传播研究流程，用于从多模态媒体内容中自动提取特征，并与传统统计模型等相结合，支持多模态内容及效果研究。

该分类中聚焦传播内容及效果的实证分析（8篇），展示了三条具体路径——

1. MFM作为“嵌入提取器”：该路径借预训练的MFM将多模态内容映射为高维稠密嵌入，再训练传统机器学习模型，将这些嵌入转化为可解释的研究变量。

2. MFM进行“跨模态转写”：不同于前一路径中“嵌入提取-监督分类”的处理方式，该路径首先借助MFM将视觉内容转化为自然语言描述，再将转写后的文本纳入传统自然语言分析流程，从而实现对图像语义的间接测量。

3.多模态大模型“直接编码”：将变量定义写入提示词，借助多模态大模型的理解能力实现端到端的结构化编码，直接生成研究变量。“直接编码”路径能够最大限度地发挥多模态大模型的理解能力，适合概念定义清晰、且需要对大规模样本进行细粒度标注的传播研究。同时，该路径也面临若干挑战。因此，为确保研究的科学性与可复现性，需要建立规范的工作流，并利用人工标注的基准数据集对模型的信度与效度进行验证。

（二）生成型多模态大模型作为传播实验研究的构造方法（5篇）

在此类研究中，多模态大模型主要被用来实现实验刺激物快速、精准、可控的生成，以辅助研究设计。实验刺激物的制作面临着一个“真实感-操纵”悖论：为提升生态效度，刺激物应尽可能逼真；同时，刺激物必须准确反映预期的操纵变量，并控制其他干扰因素，以确保建构效度与内部效度。针对这一悖论，研究检验了多模态大模型在刺激物生成中的潜力。

（三）理解型多模态大模型参与传播活动的认知能力评估（6篇）

在此类别中，研究者将多模态大模型作为研究对象，从传播学视角评估其如何认识与解释世界。这类研究的核心问题并非如何利用MFM更准确地编码传播内容，而是更关注当多模态大模型参与传播活动时，它在感知、创造、推理等方面的认知表现是否与人类近似？

首先，在感知与关联推断方面，研究发现，GPT-4o能够识别并描述文本或图像中的显性感官刺激，但不能稳定复现人类由感官刺激产生的联想意义，在区分细微情境差异、进行多感官一致性的关联推断上仍存在一定的局限性。其次，在模型的创造力与艺术解读方面，研究发现，模型的灵活性较强，能够进行发散联想；但创造力不足，难以给出更具原创性和象征意涵的解释。再者，在讽刺、幽默等复杂语用现象的推理方面，研究发现GPT-4o对视觉讽刺、多模态讽刺的识别表现接近人类，但在理解语言讽刺时常出现误判。模型虽能识别部分模因的幽默含义，却难以理解依赖文化常识、跨模态关联或图文不一致的复杂幽默形式。

综上，这类研究关注的不只是模型的编码效度，而是模型的理解能力和认知边界。研究指出，MFM擅长识别显性特征和表层语义关联，但模型的“理解”更类似基于数据分布模式的统计推断，并不等同于人类综合多感官刺激、联想创造、情境推理所形成的理解方式。

（四）生成型多模态大模型介入传播内容生产的审计、效果与思辨（85篇）

生成型MFM作为研究对象、介入传播内容生产的研究，数量最多、议题最多元，可大致分为四类：算法审计、用户研究、效果研究以及哲学思辨。

1.算法审计：针对生成型MFM的偏见审查（30篇）

该路径聚焦生成型MFM在不同主题下的偏见与不平等。首先，在职业身份再现上，多项研究显示DALL·E、Midjourney等模型在生成医生、科学家、新闻评论员等专业群体形象时，过度集中于年长的白人男性，显著偏离真实人口构成。其次，在健康议题的图像生成中，研究发现模型往往以单一的身体特征、情绪化隐喻、病理化符号来呈现癌症幸存者、痴呆症患者、进食障碍患者等群体。再次，在文化再现方面，模型往往偏向西方中心主义，忽略文化多样性。不过，目前的研究仅关注多模态大模型生成的图像与文本内容，缺乏对视频、音频等模态内容的审计。

2.用户研究：用户对生成型MFM的使用方式及动机（14篇）

该路径关注用户如何以及为何使用生成型MFM。首先，普通用户的使用经验表明，生成型MFM的使用是一种持续迭代的人机共创过程。在使用AI进行图像生成时，用户频繁遭遇“沟通断裂”，需不断调整提示词，形成“断裂-修复”式的人机互动路径。进一步，研究关注用户如何构建对生成型MFM的“民间理论”。总体看来，不同用户在采纳生成型MFM的过程中呈现出“赋能-焦虑”并存的心态。

3.效果研究：生成型MFM引发的受众认知、情感与行为效果（34篇）

该路径重点探讨基于MFM的AI生成内容的传播效果——如何影响受众的认知判断、情感态度与行为意向。在认知层面，现有研究主要围绕AIGC的真实性、可信度与可辨识性展开。不同于传统视觉传播内容与现实的对应关系，生成型MFM使图片、视频能够在缺乏现实指涉对象的情况下呈现高度拟真性，进而削弱受众基于相关线索辨识其来源的能力。在此基础上，生成型MFM正在模糊“真实性”的概念边界。

现有研究表明，基于MFM的AIGC传播效果在内容特征、来源线索、传播情境与受众差异等因素的共同作用下形成，并影响受众的认知、态度和行为。总的来说，生成型MFM既拓展了媒介效果研究的对象与场景，也推动相关理论回应人机交互中的真实性、主体性与说服机制问题。

4.哲学思辨：AIGC的本体、创作主体与观看方式的重构（7篇）

基于媒介技术哲学的思辨研究指出，生成型MFM不仅改变了媒介内容的生产方式，也动摇了现代视觉文化关于“内容本体-创作主体-观看机制”的讨论。首先，在内容本体层面，MFM生成的图像被视为一种无“指涉性”的图像，但仍具备“摄影性”。其次，在创作主体性层面，研究指出，生成型MFM模糊了传统的作者概念。最后，在观看与意义建构的层面，研究指出，对AI的理解应该在AI与观者“身体-感知-环境”的复杂关系中展开讨论。总体而言，这类哲学思辨强调：生成型MFM不仅是新的内容生产工具，更是重塑视觉文化的技术主体，其生成逻辑要求我们重新理解内容的真实性、作者性与观看方式。

五、总结与讨论

本文揭示，传播研究需要在“MFM for Communication Research”与“Communication Research of MFM”两条路径下，理解多模态大模型在智能传播研究中的位置。MFM既可以作为辅助处理多模态材料的技术工具，也可以作为参与内容生产和传播互动的新型行动者。

研究者需要以多模态大模型为新的经验入口，推动传播理论的更新。现有研究借助传播学经典理论来解释多模态大模型介入传播活动的机制，并已有所拓展。由此，研究者不妨持续追问：当多模态大模型快速演进并嵌入日常生活，用户如何形成与新型非人主体的交往？当模型生成内容呈现出高度真实感、情感性与互动性，受众的信任判断、说服路径与抵抗机制是否会产生变化？

在方法层面，需要充分探索并共同推动多模态大模型在传播研究中的规范化应用。面对模型可解释性有限、输出一致性不足等问题，应当构建清晰、透明、可验证的操作流程，以保证科学性和可复现性。同时，研究需要突破当前的图像中心主义，面向视频、音频及多模态协同等更复杂的传播实践展开研究，充分挖掘多模态大模型的跨模态理解与生成能力，推动传播研究从单一的非文本模态分析走向更加系统的多模态研究。

（载《传媒观察》2026年第7期，原标题为《理解与生成：多模态大模型影响下的智能传播研究》，此为节选，注释从略，学术引用请参考原文。“传媒观察杂志”公号链接：https://mp.weixin.qq.com/s/o-0GoE6KZ68so-RmwIzzWQ。）

【作者简介】周葆华，复旦大学新闻学院教授

吴雨晴，复旦大学新闻学院博士生