webwxgetmsgimg_副本.jpg
《传媒观察》|“解读”抑或“留白”:数据新闻语言与图表是什么关系?
2024-03-12 16:03:00  来源:《传媒观察》  作者:惠一蘅 方 洁 董晨宇  
1
听新闻

编者按:随着数据与可视化技术不断发展,数据图表常现于新闻报道,与文字共同传达信息。在种种新闻体裁中,数据新闻最能直接体现语图内容结构之间的配合。博士研究生惠一蘅、方洁副教授和董晨宇研究员在《传媒观察》2024年第2期刊文,以LC4MP为理论框架,基于对76名被试的实验研究,测量数据新闻中五种语图内容结构(图表统摄、文字统摄、语图重合、语图对话、语图协商)在三个认知阶段(编码、存储、回想)的认知效果差异,发现不同语图结构在不同认知阶段效果差异明显。根据对不同类别信息的传播效果期望,新闻制作者可选择合适的内容结构进行灵活组合。

一、研究缘起

当下信息技术不断发展,数据成为新闻报道的重要工具,而可视化是理解和认知数据与信息的主要方式。由此,新闻制作者常常将可视化图表引入报道,让传统文字与图表相互配合传递信息。数据新闻最能体现语图交互共同表意的特征,这一体裁正是以文字、图表为两大基础成分,形成对现实世界的数据提炼和视觉表征,也成为了生发本研究的实践土壤——在数据新闻生产实践中,创作者常常需思考文字与数据图表的内容结构关系:在竖屏滑动的主流阅读习惯下,文字语段与图表必然存在先后顺序,二者谁先出现更有利于读者理解信息?当图表已将重要的信息结构化、可视化,文字是要对图表内容进行再解读,还是形成“留白”、直接引导读者观看图表?

当文字在新闻中的占比被视觉化元素降低,文与图的关系研究从文艺学界延伸至了新闻学界。在图表强大的功能性和新颖的美学体验之下,文字是否保有历史长期赋予的表意价值?文字与图表之间不同的内容结构(以下统称为“语图内容结构”)分别会带来什么样的传播效果?本研究采取实验法,检验数据新闻中不同的语图内容结构为读者带来的认知效果区分,探索不同叙事方式对受众获取知识效率、质量的影响,丰富当下的新闻实务研究。

二、文献综述与研究假设

(一)数据新闻与语图关系

数据新闻自诞生以来,便被视为“新闻业未来最重要的发展方向”,这一体裁在一定程度上改写了传统新闻生产流程和呈现形态。但数据新闻的实践性极强,具有操作门槛,内容模块复杂多样,因此,该领域仍然欠缺从实践中产生的问题,具有洞察力与实用价值的实证研究有限。

在新闻领域,“语-图”关系的“语”指传统新闻报道所使用的文字,“图”往往指艺术插图或新闻摄影图片,而非数据可视化图表。研究于此处出现断层——文字与图表是数据新闻最重要的两大组成部分,数据新闻的语图关系理应被重视。

由此,本研究遵循实证路径,探索数据新闻内不同语图关系的传播效果,丰富新闻实践研究;同时,希望通过分析认知效果,总结读者阅读数据图表与文本时的认知倾向与规律,为新闻实践者提供具体参考。

(二)语图内容结构与信息认知

张超通过分析中外数据新闻作品,总结出四种语图关系:图像统摄、语言统摄、语图互补和语图协商。其中语图互补与语图对话关系内核一致,而语图协商侧重文字与图像间可能存在的对立与争夺,如文字表述客观而图表显示出明显的趋势,或反之,图表内容不显示倾向而文字带有明确观点。

参考学者们的归类与笔者制作数据新闻的实践经验,研究采纳五种语图内容结构的分类学,如下所述:

1.图表统摄:图表中的信息增量远大于文字,文字仅提供背景知识,简要描述图表大致内容,基本不出现具体数值,更多时候起到串联逻辑的作用。

2.文字统摄:文字中的信息增量远大于图表,提供了图表之外的信息、观点,甚至数据,图表只是作为补充,给出视觉化印证。

3.语图重合:同一份信息在文字与图表中均出现,文字与图表内容基本一致,是新闻生产者在创作时“看图写作”的结果。

4.语图对话:文字积极引导读者阅读图表,对图表信息进行有选择的解释、补充。对话是对立两极遭遇时相互作用,最后达到一种具有再生能力的和谐状态,被认为是图文作品发挥其表意优势的最佳策略。

5.语图协商:强调文字或图表提供与对方的观点、叙事口吻不同甚至对立的内容。语言锚定的框架与图像锚定的框架是一种相互制衡的关系,这源于新闻报道准则的遵循、言外之意的实现或叙事焦点的差异,这是一种既想逾越、又想克制的“暧昧”状态。

本文提出两个研究问题:RQ1:五种不同语图内容结构带来的认知效果有什么差异?RQ2:新闻创作若要运用数据图表,应如何利用不同语图关系带来的认知效果提高信息传播效率?

(三)信息认知效果——LC4MP理论

为了测量受众对数据新闻信息的认知效果,本研究采用动机中介信息处理的有限能力模型(LC4MP)作为理论模型。LC4MP将人对信息的认知行为具体化为可被测量的指标,认为在进行信息处理的过程中,人只有有限的认知资源来感知、编码、理解和记忆周围的信息。总资源、已分配资源、所需资源、可用资源,这4种类型组成了Lang提出的“资源饼”。这些资源不同程度地参与认知过程的信息处理机制,该机制包括三个子过程:编码、存储和回想。

更多的认知资源投入必然带来更好的认知效果,而由于认知资源的总量有限,其在每个阶段的分配呈现“此消彼长”的样态。在数据新闻中,比起文字,图表是更加新颖的表达方式,可能在短期内获得大量注意力资源,但对图表形式的关注可能分散读者在回想阶段的认知资源,导致对图表信息内容的长期记忆不足。由此,本研究提出以下假设:

H1:图表统摄在编码阶段会比文字统摄带来更好的认知效果。

H2:图表统摄在存储阶段会比文字统摄带来更好的认知效果。

H3:对于长期记忆(回想)来说,文字统摄的效果更好。

在以上总结的语图内容结构类型中,语图对话最为精简,语图重合提供了一套信息的“文字版”与“图片版”,增加了受众对新闻信息的“认知频率”,而根据过往学者的研究,认知频率越高,认知效果越好。语图协商往往提供不重合甚至立场相异的信息,三者在信息量上依次递增。刘丽群等研究得出,图表的“信息超载”会显著提高受众阅读图表时的回避行为。根据LC4MP理论,过于复杂的信息会造成认知过载,导致有限的资源集中至短期的编码与存储过程,不利于长期记忆。由此,研究提出以下假设:

H4:语图重合在编码阶段会比语图对话带来更好的认知效果。

H5:语图重合在存储阶段会比语图对话带来更好的认知效果。

H6:对于长期记忆(回想)来说,语图对话的效果更好。

H7:语图协商在整体三个认知过程均效果最差。

三、研究设计

基于前文综述和研究假设,本研究设置采用控制实验法,比较五种语图内容结构对信息认知效果的影响。具体的研究设计如下。

(一)被试招募

研究者于2023年9月发布海报公开招募被试,最终参与实验76人。研究者按照随机原则将被试分为5组,分别为图表统摄组、文字统摄组、语图重合组、语图对话组、语图协商组,参与人数分别为15、15、15、15、16人。

(二)刺激材料

本研究选择的刺激材料,为澎湃新闻于2021年12月发布于公众号“澎湃美术课”的数据报道《NFT是个什么局?来自“无聊猿”三万条交易记录的启示》。该文具有一定故事性,引人入胜,配有美观丰富、新颖与传统形式皆具的数据图表,文章内容信息点密集,有助于测量被试者对信息的再认和记忆效果。除此之外,选择的文章话题较为小众,本研究被试在实验前均未读过刺激材料原文。

(三)测量

本研究的因变量“信息认知效果”由编码、存储、回想三个子过程组成。每个过程采用不同的测量方式。其中,编码、存储效果的测量通过纸质材料进行,由研究者组织被试于线下实验室完成阅读与测试,回想阶段通过电话回访进行测量,回访内容包含自由回忆与线索回忆。

1.阶段一:编码

编码效果测量采取识别测试方式,研究者抽取材料的片段,将内容进行部分修改,包括删减文字段落、调整图表和文字的顺序,形成2个错误版本,与片段原版一起呈现给被试。被试需要在规定时间内阅读材料后上交原文,在问卷选项中选择出正确的原版,回答的准确率将作为实验结果。

2.阶段二:存储

研究者提取材料中的信息点,包括对报道整体逻辑结构的记忆、核心概念定义、图表内信息与图表意义解读、边缘信息的正误判断。设置10个问题,题型包括单选题、多选题、匹配题、判断题,1题1分,满分10分。将题项得分加总,便是被试对该则新闻的再认效果。

3.阶段三:回想

根据艾宾浩斯遗忘曲线,48小时是一个记忆的转折点。因此,本研究在实验主体结束48小时后,对被试进行电话采访,测量被试的长期记忆效果。记忆测量包括自由回忆和线索回忆两部分,被试回答的准确率将作为本部分实验结果。

正式回访阶段,经研究者多次电话联系,最终76名被试中共有56名参与回访,完成率73.7%,五组分别有11、11、11、9、13名,足够支撑得出阶段性结论。

四、实验结果

(一)编码阶段:文字统摄的短期认知效果最好

经统计,文字统摄组(识别正确率100%)的短期认知效果最好。语图对话组(93.3%)与语图协商组(93.8%)对短期记忆留存效果也较好,图表统摄组(80%)的效果逊于以上三类,而语图重合组(53.3%)的认知效果最差。由此可见,H1和H4均是错误的。这一结果显示出,处于统摄地位的图表没有起到预想中效果,丰富的文字描述更有助于读者对文章语段顺序、语图排版形成更深刻的印象。

(二)存储阶段:文字统摄的再认效果最佳

对阶段二的存储测试题进行批阅,并对结果进行单样本正态分布统计。结果显示,文字统摄组在存储阶段的再认效果最佳,均分达到9.27,同时,方差值最小,说明被试作答分数差异最小。语图重合组的再认效果次之,信息于图表与文字中反复出现的确有助于读者识记细节,H5得到证实。语图对话与语图协商带来的效果较为普通,该两组被试中均有多位5-6分的低分出现。

实验结果显示,若把传递信息的任务主要交给图表,所带来的认知效果在五个实验组中最差,H2被证明是错误的,图表统摄的内容结构无法带来很好的再认效果。

(三)回想阶段:语图重合的长期记忆效果综合最佳

1.自由回忆:语图重合重数量,文字统摄重质量

研究者通过电话回访获取自由回忆结果后,首先统计了每名被试提供的有效信息点数量;其次,为了检验这些信息的质量,研究选取3个编码指标对信息文本进行内容分析,指标为信息核心度(1=中心信息,;2=外围信息,)、信息明确度(1=明确记得;2=知道存在)和信息准确度(1=内容正确;2=内容错误)。以下为分析结果。

(1)信息点数量:语图重合组平均信息点数量最高

经统计,语图重合组被试自由回忆包含的信息点平均数量最高(M=7.33),直接说明了信息重复传达对长期记忆的促进作用。文字统摄、语图对话和语图协商三组的表现类似(M=6.18,6.78,6.46)。图表统摄组的所能回想起的信息点平均数量最少(M=5.18)。

(2)信息内容质量:文字统摄效果最好

部分被试说出的信息点可能存在模糊、偏差甚至错误,所以仅靠信息点数量无法完整描述认知效果。由此,研究选取信息核心度、信息明确度、信息准确度三个指标评价被试自由回忆的内容质量。

信息核心度为各组别被试提供的中心信息数量与该组别信息总量的比值。经统计,图表统摄组被试提供的中心信息占比最高,而语图对话组提供的中心信息占比最少。信息明确度为各组别被试明确记得的信息数量与该组别信息总量的比值。经统计,文字统摄组明确记忆的信息占比最高,语图重合组次之,二者遥遥领先于其余组别。在信息核心度上表现最好的图表统摄组,信息明确度却是最低的。

信息准确度用以测量被试所述信息的正误情况,为各组别被试提供的正确信息数量与该组别信息总量的比值。在自由回忆阶段,被试可能记错数值,或提供原文并未提及且不合实际的信息。经统计,语图对话组的准确度最高,语图重合组次之,而图表统摄组提供的信息正确率最低。

总体而言,自由回忆阶段表现最好的是文字统摄组,其次为语图重合组,图表统摄结构带来的整体效果不出众。

2.线索回忆:语图重合与图表统摄表现最好

语图重合的内容结构曾在编码阶段带来最差的认知效果,但线索回忆统计结果显示,重复的信息传递有助于读者的长期记忆,语图重合组的被试在自由回忆与线索回忆测试中均有超过其他测试组的表现。

在自由回忆阶段,文字统摄结构的认知效果明显优于图表统摄,后者的认知效果在五个组别中几乎垫底。但线索回忆的结果显示出,文字统摄结构的认知效果下降至中位,在有提示的对话语境下,图表统摄组的读者能顺利调取、运用材料中的知识,被试表现甚至优于文字统摄组。由此可见,图表统摄与文字统摄在两个回想阶段的效果各有千秋,H3并不绝对正确。研究经过对数值和被试表现的综合评估,认为文字统摄对长期记忆的促进作用总体上比图表统摄更加显著。

语图对话结构曾被认为是最能促进读者真正理解数据新闻内容的语图关系,强调文字与图表内容不机械重复,而是相互补充,文字中需积极引导读者阅读图表细节。但综合自由回忆与线索回忆的结果,可以看出在五个实验组中,语图对话带来的长期记忆效果最差,H6被证明是错误的。

五、结论与讨论

经过对实验结果的分析,研究发现不同语图内容结构带来的认知效果差异明显:数据的加入改变了传统新闻以文字为核心的叙事方式,不过本研究从认知效果视角发现,受众认知信息的来源并没有完全转移至图表,文字依然是新闻作品的“招牌”,有着将信息印刻入读者记忆里的强大力量。文字统摄结构的整体认知效果优于图表统摄结构,既能给人带来最好的短期印象,也有利于信息长期留存在记忆中,从而转化为稳固的知识。

此结果与LC4MP理论的预测相悖,提醒新闻创作者重新认识“读者眼中的数据图表”:一方面,数据图表并不总是作为新颖、充满体裁特色的视觉刺激,而可能已被祛魅,成为了新闻作品的普通组成部分,对大部分读者而言,不会引发额外的关注;另一方面,在既往运用LC4MP理论的研究中,可在短期内吸引大量认知资源的内容往往具有浅显、易得的特点,这样看来,数据图表虽有美观的外表,但有一定阅读门槛,不具备信息易得性。相比之下,文字是更加熟悉、简单、易消化的信息形态,由此获得了读者更多的认知资源。

三个阶段测试中,语图重合的认知效果步步攀升,从编码阶段的末尾到达回想阶段的首位。从LC4MP理论视角看,在编码阶段,语图重合材料传递重复饱和的信息,使读者们消耗大量认知资源用以消化内容细节,因此无法准确识别文章外部结构的变动。而在存储阶段,此前调用的认知资源开始发挥长久的效果,让信息留在读者的长期记忆中,记忆质量也较高。

语图对话结构在三个阶段的认知效果均不突出,被证明只是一种理想化的创作形式。语图协商结构并不是每个阶段中效果最差的内容结构,H7被证明是错误的,其短期认知效果尚佳,文字与图表之间的矛盾可以引发读者在阅读时的思考,形成即时印象,但无法带来更持久的记忆效果。

实验结果表明,没有一种“完美”的语图内容结构,也没有哪种内容结构应被全盘否定。在新闻实践中,无需全文通用一种内容结构,而可以根据具体的信息点选择合适的结构。此处可回应研究问题二:当创作包含数据图表的新闻时,应如何利用不同语图内容组合以提高信息传播效果?

首先,应让语图内容的交互关系尽量简单。可视化图表是数据价值实现的中介,其存在不该加深读者认识信息的难度。其次,语图重合强大的长期记忆效果值得关注。对于创作者来说,把同一信息在文字和图表中各说一遍显得冗余,但这种方式能够让读者切切实实记住信息。

本研究结论不仅适用于数据新闻生产,也适用所有运用数据和可视化技术进行报道的新闻体裁。(载《传媒观察》2024年第2期,原文约12000字,标题为《“解读”抑或“留白”:数据新闻语图结构的认知效果研究》。此为节选,注释和图表等从略,学术引用请参考原文。)

【作者简介】

惠一蘅,中国人民大学新闻学院博士研究生

方洁,中国人民大学新闻学院副教授,中国人民大学新闻与社会发展中心研究员

董晨宇,中国人民大学新闻学院讲师,中国人民大学新闻与社会发展中心研究员

标签:语图;认知效果;内容结构
责编:苗津伟 易保山