编者按：ChatGPT和Sora相继问世，开启了AIGC全面主流化进程，人类社会也将面临新一轮控制危机和控制革命。方兴东教授、助理研究员钟祥铭和博士研究生宋珂扬在《传媒观察》2024年第5期刊文，从传播主导权力运行的视角，来解析智能传播的机制及其社会影响，为理解社会的控制危机和控制革命，提供了新的分析框架。根据风险成因和机制，该文将Sora等AIGC可能带来的风险从低到高分为行为性失调、功能性失调、结构性失调和颠覆性失调四类。智能时代风险的核心是：在数字技术实现高度互联的背景下，人类之间合作与自我管理的基本层面出现了问题。因此，积极构建新的全球性高效协作治理机制，应该成为头等大事。
随着ChatGPT、Sora等生成式AI技术与应用相继走向实用化，人类社会信息传播迎来了新的谷登堡时刻。Sora打通文本、图片、音频、视频等各类媒介之间的界限，实现全方位数字化对接与转换，标志着智能传播打通“最后一公里”，为全面主流化做好了基本的技术条件。但是，生成式AI技术固有的不确定性、不可解释性和不可预测性，交织着幻觉（hallucination）、黑箱、深度伪造、军备竞赛、版权与隐私、偏见与歧视、智能鸿沟以及各种滥用问题，给信息传播、社会运行和人类社会带来全新风险。
目前针对风险与危机的思考及其对策，大多局限于如何使用技术本身，如何理解这场控制危机的成因、提供科学理性的理解框架，并为最严重的可能性风险设置必要的“护栏”，时不我待。
以Sora为代表的生成式AI背后的风险、机理与类型
工业时代的第一轮控制危机驱动了传播革命，而数字时代这一轮革命是快速爆发的智能传播革命，驱动了整个社会的控制危机。我们必须将目光从技术转移到潜在的社会关系和新的社会形态。通过控制技术本身的应用并不能真正控制危机，更无法有效解决技术引发的社会问题。今天人类通过互联网元架构奠定的全球开放一体化基础设施，已经将全球70%以上人口高度联网在一起。因此，解决的复杂度和难度显然比上一轮要大得多，风险也比上一轮要严重得多。这一新的危机生成机制和时代背景，决定了危机与风险的形成与扩散具有工业时代初期所不具备的全球性、广泛性、即时性和系统性。
我们试图将风险按从低到高、从简单到复杂，划分为行为性风险、功能性风险、结构性风险和灭绝性风险等四大类别。引发的问题和风险也对应分为行为性失调、功能性失调、结构性失调和颠覆性失调四类。从个体行为到社会结构，再到人类存续的整体风险；从行为性风险可能导致功能性失调，而结构性失调可能加剧灭绝性风险。这种分类方式不仅为理解AI风险提供了一个清晰的框架，还可以在某类风险成为严重威胁之前采取预防措施。如及时调整或干预行为性风险，防止某些功能性和结构性问题的发生。
当然，行为性、功能性、结构性和灭绝性四类风险的划分更多是原则性的，根据风险的主要特点而简单划分。事实上，现实中的风险更为错综复杂，彼此之间很难有清晰界限，而是相互交织、相互融合和相互转化。划分的目的主要是便于分析，了解各类风险的内在机制，并形成有效的对策。
低强度：行为性失调与行为性风险
Sora作为全新的信息传播方式，相应的行为规范和法律制度有着相当的滞后性，还缺乏清晰的边界，这为技术的滥用创造了条件。Sora等生成式AI带来的行为性风险与之相伴而生，主要包括低成本且高效率的全新虚假信息生产、深度伪造技术嵌入以及诸多失范和滥用等。
行为性风险是指相对明确且容易识别的风险，与具体的行为本身相结合，往往是一次性的，风险扩大的可能性有限，容易被控制和应对。其形成的首要原因是智能体取代人成为信息传播行为体，在过去的人类信息传播中，人始终是信息生产和传播的关键主体，人的环节成为信息生产和传播控制和监督的关键所在。而智能体的爆发将彻底改变这一格局，并由此产生各类风险与问题。
当然，行为性风险的背后并不仅仅是机器本身，还依然有着人的因素。主要表现在AI技术被犯罪分子和恶意行为者等群体滥用。特别是，继ChatGPT出现后，Sora的诞生再次拓宽了AI的应用场景，同时也打开了“潘多拉魔盒”，为犯罪分子提供了更新更高级的工具。在没有相应治理策略的情况下，如果Sora开放给公众使用，就可能极大限度地降低犯罪门槛和犯罪成本。
Taís Fernanda Blauth等人认为“AI犯罪”这一术语无法涵盖所有可能的情况，并非所有使用AI技术造成的有害行为都符合立法中犯罪的定义。相反，“恶意使用”和“恶意滥用”更广泛地描述了使用AI技术来增强、促成或加剧个人或组织的有害行为。
风险不是静态的，它与技术一样，不断演进。未来技术将呈现越来越强大的自主性。AI系统开始具备“独立思想”，导致其行为超出设计者的意图和控制，增加管理和控制这些系统的复杂性。这种情况下，人工智能犯罪（AIC）很难进行责任界定与分配，从而导致惩罚目标不清晰或惩罚力度不相称。Sora或为深度伪造技术推波助澜。深度伪造技术可用于各种恶意目的，包括金融诈骗和政治操纵，还被用来制作未经同意的色情材料以进行骚扰或勒索，甚至可用于篡改医疗扫描等成像数据，以损害卫生基础设施。部分不法分子通过对训练数据“投毒”，利用人工智能系统的漏洞进行欺骗或操纵攻击。就像微软的聊天机器人“Tay”被操纵发表种族主义言论一样，Sora可能升级社交机器人样态，出现“拟人、拟态、拟景”的视频式社交机器人，升级认知战的武器。攻击者可以对输入数据进行逆向工程让AI系统显示特定行为，从而使人难以辨别其真实性，使得这种风险容易逐步上升为功能性和结构性的风险。
一般性：功能性失调与功能性风险
功能性风险涉及数据问题、算法错误、设计缺陷、软硬件故障以及与人类交互的问题。许多计算机和数据科学家已经意识到，数据往往是有偏见的，算法有时会造成伤害。在信息失真或误导性信息的生成方面，算法、数据库管理等错误导致系统误解用户的请求，进而误导用户。而基于不完整或不准确的数据生成误导性的信息，如大语言模型一本正经地胡说，导致AI系统产生错误的理解或做出错误的决策。刻板印象的生成则是由算法强化偏见造成的，某些AI系统在做出决策时可能会基于歧视性的偏见或者不公平的标准，继而导致对某些群体的不公正对待。但这些行为决策往往是可以根据人的主观意识形态发生改变的。一旦数据问题、算法错误、设计缺陷或软硬件故障导致AI系统多次生成刻板或歧视内容，且无法根据修改指令生成确切回答，就将被视为是功能性风险的一种表现。与其他AI技术一样，Sora在决策和行为过程中也存在违背伦理道德原则的可能性，这将导致社会对其产生不满和抵触。
Sora正在超越传统民族国家限制，其发展需要大量数据支持，涉及到跨国界的数据流动、合作研发等。Sora系统可能会收集、存储和处理用户的个人信息，如果这些信息未经充分保护，就可能会导致隐私泄露和侵犯，使得它们容易受到恶意攻击或者被用于攻击其他系统，产生数据泄露和系统瘫痪等问题，继而引发社会恐慌和安全隐患。由此可见，数据隐私安全和伦理道德问题需要全球性的控制。更值得注意的是，Kate Crawford发现，在机器学习偏差的研究中，人们过于聚焦“分配伤害”（harms of allocation），即AI系统不平等的分配结果，而对“再现伤害”（harms of representation），即AI系统在再现社会身份时的不准确或歧视性表现所造成的伤害，关注不足。由于“再现伤害”是长期的、难以形式化的、分散的和文化性的，因此从潜在伤害的角度来界定偏见，突显了社会而不仅仅是技术方法对于预期和管理AI风险的重要性。
高强度：结构性失调与结构性风险
结构性风险包括高复杂性、多重不确定性、重大模糊性以及对来源系统之外的其他系统产生的越界影响，与整个系统紧密相关。它通常是由系统内部组成部分的相互联系和依赖性而产生，并影响整个系统的稳定性，且当一个组成部件失败时会造成连锁反应。由于这些特点，结构性风险超出了现有风险管理的范畴，为政策制定在风险评估和风险治理方面带来了新的、未解决的挑战。
结构性风险重要的成因不是简单新技术和新应用的形成，而是关键基础设施发生了整体性的变革和重构。
关键基础设施的整体性变革和重构，既是AI技术发展的基础，也是其带来结构性风险的根源。随着新的应用程序正在将人工智能推向主流，人工智能对网络和基础设施的影响正在成为关键议题。对大语言模型（LLM）数据库进行实时、低延迟处理以提高动态响应能力的需求正在对数据中心和网络产生重大影响。这意味着现有的数据和传播基础设施必须进行彻底的改造和扩展，以满足对更强的硬件、更大的网络带宽、边缘计算能力的发展以及更高的功耗等新的人工智能需求。
与此同时，随着新技术被融合进现有系统，基础设施的复杂性增加。技术之间的互操作性问题可能导致系统脆弱性，增加了在多组件相互作用时出现故障的风险。新技术的广泛应用使得社会对基础设施的依赖性增加。一旦这些基础设施出现问题，可能引起连锁反应，影响到更广泛的社会系统。特别是，基础设施更新周期大幅缩短，在没有完全理解新技术的前提下就急于将其部署到关键系统中，可能导致社会系统性风险。因此，在人工智能、电信和关键基础设施等错综复杂的发展中，需要一个全面的监管框架来平衡促进创新和确保关键基础设施的安全性和弹性。
结构性风险也有高低之分。有些是非紧迫性的，但也是很关键的，比如由于智能技术发展不平衡、应用不均衡的全球性智能鸿沟问题。而严重的、不可逆和不可控的结构性问题有可能威胁人类文明乃至整个人类的生存。这就是人们担忧的这一轮人工智能浪潮可能带来的灭绝性风险。
超强度：颠覆性失调与灭绝性风险
对于AI对人类带来颠覆性甚至灭绝性的风险，这类最严重的警告其实由来已久。早在2014年，英国理论物理学家斯蒂芬·霍金（Stephen Hawking）就在接受采访时警告称，“全面发展AI可能会预示着人类的终结。”
霍金的警告随着以ChatGPT和Sora为代表的生成式AI的突破，得到越来越多人的响应。2023年3月，伊隆·马斯克（Elon Musk）和苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）等数千名科技专家一起签署了一封公开警告信，呼吁停止开发比OpenAI的GPT-4聊天机器人更强大的AI系统，并至少暂停6个月。美国国务院委托Gladstone AI公司撰写的一份报告，为美国政府高层提供关于AI机遇和风险的咨询。该报告基于一年多以来对200多人的采访得出，采访对象包括来自领先AI公司的高管、网络安全研究人员、大规模杀伤性武器专家和政府内部的国家安全官员。报告认为，快速发展的人工智能可能对人类构成“灭绝级”威胁，因此美国政府必须采取干预措施。
如果AI技术的发展导致机器具有高度的自主性和智能，就可能会使人类逐渐处于边缘化地位，失去对自身命运的控制权。AI系统在日常生活中的广泛应用可能使社会过度依赖技术，降低人类自身能力和智慧，从而导致技术失控和社会脆弱性增加。现如今，AI成为我们社交网络中普遍的一部分，人类对其的依赖是可以预见的，且会更加常规化。对AI的依赖将对社会价值观产生一定影响，从而导致社会关系的失调，甚至重塑社会。但对AI的依赖性并不完全是消极的。当AI依赖性得到适当校准、公开实施和公平分配时，它们有潜力解决许多紧迫的全球挑战。
马斯克在Abundance峰会“人工智能辩论”研讨会上表示：“我认为AI有可能终结人类文明。我可能同意Geoffrey Hinton的观点，这个概率大约是10%到20%左右。”当然，他也补充说：“我认为积极的可能性场景要大于消极的可能性场景。”
人机融合时代全新的全球协作机制何以可能
面向公众的AI工具和产品正以难以置信的速度推广到日常技术领域，从办公软件到搜索引擎，再到政府本身的运作，并迅速成为监管、法律和在线隐私等问题的最新数字前沿。人工智能在各个领域的迅速融合，促进了治理领域从单纯的规划向行动的转变。借助AIGC的能力，恶意行为者已经在实施犯罪并传播错误和虚假信息，各国政府都在努力跟上步伐，加快了倡议、制度和治理机制的推进。2023年10月“一带一路”国际合作高峰论坛期间，中国发布《全球人工智能治理倡议》，并在其中提出“积极支持在联合国框架下讨论成立国际人工智能治理机构，协调国际人工智能发展、安全与治理重大问题”。同年11月初，人工智能安全峰会在英国布莱切利公园举行，包括中国、美国、英国和欧盟在内的超25个国家和地区代表参与，发表的《布莱切利宣言》认为，对于前沿人工智能技术有意识滥用或者无意识控制方面的问题，可能会引发巨大风险。宣言提出，针对世界范围内“共同关注的人工智能安全风险”，各国可能会制定基于风险的政策、细化风险等级以及治理方式，从而加强安全、促进发展。
2024年欧洲通过了第一个《人工智能法案》（AI Act），标志着对人工智能应用进行全面法规约束的重要一步。该法案将人工智能的应用分为不可接受风险、高风险、有限风险和低风险或最小风险四种类型。法案把与人类交互的系统（即ChatGPT这一类聊天机器人）、情感识别系统、生物识别分类系统以及生成或操纵图像、音频或视频内容（即Sora这一类的“世界模拟器”）视为“有限风险”，将受到有限透明度义务的约束。“高风险”是指对人们的安全或基本权利产生不利影响的AI系统，具体分为两类：一是作为产品的安全组件，二是属于欧盟健康和安全协调立法的系统（例如玩具、航空、汽车、医疗器械、电梯）。另外，对人们的安全、生计和权利构成明显威胁造成不可接受的风险的AI系统被法案规定禁止AI实践，例如部署有害的操纵性“潜意识技术”的AI系统；利用特定弱势群体（身体或精神残疾）的AI系统；用于社会评分目的公共机构或代表其使用的AI系统；用于执法目的的公共可访问空间的“实时”远程生物识别系统等。值得注意的是，欧盟《AI法案》也并未将自主武器系统明确列为“高风险”的应用程序。
2024年3月10日-11日的“北京AI安全国际对话”，数十位AI领域的中外专家共同拟定并签署了《北京AI安全国际共识》，提出AI风险红线及安全治理路线，同时呼吁：“在人工智能安全研究与治理上的全球协同行动，是避免不受控制的前沿人工智能发展为全人类带来生存风险的关键。” 2024年3月21日，联合国大会未经表决一致通过了一项具有里程碑意义的决议，呼吁抓住“安全、可靠和值得信赖的”AI系统带来的机遇，让AI给人类带来“惠益”，并以此促进可持续发展。这是联合国大会首次就监管AI这一新兴领域通过决议。
过去一项技术的演进是一个相对缓慢的过程，我们有足够的时间去把握合适的时机。而在全球50亿网民高度互联的今天，随着以ChatGPT和Sora为代表的生成式AI的超速引爆，我们很难再有从容把握时机的“缓冲期”。
首先，建设全球性高效率协作机制网络迫在眉睫。要应对新的人机融合的复杂形势，必须建立一个开放透明的、相对完备的真正多利益相关方治理机制。AI作为一种社会赋能的技术，其发展的关键是它的多利益相关方如何去协作实施多方共治和自适应的敏捷治理。除了企业自身，更需要科学家、技术界、政府、行业组织、社会等层面全面参与，形成安全与发展、商业利益与公共利益能够有效制衡的治理机制，防范重大的不可预估的危险与后果。因此，需要继续加强并发挥类似联合国或者联合国教科文组织（UNESCO）等机构或者欧盟、G20等强有力的多边机制的统筹协调作用。
其次，关注人机生态的多样性，为人机深度融合做好准备。智能机器正在通过改变社会学习动态并产生新的游戏策略、科学发现和艺术形式来改变人类文化的传播和创造。了解人机复杂的相互作用，以及它们随着时间的推移的共同进化，对于管理和治理智能传播和人机融合社会至关重要。
最后，加强多学科研究与合作，大力推动人机社会系统研究，鼓励社会科学家、技术专家、伦理学家、政策制定者等不同领域的专家合作，共同研究和制定人机社会系统的理论和实践方法。创立新的学术领域和课程，如人机社会学，专注于AI和社会的交互，并研究AI带来的新型社会关系和结构。
智能传播标志着社会权力的一次重大转移。从过去人与人之间的关系，极大扩展到人与人、人与机以及机与机之间的关系，尤其是人机之间的共通。但究其本质，依然是人与人之间的共通、全球协作何以可能的命题。AI治理的本质并不是技术本身，而依然还是人，是人与人之间的合作。智能时代的风险，核心还是在数字技术实现高度互联的背景下，人类之间合作与自我管理的基本层面出现了问题。包括人与人之间的共通，国与国之间的共通，尤其是中美之间的共通。只有根本解决好全球合作的问题，AI再如何发展，终究可以找到正确的应对之道。但是，全球合作机制的缺失，风险就将越来越不可预知。因此，人工智能最大的风险并不仅仅是技术本身，更重要的是对人类合作的新考验。风险在于人本身，解决之道也在于人本身！Sora带来的新控制危机和控制革命，归根结底，本质依然是人类与生俱来的有效自我管理的基础性挑战。
（载《传媒观察》2024年第5期，原文约17000字，题目为《Sora与新控制危机——理解智能传播时代风险的新机制、新治理和新逻辑》。此为节选，注释、图表从略，学术引用请参考原文。“传媒观察杂志”公号全文链接：
https://mp.weixin.qq.com/s/QowjoQKu4pTQXHbWTGnBog。本文为2019年度国家社科基金重大项目“媒介体制与社会信任研究”（19ZDA325）的阶段性成果。）
【作者简介】
方兴东，浙江大学传媒与国际文化学院常务副院长，乌镇数字文明研究院院长
钟祥铭，浙江传媒学院新闻与传播学院助理研究员，香港科技大学（广州）访问学者
宋珂扬，浙江大学传媒与国际文化学院博士研究生
