编者按 暨南大学国际传播研究院教授，清华大学新闻与传播学院教授陈昌凤，清华大学新闻与传播学院硕士研究生于丁在《传媒观察》2026年第8期发文，认为在生成式AI背景下，Token（词元）正在重塑知识形成的条件。Token成为生成式AI时代知识传播的基础接口——知识必须先被Token化，才能进入模型、参与计算并被重新生成。Token化重构了知识传播的底层逻辑：其一，作为知识切分机制，它将意义整体转化为可计算单元，使知识传播呈现工程化前置特征；其二，作为知识生成机制，它推动知识生产由意义表达转向概率生成，使知识合法性部分建立于统计关联而非因果解释；其三，作为知识秩序机制，它通过表示效率、上下文窗口和计算成本，重塑知识的可表示性、可调用性及认知权力分配。本文认为，Token化意味着知识传播从意义实践部分地转向计算实践，传播权力由可见性控制下沉至计算条件与认知基础设施层。传播学需要从意义传播进一步拓展到知识计算，从而探究生成式AI时代知识、传播与权力之间的关系。

生成式AI的广泛应用，使知识传播开始经历一场深层的计算化重组。过去，媒介技术主要改变知识的记录、复制、分发和接收方式，如今，大语言模型则在改变知识进入传播系统之前的存在形态。但是在生成式AI环境中，这一前提正在发生变化：知识若要进入模型，首先必须被切分为Token（即“词元”，下同），转化为机器可以处理的离散序列，并在上下文窗口中通过概率关系被重新组织、预测和生成。

一、在知识传播中，“Token化”改变了什么？

Token目前被译为词元、模元或标记等，是大语言模型处理自然语言的基本计量单位。它不同于人类语言中的字、词或句子，也不是传播学意义上的符号或概念。

对于人类而言，一段话首先是意义整体；对于模型而言，它首先是可以被编码、嵌入、预测和生成的Token序列。

生成式AI是在既有上下文中预测后续Token的概率分布，而不是传统意义上的“理解意义”。它所生成的文本显得连贯、合理和具有知识性，其实更多源于其对海量语料中语言模式、统计关系和表达惯例的拟合，而不是因为理解了这个世界的因果。在此背景下，AI时代知识传播的机制发生了重要转向：知识成为可以被切分、训练、调用、计费和治理的计算对象，而不一定是被表达和传递的意义内容。

Token作为最小计算接口，既决定知识能否进入上下文窗口，也决定知识在模型中被表示、压缩和生成的成本。许多AI服务以Token为计费单位，这就意味着Token不仅是语言处理的技术单位，也在成为知识传播的资源单位、边界单位和权力单位。

Token如何改变数据成为知识的机制？本文拟从以下层面探究这个问题：第一，Token作为知识切分机制，如何将意义转化为可计算单位，并使知识传播出现工程化前置？第二，Token作为知识生成机制，如何使知识生产从表达逻辑转向概率逻辑，并改变知识合法性的形成方式？第三，Token作为秩序与权力机制，如何通过多语言表示差异、上下文窗口、计费规则和生成成本，重塑知识的可见性、可调用性与认知权力分配？

二、Token作为知识的切分机制

生成式AI带来的知识传播变化，首先体现在知识进入传播系统之前所经历的一次根本性转换。长期以来，人类社会默认知识首先以具有完整意义的形态存在，然后再通过媒介技术进入传播过程，其基本逻辑是：意义先于传播，传播服务于意义。但在大语言模型主导的生成式AI系统中，这一顺序正在被改写。知识若要进入机器系统，首先必须被切分、编码并转化为Token序列。传播的起点，从人类的意义读取，转向了机器的符号切分。

这就意味着知识传播底层条件的改变。对于模型而言，知识首先不是意义，而是数据；不是概念，而是序列；不是整体，而是可被拆分和重组的计算对象。所以，Token不是意义单位，而是计算单位。

Token化技术的发展本身就体现了计算逻辑。早期自然语言处理系统更多依赖于词典式分词，而随着深度学习的发展，研究者倾向于采用基于统计规律的子词切分策略，以提高模型的泛化能力与计算效率。这种基于统计规律而非语义完整性的切分机制，后来成为BPE等主流Token化方法的重要基础。其背后的逻辑，是如何更有效地计算语言，而不是如何更好地理解意义。

由此可见，Token化首先是一个工程问题，而不是解释问题，它关注的是如何将复杂、连续的人类语言转化为机器能够稳定处理的输入形式。

这种转换意味着知识传播出现了前所未有的工程化前置。传统传播研究关注媒介如何塑造信息的呈现方式，而在生成式AI时代，技术的介入提前到了知识进入传播系统之前——知识能否被处理、如何被处理，在其尚未生成最终文本之前便已被决定。

因此，Token化实际上构成了一种新的知识组织方式。它预先规定了语言进入系统的路径，如哪些表达形式更容易被压缩和编码、哪些关联更容易被捕捉和调用。知识进入传播系统之前，必须先经过一道工程化把关，它们被拆分、编码、嵌入，并被转译为模型能够识别的Token序列。意义由此被纳入计算流程。

Token化形成了新的“入口”，决定哪些内容能够被计算。知识传播的控制权因此从末端的渠道分发前移至前端的编码环节。Token化正在塑造一种新的知识形态，它将知识还原为可拆分、可迁移、可调用的计算单元。

三、Token作为知识生成机制

Token在知识生成环节，改变了知识被组织、被生产和被确认的逻辑。传统上人们通常将知识作为一种基于理解、推理与论证的表达活动。但大语言模型的“知识生产”，其底层运行机制遵循的并不是这一逻辑。它所执行的任务，是在既有上下文中不断预测下一个最有可能出现的Token。

这种差异意味着，生成式AI在推动知识传播从表达逻辑向概率逻辑转变。Transformer架构的核心任务，是根据前文上下文预测后续Token的条件概率分布。模型不是通过学习“世界是什么”来生成文本，而是通过学习“人类通常如何继续表达”来完成输出。

因此，AI生成内容的基本逻辑是在已有上下文的条件下，预测什么最有可能。知识生成的依据不是因果解释，而是概率接续。珀尔的“因果之梯”理论指出，人类认知至少包含三个层次：关联、干预与反事实。而大语言模型主要停留在“关联”层面。

生成式AI时代的知识呈现出一种新的特征：它将意义置于概率结构之中进行重新生产。

四、Token作为秩序机制：什么更容易成为知识？

当知识被普遍转化为Token之后，我们需要进一步考虑：所有知识都能够平等地进入模型、被调用和被传播吗？Token常常被视为中性的技术单位，它似乎只是为了提升计算效率而设计的语言切分方式。但其实，任何一种分类和编码体系都不只是技术选择，同时还是一种社会秩序的安排。Token不仅决定知识如何进入机器，而且决定什么样的知识更容易被机器理解、压缩、调用和传播。知识秩序也在从传播层面的可见性竞争，下沉到计算层面的“可表示性竞争”。

（一）知识入口的不平等：谁更容易进入模型？

不同语言在被Token化时，其表示效率存在显著差异，而这种差异会影响模型性能、使用成本以及知识传播机会。目前主流大语言模型大多建立在以英语语料为主体的数据基础上，其Token词表的构建也往往优先适配英语表达习惯。这种差异最终会转化为知识传播机会上的差异。在生成式AI时代，知识传播可能一开始就让某些语言/文化输在了起跑线上。

（二）从“数字鸿沟”到“词元税”：知识传播成本的再分配

多语言Token化研究中出现了“词元税”这个新概念。低资源语言往往需要消耗更多Token才能完成同等程度的信息表达，这意味着它们在商业模型中的使用成本更高、上下文效率更低。“词元税”实际上将Token问题从技术层面上升到了知识政治层面。不同知识进入智能生态，并不承担相同代价；不同语言参与全球知识流动，也并不拥有相同条件。因此，知识传播中的资源配置逻辑正在发生变化。Token由此成为新的资源分配机制。

（三）从知识可见性到知识可计算性：新的秩序原则

传播研究长期关注可见性。今天在生成式AI时代，秩序发生了变化，可计算性正在成为新的秩序原则。只有能够被有效Token化、被压缩进入上下文、被模型稳定表示的知识，才更有可能进入后续生成过程。

因此，Token不仅决定知识如何表达，还决定知识是否值得表达。知识秩序也在从意义取向转向计算取向，其结果是知识获得传播机会的条件正在发生改变。Token所构成的是一套关于知识流动的基础规则，而不是一个中性的语言接口。这个新规则可以决定什么更容易成为知识。

五、Token作为权力机制：认知权力的基础设施化

在生成式AI时代，权力开始渗透到知识运行的最小计算单元之中。Token不仅是技术上的输入输出单位，也正在成为认知运行的边界单位、资源单位与治理单位。如此，传播权力开始呈现新的形态：认知权力的基础设施化——权力以更隐蔽、更日常、更难以察觉的方式嵌入社会运行之中。

首先，这种决定权表现为上下文边界的设定。大语言模型的认知活动严格受制于上下文窗口，模型能够“看到”的世界取决于进入窗口的Token数量，窗口之外的内容，无论其多么重要，对于当前生成过程而言都相当于不存在。

这意味着，Token具有认知边界的划定功能。Token决定哪些知识能够进入当前语境，哪些知识必须被压缩、概括甚至删除。结构清晰、表达紧凑、易于压缩的知识更容易获得保留；而依赖长篇论证、复杂叙事与多重语境的知识，则更容易在窗口限制中被牺牲。什么能够进入上下文，什么就更容易进入认知。

其次，Token权力体现为生成成本的再分配。AI公司的商业服务大多按照输入Token与输出Token进行计费，因此，知识生产第一次以极其微观的形式被嵌入技术经济逻辑。认知权力获得了一种新的维度，即计算资源的分配权。

此外，Token权力还意味着知识合法性的再生产。知识的合法性开始部分转移至技术系统。

因此，认知权力的基础设施化，意味着权力正在内嵌于技术运行过程中。它以窗口容量、Token成本、记忆配置和生成偏好等形式，悄然塑造公众的认知环境。Token成了这种认知基础设施的微观运行单元。

六、结语与讨论

生成式AI引发的知识传播变革，实际上还改变着知识得以进入传播、形成传播并获得合法性的基础条件。Token这一看似微小的技术单元的运作机制，表明生成式AI时代的知识传播正在经历计算化重组，是一场从意义逻辑向计算逻辑、从表达实践向概率工程的深层转向。传统的知识传播是意义先于传播、传播服务于意义，而在大语言模型的运行中，意义并未消失，但它必须经过计算才能重新进入公共空间。

Token则成为知识传播新的基础设施。作为切分机制，Token改变了知识进入传播系统的方式；作为生成机制，Token改变了知识生产的认识论逻辑；作为秩序机制，Token通过表示效率与计算成本重塑知识传播机会；作为权力机制，Token成为认知基础设施的运行单元，重新分配知识进入认知空间的机会。由此，生成式AI正在改变知识，成为知识的条件。

围绕这一判断，本文认为至少有三个值得传播学进一步讨论的理论命题。

第一，传播一直是一种意义实践，但在生成式AI时代，仅仅关注意义如何被表达和接受，已经不足以解释知识传播的新变化。传播研究需要将计算纳入其核心分析框架。因此，传播研究的对象正在扩展，它不仅包括意义的流动，也包括意义如何被计算。

第二，知识合法性来源的变化正在改变知识传播。公众越来越多地通过生成式AI终端获取知识，知识的合法性开始部分让渡给技术系统，基础模型、训练语料、算法规则、检索机制与用户反馈形成协同。

第三，传播的权力历来与可见性密切相关，如今AI使之更转向可计算性。只有被有效Token化、被稳定表示、被纳入上下文窗口的知识，才有机会进入后续生成过程。

总之，Token正在重构知识传播的基础条件。生成式AI时代，机器负责预测下一个Token，但关于知识为何成立、意义如何被确认、何种价值值得被保留的最终判断，仍然无法完全交由概率来完成。这就需要我们揭示那些隐藏在Token背后的社会条件与权力结构，并在计算成为认知基础设施的时代，重新确立人类对于知识秩序的主体性。

（载《传媒观察》2026年第8期，原文约13000字，标题为《从意义到Token：生成式AI时代知识传播的计算化重组》，此为节选，注释从略，学术引用请参考原文。）

【作者简介】

陈昌凤，暨南大学国际传播研究院教授，清华大学新闻与传播学院教授

于丁，清华大学新闻与传播学院硕士研究生