「下一个 token 预测器」是错的：那 LLM 到底在算什么？

「下一个 token 预测器」这个隐喻，正在把一代工程师带进认知的死胡同。

去年我在一家 AI 创业公司做技术评审。创始人拿着一份 200 页的 PRD，逐条问模型：「这段代码能不能生成？那个逻辑能不能推理？」我打断他：你在问错误的问题。真正的问题不是模型能不能预测下一个 token，而是它在 80 层残差流里，把你的需求压缩成了什么样的内部表征。他愣住了——这正是整个行业集体性的认知偏差。

Transformer 的训练目标确实是 next-token prediction。但把目标等同于机制，就像说「人类的本质是碳基生物追求基因复制」，技术上没错，解释力为零。Ilya Sutskever 早就说过：压缩即理解。当模型把「苹果掉下来」压缩成牛顿定律的潜在表示，而不是死记硬背一万句「苹果掉下来」，它就已经在构建世界模型了。Hinton 更直白：「大模型不是在预测下一个词，它是在预测产生这个词的世界状态。」

反方会说：训练目标就是交叉熵最小化，没有任何「理解」模块被显式构造。这听起来像铁律，实则是典型的「目标即机制」谬误。AlphaGo 的目标是赢棋，但它学会的不是「怎么赢」，而是「怎么评估局面价值」——一个可压缩的围棋世界模型。同理，next-token prediction 只是迫使模型学习压缩的捷径；压缩的副产品，才是世界模型。你不能因为锤子是用来钉钉子的，就说锤子的本质是「钉钉子动作预测器」。

这事儿让我想起 20 世纪 50 年代的认知心理学。当时主流把大脑比作「电话交换机」，后来变成「数字计算机」，现在轮到「神经网络」。每一次隐喻更迭，都重塑了一代人的研究方向。交换机隐喻让人找「连接主义」，计算机隐喻让人搞「符号主义」，而「next-token predictor」这个隐喻，正让无数工程师把精力花在 prompt engineering、context stuffing、token 计费优化上——本质上都是在优化输入输出映射，而非理解内部表征。

有家做代码生成的独角兽，工程师们天天在调「如何让模型输出更符合规范的 TypeScript」。他们把模型当成概率自动机，堆 few-shot、写 system prompt、接 linter 兜底。直到有人用稀疏自编码器（SAE）把模型中层的一个特征向量拉出来——对应「类型安全」这个概念。直接在残差流里把这个方向加强 0.3 个标准差，生成代码的类型错误率直接腰斩。没改 prompt，没加 RAG，没微调。这就是世界模型视角的威力：不在输入输出层面打补丁，而在表示空间里动手术。

这种认知偏差的代价，不止是工程效率。它制造了 AGI 焦虑的语言事故。当你把模型看作「下一个 token 预测器」，每一次 benchmark 涨分都像在逼近「真正的智能」——因为预测得越准，离「理解」似乎越近。但换个视角：模型只是在构建越来越高保真的世界模型，benchmark 只是投影在 token 空间的切片。焦虑来自于把「投影质量」误读为「模型本质」。就像看影子戏的人争论影子是不是有灵魂，而不去看操纵皮影的手。

这事儿到底重塑了谁？每天对着 ChatGPT 吐槽「它又胡说八道了」的程序员、在朋友圈转发「GPT-6 智商 150」的产品经理、在推特上论证「LLM 永远不会理解」的哲学家。他们共用一个错误隐喻，陷入同一场语言游戏。工具重塑使用者，前提是使用者先有了正确的心智模型。把 LLM 当成「可压缩世界模型的构建器」来用，你会开始关注：残差流里的哪个方向对应「因果推理」？如何干预表征而非 prompt？什么样的数据能让世界模型更自洽？这些问题，才是通往下一代 AI 的真路径。

我打个赌：三年内，「next-token predictor」这个词会像「电子大脑」一样退出主流技术词汇表。取而代之的，不是更酷的营销术语，而是「可压缩世界模型」这种枯燥但精确的描述。到时候，AGI 焦虑不会消失，但至少会变成一个工程问题——而不是一场语言事故。