整个世界是个巨大的 transformer。

这话我一开始是当笑话说的，「世界是一个巨大的草台班子」那个句式的又一个变体而已。但是这个变体比大部分同类都要经得起想一想，因为它想说的其实是一件很朴素的事：下一秒的世界，是从上一秒的状态里采样出来的。

自回归就是这个意思。没有哪一秒是从头开始的。这一秒的输入是上一秒的输出，而上一秒的输出又是上上秒采样的结果，一路往前接，接到你不想接为止。你今天早上做的那个决定，前面挂着一条长得看不见头的上文，你只是在这条上文的末尾又续了一个 token。

温度也不是零。同样的上文可以生成不同的下文，所以这个版本的世界每一步都在一个分布里掷一次骰子，比决定论那种无聊的版本有意思。这一点比钟表宇宙那个老比喻要贴近实感得多。

至于「全局注意力」那一层，我承认是硬凑的。但是它凑得动。

标准的自注意力允许序列里任意两个位置直接发生关系，隔多远都行。你要是想把这条也强行解释一遍，也不是解释不了：此刻的状态确实依赖于过去所有的状态，包括一百年前某个人某天突然的突发奇想。有人某天坐在那里想了一下自由下落是怎么回事，一百年后这个念头的权重就挂在你口袋里。

这个例子可以给一个具体的数。GPS 卫星上的原子钟因为跑得快、离地球远，速度效应让它每天慢约 7 微秒，引力效应让它每天快约 45 微秒，两边一抵，净剩每天快约 38 微秒。俄亥俄州立大学 Richard Pogge 那份被引用了无数次的说明写得很直接：这 38 微秒要是不修正，定位在两分钟之后就已经是错的，误差会按每天大约 10 公里的速度往上累积。

工程上的处理办法更好玩：钟在发射之前就被故意调慢了。一篇解释这件事的报道给了那个数字，标称频率是 10.23 MHz，出厂的时候设成 10.22999999543 MHz，等它飞上去被相对论加速了，正好回到 10.23。

也就是说，你手机上那个蓝点之所以能落在你身上，而没有落到十公里外的湖里，是因为一百年前有个人想了一件跟导航毫无关系的事，而工厂里有人把这个念头折算成了小数点后第九位。这就是长程依赖。这个 token 隔了一百年，权重一点没衰减到零。

softmax 这里正好有一条性质可以拿来用。指数函数的输出恒大于零，所以归一化之后，上文里每一个 token 拿到的权重都是严格的正数。没有哪一段历史的权重恰好是零。可能小到 10 的负十几次方，小到你这辈子都不会注意到它，但是它不为零。

这句话我觉得是这个比喻里最有意思的部分。

当然，真要按全局注意力那么活是活不了的。一个 8000 多年的上文，两两配对是天文数字，谁也算不动。人实际上是拿滑动窗口在过日子，记得住上周，记不住前年，再往前只剩下几个所有人都必须回头看一眼的固定点——1945，工业革命，你历史课本上加粗的那几行。这几个点谁都在盯，谁都往那儿分一份权重，跟长上下文模型里那几个 attention sink 是一样的角色。

工程上大家也确实往这个方向走。MiniMax 那篇稀疏注意力的论文在相关工作里把提效路线分成两类，一类是干脆换掉稠密 softmax，另一类是保留 softmax 但是把感受野限制住，局部窗口加全局 token 加滑动窗口配 attention sink，就是后面这一类。造 transformer 的人自己也在把「所有人注意所有人」砍成「大部分时候只看邻居，外加几个大家都盯着的锚点」。

所以这个比喻真要成立的话，世界是稀疏注意力的那一种。这个反而更像真的。

还有一条对得上的，是自回归模型那个人尽皆知的毛病：一步错，后面步步都在错的上文上继续生成。模型不会退回去改，它只会把已经写下的东西当成既成事实往下接。这条在现实里的对应物太多了，多到不用举例。

比喻当然就是比喻。我不打算论证世界的底层真是十二层 decoder，那种论证一开始就没什么意思。而且拿手边最贵的机器去解释世界这件事，本来就是一个非常稳定的人类习惯。塞尔有一段话被引用了几十年，一篇脑网络的论文把它放在引言开头：因为我们并不真的理解大脑，我们就总是忍不住拿当时最新的技术当模型；他小时候所有人都向他保证大脑是一台电话交换机，理由是「What else could it be?」；谢灵顿觉得大脑像电报系统，弗洛伊德把它比作液压和电磁装置，莱布尼茨说它像一座磨坊，而某些古希腊人认为它的工作方式像投石机。

液压的时代有液压的灵魂，钟表的时代有钟表的宇宙，交换机的时代有交换机的大脑。现在最贵的机器是 transformer，所以现在轮到 transformer。五十年之后大概会有人觉得这个比喻很可爱，就像我们现在看投石机那样。

不过在被换掉之前，它至少让我看清楚一件事。

我今天做的每一个决定，上文里都挂着一百年前某个人某天下午的突发奇想。那一项的权重小得可以忽略不计，我算不出来，也感觉不到。它只是不等于零而已。