别争了！香农老婆，才是世界上第一个大语言模型

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 别争了！香农老婆，才是世界上第一个大语言模型 henry 2026-07-05 11:51:37 来源： 量子位 70年前，香农就拥有了端侧私人定制大语言模型 henry 发自 凹非寺 量子位 | 公众号 QbitAI 别争了！ 世界上第一个明牌自己是大语言模型的人，可能是香农的老婆。 1950年前后的某一天晚上，咱们的信息论鼻祖 香农 跟老婆 贝蒂 在客厅做了一个小实验。 实验里，香农扮演着一个拿着书本考试的教官，Betty则扮演一个做 做词语接龙 的学生，根据香农的提示，猜下一个字母。 具体的，香农会从书中某一段开始，一个字母一个字母往后走。 每到一个位置，他先不报答案，而是先问贝蒂，下一个字母是什么？ 就这样，贝蒂猜，香农记。 猜错了，香农写下正确字母。猜对了，他画一个短横。 这样一来，就像上面图里展示的那样，一段完整的英文被拆成了两部分： 贝蒂已经能预测的地方，用短横带过；贝蒂预测不了的地方，才需要把原字母写下来。 乍一看，这画面有点像什么高知伉俪玩的饭后游戏。 但在 3Blue1Brown 最新的视频里，这个实验被放回了一条更大的线索里—— 它可能是人类历史上最早的一场 真人版next-token prediction 。 更进一步，借由香农的例子，3Blue1Brown主理人 Grant Sanderson 还探讨了一个从信息论一路通向大语言模型的问题： 为什么预测下一个token这件看起来再简单不过的事，会和压缩、熵，甚至智能扯上关系？ 而答案，可能就藏在贝蒂画掉的那些短横里。 LLM只是一场猜字母实验？ 尽管Grant的视频已经讲得足够清楚，但为了更平滑一些，咱还是先回到香农和贝蒂那个实验。 表面上看，香农和贝蒂玩的点像双人语音版填字游戏，一个给前文，一个猜下一个字母。 比如，在英文里t后面很可能跟着h，所以当香农给出线索t的时候，贝蒂很可能会回答h。 换成中文，其实也差不多。比如，当你看到一个「你」，后面很可能接好，来组成「你好」。 但香农真正关心在意的，可能并不是贝蒂猜得准不准，而是猜对之后，会发生什么。 就像我们开头提到的，实验最后得到的那个转录版本，真实字母比原文少得多。 贝蒂猜对的地方，只剩一个短横。贝蒂猜错的地方，才保留原来的字母。 看上去， 字是变少了 ，但在某种意义上，它包含的 信息量没有变 。 原因也很简单。 如果香农能复制出另一个一模一样的贝蒂，再让她看这份缩短版文本，她理论上仍然可以把原文复原出来。 而这，就是「可预测性允许压缩」最直观的版本。 这很好理解，就像你跟哥们聊天一样。 一开始表达同意，你们会说「好的」，到后面变成「OK」，再后来只剩一个「k」，到最后甚至只是一个唐人表情包就足以心领神会。 表达越来越精简，并不是因为信息消失了，而是因为双方已经知道上下文，所以没必要把完整形式再打一遍。 不过相信聪明的大伙已经发现了，香农这个实验有点问题： 人不是机器。贝蒂这次猜对的字母，下次未必还会猜对。一个人两次面对同一段前文，也未必会给出完全一样的答案。 所以，虽然这个实验能说明 语言可以被预测，所以语言可以被压缩 ，但它还不能精确测量语言到底有多少信息。 于是乎，香农后来把这个实验做得更系统。 在后续发表的论文 Prediction and Entropy of Printed English 中，香农找来更多受试者，不再只记录猜对还是猜错，而是记录一个人需要猜多少次，才能猜中正确的下一个字母。 猜一次就中，说明这个字母在当前上下文里很容易预测，如果猜很多次才中，就说明它更意外。 换句话说，香农其实在用一套方法，把猜了几次转换成受试者心里对正确字母的隐含概率。 这一步很关键。 因为同一个位置，不同人会给出不同猜法。有人第一次就猜中，有人猜到第五次才猜中。差别不在字母本身，而在每个人脑子里那套对英文的判断。 所以，香农测的不是书本上的静态词频，他测的是人如何根据自己的上下文来分配概率。 看到th，下一个字母可能是e，也可能是a。到底先猜哪个，猜到第几次才轮到正确答案，背后都是这个人对英文的理解在排序。 到这，相信你也看出来了。 香农这是把人当成语言模型整了，而他的妻子Betty，可能就是第一个明牌自己在做next-token prediction的人。 只不过那个模型不是Transformer，是人脑。 这些人脑知道语法、常识、上下文、语感，也知道一段英文接下来大概率会怎么走。 而香农干的，就是不断地追问：下一个字母是什么？ 预测和压缩，大模型的一体两面 到这里，贝蒂的任务其实就已经完成了： 她用自己的模型（大脑），划掉了一段文本里 可以被预测的部分 。 后面香农找来更多受试者，本质上也都是在做同一件事： 把 能够预测的部分划掉 ，只留下那些预测不了、必须写出来的字母。 于是，原本的长文本，就这样被 压缩成了一份更短的新文本 。 所以，顺理成章的，我们会想： 假如一个人，读过一本书，就能靠自己的语言经验，预测书里一部分字母，从而把它压缩得更短； 那么，有没有一个模型，能吃下整个互联网，然后预测各种上下文里的空白呢？ 或者换一个更AI的说法： 模型能不能把语言里的规律，压进自己的参数里？ 答案是肯定的，但先别急着往大模型上靠。 在这之前，Grant视频里还有一个更底层、也更值得探讨的问题： 怎么判断一种压缩方式，到底好不好？ 最简单的标准当然是： 越短越好。 如果一段信息里还有规律可找，还有冗余可删，那它就还能被继续压缩。 反过来说，如果一段信息已经被压缩到极限，所有能预测、能概括、能利用的规律都被榨干了，最后剩下的是什么？ 没错，就是 信息 。 在香农那里，信息有个经典的定义： 一件事到底有多出乎意料。 如果一句话的下一个字母几乎已经板上钉钉，那它就没携带多少新信息。 但如果下一个字母完全猜不到，它就真的需要被写出来。 这也是为什么Grant会说，一个理想的压缩算法，压到最后，输出应该看起来像随机噪声。 因为，噪声没有模式。 每一位都像独立抛硬币，50%是0，50%是1，彼此之间没有任何可利用的关系。 没有模式，就没有规律可学；没有规律可学，就没有冗余可删；没有冗余可删，也就没有继续压缩的空间。 所以，随机噪声不是因为「乱」才重要。它重要，是因为它代表了一种极限状态： 所有可预测的东西都已经被拿走了，剩下的每一位都必须被传输。 到这里，预测和压缩这两件事也就真正扣上了。 预测，是在问： 哪些部分可以不用写？ 压缩，是在做： 把不用写的部分删掉。 而信息，就是最后那些无论如何都必须写下来的东西。 信息量 如果你看到这里，香农那个著名公式也就不再像一个凭空冒出来的数学定义了。 假设一条消息出现的概率是p，那么它的信息量就是-log₂(p)。 根据这条曲线，发生概率越小，信息量越大；发生概率越大，信息量越小。 用刚才那套话说就是：越容易被预测出来的东西，信息量越小。越难以预测的东西，信息量越大。 而从压缩的角度看，这个公式问的其实是