“注意力”是智力的本质吗？

自 2022 年 ChatGPT 发布以来，席卷全球的一切——“人工智能经济”；数据中心；聊天机器人充当最好的朋友、医生和数学家；谈论存在风险——从某种意义上说，这一切都始于蒙特利尔大学实验室的一名实习生，名叫德兹米特里·巴德瑙(Dzmitry Bahdanau)。那是 2014 年，这位 23 岁的白俄罗斯人从小就开始参加编程竞赛，但之前从未做过学术研究，他被要求帮助弄清楚如何让计算机将句子从英语翻译成法语。巴德瑙正在研究人工神经网络，该网络已经在模式识别任务中显示出前景，例如破译笔迹和识别照片中的物体。网络通过响应训练数据加强和削弱节点之间的连接来学习识别模式。 Bahdanau 悄悄地怀疑它们实现人类智能水平的潜力，但他的顾问、计算机科学家 Yoshua Bengio 和该项目的博士后 Kyunghyun Cho 都是信徒。翻译被广泛认为是神经网络需要解决的一个艰巨而有趣的问题。在哲学中，“感受性”指的是我们体验的主观品质：爱丽丝看到蓝色或鲍勃感到高兴是什么感觉。正如已故哲学家丹尼尔·丹尼特所说，感受性是“事物在我们看来的方式”。在这些文章中，我们的专栏作家追随他们的好奇心，探索重要但不一定可以回答的科学问题。翻译并不像将每个英语单词替换为法语单词那么简单。语言具有不同的语法结构，并且充满了习语和内涵，所有这些都长期以来阻碍了自动化过程的尝试。你不能简单地实施翻译规则，因为根本不存在翻译规则。但神经网络似乎很有前途，因为它们通过实例进行学习。他们可以接受包含英语和法语配对句子的庞大数据库的训练，最终吸收准规则、例外和微妙之处。但结果却很平庸。句子越长，神经网络的表现就越差。这是因为研究人员试图在用目标语言解码句子之前将每个句子的数据塞进固定数量的内存中。这是限制翻译复杂程度的瓶颈。网络架构不正确。所以巴达瑙尝试了一些不同的东西。 “这显然是正确的做法——科学界偶尔会发生这样的事情，对于在该领域不太有经验的人来说，这一点非常清楚，”他在蒙特利尔对我回忆道，他仍在蒙特利尔从事人工智能工作。 “而且它就成功了。从第一次尝试开始。” Bahdanau 的技巧是一种被他、Cho 和 Bengio 称为“注意力”的数学运算，使他们的神经网络能够翻译长句子和短句子。这意味着该方法是可扩展的。当时的其他人工智能研究人员很快将注意力融入到他们的神经网络设计中。然后，在 2017 年，谷歌的一个团队设计了一种称为 Transformer 的新型神经网络架构，它增强了注意力方法并剥离了其他一切。该团队的论文《Attention Is All You Need》报道称，Transformers 实现了最先进的翻译，同时只需要训练先前模型所需的一小部分计算量。这篇论文已被引用超过 25 万次，是人工智能领域的一个分水岭。 ChatGPT 和 Claude 等大型语言模型紧随其后。考虑到所释放的惊人力量，我们有必要问一下这种注意力机制到底是什么，为什么它是“你所需要的一切”，以及为什么机器翻译是解锁这一切的任务。注意力是我们理解单个人工智能模型如何与我们对话、诊断疾病、生成真实视频、解决长期存在的数学问题等的一种方式。它是否在某种程度上处于智能的核心——人工智能还是其他智能？含有“it”等代词的句子说明了注意力所克服的挑战。想一想：“动物没有过马路，因为它太累了。”并且：“这只动物没有过马路，因为它太宽了。”为了将这些句子正确翻译成法语，人工智能模型必须确定第一个句子中的“it”指的是动物，这是法语中的男性词，因此翻译应该使用代词 il 的这种形式。但在第二句话中，“it”指的是街道，这是一个阴性词，需要不同的代词 elle 。机器如何解决这个问题呢？它就奏效了。从第一次尝试开始。德兹米特里·巴达瑙 (Dzmitry Bahdanau) 巴达瑙记得他在学校学习英语时做过翻译练习。为了写出翻译句子的每个下一个单词，他必须浏览一下源文本才能弄清楚接下来应该写什么。 “从字面上看，你的源语句就在