永恒的沉睡

我现在称之为，在软件开发中采用人工智能代理将是该领域历史上代价最高的错误之一。特工无法编程，并且需要越来越长的时间才能意识到他们无法编程。它们是一种高度复杂的统计模型，旨在模仿编程的分布。输出被破坏了，但是以一种越来越难以检测的方式被破坏了。这正是您对日益准确的统计模型的期望。起初，我拒绝了这一点。我接受了 Twitter 对状态焦虑的解释。我通过我的编程能力来定义我的一些自我价值，所以针对这种损失采取防御措施难道不是有意义的吗？否认模型可以像我一样长时间地编码以保护我的自我？我的意思是，很明显，他们可以解决如果我一生都致力于解决的数学问题。那么为什么他们不能编程呢？也许我只是不够优秀，无法认识到他们的天才。过去六个月我真的很努力。我和代理一起写了tinygrad的一些部分。我通过代理反转了 USB <-> PCIe 芯片。但每次我都怀疑我可以手动完成得更好更快。代理会预先加载所有进度，然后给你一个老虎机杠杆，让你拉动，希望它能完成打磨。它永远不会到达那里。之前，“你用错了。”我尝试过所有不同的型号、不同的安全带、不同的提示。不是这个。说这句话的人可能也会对老虎机说同样的话，你看，你得到一颗樱桃后必须下注 5 条线，难怪你不会赢！我并不是说人工智能没有用，它显然是有用的。对于大多数搜索来说，这绝对是一个更好的谷歌。每当你需要一个快速原型并且不关心润色时，它的速度都快得离谱。但这是软件工程师吗？我工作过的任何一家公司都离酒吧不近。关键是知道何时使用它，何时不使用它。我更多地考虑了自我价值保护的问题。 AFL 发现的 bug 比 LLM 多，但没有人对此有这样的感觉。国际象棋和围棋比以往任何时候都更受欢迎。我他妈的等不及拥有大量值得信赖的机器人同事来清理我的代码！我并不担心失去地位，我几乎认为这是某种推销特工的心理战。对损失的恐惧是促使大公司采取行动的唯一方法之一。尽管我认为他们在这种恐惧中犯了一个大错误。与高绩效个人或小型组织相比，特工最终对大型组织的伤害更大。在过去 6 个月里，我观察了我的朋友和同事如何采用这些工具。你会在所有高绩效人士身上发现一个特质，那就是纠正错误的能力，而且他们大多善于发现问题所在。需要花一些时间来探索/利用和调整外循环，何时使用它们、何时信任它们、如何使用它们等等……但我还没有看到他们中的任何人转向一个不仔细阅读和理解每一行的模型，除了在一些有限的领域之外。将此与大型组织进行对比。反馈循环要慢得多，对齐要少得多。表现最差的人不会进行自我检查。他们通过代理产生了 10 倍的产出。您认为该组织的平均产出发生了什么变化？世界平均产出发生了什么变化？代理最终将生成比以往更多的代码、更多的应用程序和更多的功能。这是一桶桶污水的黄金时代，也是优质宝石的黑暗时代。我听说苹果正在向所有工程师推广人工智能。当人们进行抽象思考时，他们认为人工智能会做所有这些事情，但让我们关注一个具体的例子。您认为 macOS 在未来 2 年内会变得更好还是更糟？当人们看到一件文物时，他们会对用于创建它的过程做出假设。他们甚至不假思索地认为创造者基本上具有人类的心态。这个假设不再正确。事情可能会以以前不可能的方式被破坏，而像语法和语法这样的旧的潜在质量代理是没有用的。人工智能生产的人工制品与人类人工制品的生产过程不同，这种差异虽然在统计数据上极其微妙，但当您尝试以人类的方式与人工制品进行交互并在其基础上进行构建时，这种差异就会变得显而易见。虽然我不完全赞同他们所有的想法，但我现在在法学硕士方面属于 LeCun/Marcus 阵营。我不认为这样的模型能够编程，我认为过程很重要。我认为深度学习仍然是解决方案，但真正的编程代理将需要世界模型，而不是一些 RLVR 狗屎，它会注释掉失败的测试并告诉您所有测试现在都已通过。这个时代的真实故事将是谁设法避免在人工智能精神病中伤害自己。