苦涩的宗教：人工智慧围绕扩展套件法则展开的圣战

在人工智慧领域，信仰与技术的交汇形成了一场激烈的辩论，围绕着「扩展法则」的有效性与未来发展展开。本文探讨了这一「苦涩宗教」的兴起、分歧以及可能的影响，揭示了信仰与科学之间的复杂关系。人工智慧社群陷入了一场关于其未来以及是否有足够的规模来创造上帝的教义之争。本文源自 Mario Gabriele 所着文章，由 Block unicorn 整理、编译。 （前情提要： 马斯克的xAI完成60亿美元C轮融资，辉达、贝莱德、a16z…一众行业大咖参投） （背景补充： 辉达明年推出人形机器人运算平台「Jetson Thor」物理AI的ChatGPT时刻降临？） 人工智慧的圣战 我宁愿把我的一生过得像有上帝一样，等到死才发现上帝是不存在的，也不愿意过得像没有上帝一样，等到死才发现上帝是存在的。—— 布莱兹・帕斯卡 宗教是一件有趣的事情。可能因为它在任何方向上都是完全无法证明的，也可能就像我最喜欢的一句话：「你不能用事实来对抗感情。」 宗教信仰的特点是，在信仰上升的过程中，它们以一种难以置信的速度加速发展，以至于几乎无法怀疑上帝的存在。当你周围的人越来越相信它时，你怎么能怀疑一个神圣的存在呢？当世界围绕一个教义重新排列自己时，哪里还有异端的立足之地？当寺庙和大教堂、法律和规范都按照一种新的、不可动摇的福音来安排时，哪里还有反对的空间呢？ 当亚伯拉罕宗教首次出现并传播到各大洲时，或者佛教从印度传播到整个亚洲时，信仰的巨大动能创造了一个自我强化的回圈。随着更多的人皈依，并围绕这些信仰建立了复杂的神学体系和仪式，质疑这些基本前提变得越来越困难。在一片轻信的海洋中，成为异端并不容易。宏伟的教堂、复杂的宗教经文以及繁荣的修道院，都作为神圣存在的物理证据。 但宗教的历史也告诉我们，这样的结构是多么容易崩溃。随着基督教传播到斯堪的纳维亚半岛，古老的北欧信仰在仅仅几代人的时间里就崩溃了。古埃及的宗教体系持续了数千年，最终在新的、更持久的信仰崛起并在更大的权力结构出现时消失了。即便是在同一种宗教内部，我们也看到了戏剧性的分裂 —— 宗教改革撕裂了西方基督教，而大分裂则导致了东西教会的分裂。这些分裂往往从看似微不足道的教义分歧开始，逐渐演变成完全不同的信仰体系。 圣典 上帝是超越所有智力思维层次的隐喻。就是这么简单。—— 约瑟夫・坎贝尔 简单地说，相信上帝就是宗教。也许创造上帝也没什么不同。 自诞生以来，乐观的人工智慧研究人员就将他们的工作想像成神创论 —— 即上帝的创造。在过去几年中，大型语言模型 (LLMs) 的爆炸式发展，进一步的坚定了信徒们的信念，认为我们正走在一条神圣的道路上。 它也证实了 2019 年写的一篇部落格文章。尽管在人工智慧领域外的人们直到最近才知道它，但加拿大电脑科学家理查德・萨顿的《苦涩的教训》已成为社群中越来越重要的文字，从隐秘的知识逐渐演变成一种新的、包罗永珍的宗教基础。 在 1,113 个字中（每个宗教都需要神圣的数位），萨顿总结了一项技术观察：「从 70 年的人工智慧研究中可以学到的最大教训是，利用计算的通用方法最终是最有效的，而且是巨大的优势。」人工智慧模型的进步得益于计算资源的指数级增加，乘着摩尔定律的巨大波浪。 与此同时，萨顿指出，人工智慧研究中许多工作集中在通过专门的技术来优化效能 —— 增加人类知识或狭窄的工具。尽管这些优化可能在短期内有所帮助，但在萨顿看来，它们最终是浪费时间和资源的，犹如在一个巨大的浪潮到来时，去调节冲浪板的鳍或尝试新的蜡。 这就是我们所谓的「苦涩宗教」的基础。它只有一条戒律，社群中通常称之为「扩展套件法则」：指数级增长的计算推动效能；其余都是愚蠢的。 苦涩宗教从大型语言模型（LLMs）扩展套件到世界模型，现在正通过生物学、化学和具身智慧（机器人学和自动驾驶车辆）这些未被转化的圣殿迅速传播。 然而，随着萨顿学说的传播，定义也开始发生变化。这是所有活跃而充满生命力的宗教的标志 —— 争论、延伸、注释。「扩展套件法则」不再仅仅意味着扩展套件计算（方舟不只是一艘船），它现在指的是各种旨在提升变压器和计算效能的方法，其中还带有一些技巧。 现在，经典囊括了优化 AI 堆叠每个部分的尝试，从应用于核心模型本身的技巧（合并模型、专家混合 (MoE) 和知识提炼）一直到生成合成资料来喂养这些永远饥饿的神，其间还进行了大量的实验。 交战的教派 最近，人工智慧社群中掀起的一个问题，带有圣战的气息，就是「苦涩的宗教」是否仍然正确。 本周，哈佛大学、斯坦福大学和麻省理工学院发表了一篇名为《精度的扩展套件法则》的新论文，引发了这场冲突。该论文讨论了量化技术效率增益的终结，量化是一系列改善人工智慧模型效能并对开源生态系统大有裨益的技术。艾伦人工智慧研究所的研究科学家 Tim Dettmers 在下面的帖子中概述了它的重要性，称其为「很长一段时间以来最重要的论文」。它代表了过去几周不断升温的对话的延续，并揭示了一个值得注意的趋势：两个宗教的日益巩固。 OpenAI 执行长 Sam Altman 和 Anthropic 执行长 Dario Amodei 属于同一个教派。两人都自信满满地表示，我们将在未来大约 2-3 年内实现通用型人工智慧 (AGI)。Altman 和 Amodei 都可以说是最依赖「苦涩宗教」神圣性的两位人物。他们的所有激励措施都倾向于过度承诺，制造最大的炒作，以在这个几乎完全由规模经济主导的游戏中积累资本。如果扩展套件法则不是「阿尔法与欧米伽」，最初和最后、开始和结束，那么你需要 220 亿美元做什么？ 前 OpenAI 首席科学家 Ilya Sutskever 坚持不同的一套原则。他与其他研究人员（包括许多来自 OpenAI 内部的研究人员，根据最近泄密的资讯）一起认为，扩展套件正在接近上限。这个团体认为，要维持进展并将 AGI 带入现实世界，必然需要新的科学和研究。 Sutskever 派合理地指出，Altman 派的持续扩展套件理念在经济上是不可行的。正如人工...