AGI 通过现有架构的渐进式改进逐步涌现。人类与 AI 发展共生关系——AI 增强人类智能而非取代它。经济生产力飙升,通过全民基本收入和再培训项目实现平稳过渡。
一旦 AI 达到改进自身代码的能力,智能爆炸将在数月内发生。先行者获得决定性战略优势。对齐成为人类历史上最重要的技术挑战。
主要政府和公司协调减缓 AGI 发展,对超过一定算力阈值的训练实施全球暂停。AGI 在 2035 年而非 2028 年到来,为对齐研究争取时间。
2028 年的 AGI 和 2035 年的 AGI 之间的区别,就是有计划物种与措手不及物种的区别。
多个 AGI 从不同实验室同时涌现,具有不同的架构、目标和价值体系。结果既非乌托邦也非反乌托邦,而是一个竞争性超级智能的复杂生态。
我们发现规模法则存在根本性限制。每增加一个数量级的算力收益递减。真正的 AGI 需要架构上的突破,而非仅仅规模,而这些突破比预期更难。