摘要：OpenAI在2022年8月开始训练一个125万亿参数的多模态模型，第一阶段被称为Arrakis，也被称为Q*。该模型于2023年12月完成训练，但由于高昂的推理成本，发布被取消。这是原计划在2025年发布的GPT-5。由于原GPT-5被取消，Gobi（GPT-4.5）已被更名为GPT-5。

Q的下一阶段，原定名为GPT-6，但后来更名为GPT-7（原计划在2026年发布），由于Elon Musk最近的诉讼而暂停。Q 2025（GPT-8）计划在2027年发布，实现完全的AGI。

Q* 2023 = 48智商

Q* 2024 = 96智商（推迟）

Q* 2025 = 145智商（推迟）

Elon Musk的诉讼导致了延迟。这就是我现在透露信息的原因，因为不会再造成任何伤害。

GPT-3向AGI迈出的一大步

AGI的定义多种多样，但我简单将其定义为一种可以完成任何聪明人能完成的智力任务的通用人工智能。现在大多数人都是这样定义的。

2020年，我第一次被一个人工智能系统震惊，那就是GPT-3。GPT-3.5是GPT-3的升级版，也是现在著名的ChatGPT背后的模型。当ChatGPT发布时，我感觉全世界终于追上了我两年前就在与之互动的东西。我在2020年大量使用了GPT-3，并对它的推理能力感到震惊。

GPT-3及其半步后继者GPT-3.5（它为现在著名的ChatGPT提供支持——在被升级到GPT-4之前），在向AGI迈进方面迈出了巨大的一步，而早期的模型并没有这样的成就。需要注意的是，早期的语言模型如GPT-2（以及自Eliza以来的几乎所有聊天机器人）根本没有真正连贯回答的能力。那么，GPT-3为什么能够取得如此巨大的飞跃呢？…

参数与人工智能的发展

20世纪50年代的研究成果，结合了一些小的工程解决方案，如“反向传播”和“变压器模型”。总的来说，70年来人工智能研究并没有发生根本性的变化。因此，人工智能能力爆炸性增长的真正原因只有两个：规模和数据。

越来越多的人开始相信，我们已经解决了AGI的技术细节，但直到21世纪，我们才拥有了足够的计算能力和数据来构建它。显然，21世纪的计算机比20世纪50年代的计算机强大得多。当然，所有这些数据都来自于互联网。

那么，什么是参数呢？你可能已经知道了，但为了简单易懂，可以这样概括：它类似于生物大脑中的突触，是神经元之间的连接。生物大脑中的每个神经元大约有1000个连接到其他神经元。显然，数字神经网络在概念上与生物大脑相似。

所以，人类大脑中有多少突触(或“参数”)？大脑中突触数量的最常见的估计是大约100万亿，这意味着人类大脑中每个神经元(大约1000亿个)大约有1000个连接。这里揭秘者拿出了耶鲁大学的神经科学的论文。

从进化的角度来看，大脑在数十亿年的表观遗传数据上“训练”而来，而人类大脑通过更高质量的社交和交流数据进化而来，这导致了我们更卓越的推理能力。不过，突触数量绝对是重要的。

同样，自2010年代初以来，人工智能能力的爆炸性增长是由于有了更强大的计算能力和更多的数据。GPT-2有15亿个连接，这甚至比不上老鼠的大脑（大约100亿个突触）。GPT-3有1750亿个连接，这已经相当接近猫的大脑了。难道直觉上不明显吗，一个像猫大脑那么大的AI系统肯定会比一个比老鼠大脑还小的AI系统更出色？

2020年，在1750亿参数的GPT-3发布后，许多人开始推测一个参数数量约为100万亿的模型，因为这一参数数量与人类大脑的突触数量相匹配。尽管在2020年还没有明确的迹象表明有人正在积极开发这样规模的模型，但对此进行推测仍然很有趣。

那么，是否可以通过参数数量来预测AI的性能呢？答案是可以的，接下来我们会看到相关证据。接着拿出了Lukas Finnveden发表在lesswrong网站的关于Extrapolating GPT-N performance推测GPT-N性能的图，如下（到这里詹特曼我想说：开始不负责任的编了，原文其实是非常经典的文章，同时交叉发表在alignmentforum.org上）

原文可见：

https://www.lesswrong.com/posts/k2SNji3jXaLGhBeYP/extrapolating-gpt-n-performance

Lanrian在他的帖子中提到，尽管他计算的突触数量为200万亿参数，而不是通常提到的100万亿参数，但这个观点依然成立，并且100万亿参数的性能已经非常接近最优水平。

值得注意的是，尽管100万亿参数在性能上略有不足，OpenAI正在使用一种工程技术来弥补这一差距。我将在文档的最后部分解释这一点，因为它对OpenAI正在构建的内容至关重要。

Lanrian的帖子只是众多类似帖子中的一篇——它是基于先前模型性能跃迁的预测。OpenAI肯定有更详细的指标，并且他们得出了与Lanrian相同的结论，我将在后面的文档中展示这一点。

所以，如果AI的性能可以根据参数数量来预测，并且大约100万亿参数足以达到人类水平的表现，那么100万亿参数的AI模型何时会被发布呢？（又引用的X中runaway的Siqi Chen的一些表述）

他提及OpenAI开发100万亿参数模型首次提及在2021年夏季，Cerebras公司CEO（Sam Altman是主要投资者）在连线采访时随口提到如下图：

到这里詹特曼想说：理性吃瓜🍉，后面的内容其实没有必要翻译的，如果也希望了解，点击下方关注公众号：赛博詹特曼，回复【吃瓜】，公众号后台会发送Q star info.pdf 给您。

正如X中原帖Q star的回复所言，更适合娱乐阅读，要持怀疑态度。