GPT-3 登场：1750 亿参数模型带来的震动与疑问

5 月底，一份长达七十多页的论文悄悄挂到了 arXiv 上，标题很朴素——《Language Models are Few-Shot Learners》。但只要在自然语言处理圈子里待过，扫一眼作者名单和第一句就知道分量不轻：OpenAI 的团队训练了一个拥有 1750 亿参数的自回归语言模型，代号 GPT-3。6 月 11 日 OpenAI 官方博客正式对外介绍这个模型之后，整个 AI 圈的讨论热度持续了大半个月。作为长期关注预训练模型的人，我仔细读完了论文和放出的演示，下面把自己的判断记录下来，供同样在跟踪这条线的朋友参考。

一、参数规模又一次被拉到新量级

GPT-3 最直观的冲击是数字。1750 亿参数，是上一代 GPT-2 的一百多倍，比此前任何非稀疏语言模型都大十倍。模型基于 96 层的 Transformer 结构，训练用到的文本量接近五千亿个词元，差不多把互联网上能抓到的公开文本都吃了一遍。负责训练的算力成本没有公开，但业内普遍估计这个量级的训练需要数百张顶级 GPU 跑上几个月，烧的钱以千万美元计。

这种规模军备竞赛不是第一次。从 BERT 到 GPT-2，从 T5 到 XLNet，过去三年 NLP 领域的主线之一就是把模型做大。但 GPT-3 把这条路走到了一个让很多人意外的量级，它直接证明了一件事：只要规模堆得足够大，模型在大量任务上的表现会持续提升，并没有像很多人预期的那样早早撞墙。Scaling Law 这个词，因为这篇论文重新回到了讨论中心。

回想三年前，BERT 刚出来的时候，整个 NLP 圈子都在惊叹预训练加微调的范式；两年前 GPT-2 发布，人们还在争论这么大的模型是不是危险；这一次 GPT-3 直接跳过了微调这个环节，靠提示词里的几个例子就能干活。范式的迁移速度比很多人预想的快。论文团队超过三十位作者，这种规模的协同研究本身也说明，大模型已经不是一两个实验室的小课题，而是一项需要重资源投入的系统工程。

二、少样本学习才是真正的看点

比起参数数字，我更在意的是 GPT-3 展示出来的学习方式。过去要让一个模型做好某个任务，比如写文案、做翻译、解算术题，标准流程是用大量标注数据对模型做微调。GPT-3 走的是另一条路：你在提示词里给它几个例子，它就能照着样子继续做下去，论文里把这叫做少样本、单样本甚至零样本学习，全程不需要任何梯度更新。这对小团队来说是个好消息——没有标注数据，也能用上大模型的能力。

演示给人的印象非常深刻。你给它一两段产品描述，它就能接着写出风格一致的营销文案；你给它几个外语对照的例句，它就能直接开始翻译；你甚至可以让它假装是 Linux 终端，从命令到文件输出模拟得有模有样。这种能力第一次让人们直观地感觉到，大模型不再只是阅读理解工具，而是一个可以通过自然语言对话驱动的通用推理引擎。论文里也承认，它在一些常识推理和算术任务上仍然会犯低级错误，但瑕不掩瑜。

我印象最深的是它的写作能力。给它一个主题和几段示例，它能写出结构完整、语气自然的长文，除了偶尔出现的事实错误，普通读者几乎分辨不出这是机器写的。过去几年，自动写作一直被认为是 NLP 里最难商业化的方向，因为语言的连贯性和创造性很难量化；GPT-3 在这个方向上一下子把水平拉高了一大截。当然，论文也记录了它的翻车现场：面对需要多步推理的题目，它会一本正经地给出荒谬答案。这种能力和缺陷并存的状态，恰恰说明我们对大模型的理解还很浅。

三、产业界的两种反应

论文发布之后，产业界的反应分成了两派。乐观派认为，这会从根本上改变软件的交互方式——未来的应用不再是一个个按钮界面，而是直接对话，产品团队只需要设计好提示词和输出约束。OpenAI 也在博客里暗示，这个模型会以某种 API 的形式向开发者开放，只是还没有给出具体时间表。

谨慎派的担心也很实在。第一是成本，训练一次就要千万美元级投入，只有少数几家公司玩得起，AI 能力会进一步向巨头集中；第二是滥用风险，这么强的文本生成能力，可以批量写新闻、写邮件、甚至写钓鱼内容，虚假信息的生产成本会趋近于零；第三是事实性，模型不知道自己不知道什么，一本正经地胡说八道的问题在演示里已经多次出现。这三点在论文的局限性章节里，作者自己也都提到了。

OpenAI 在博客里反复强调的一点是，他们对这个模型的能力持谨慎态度，担心被滥用，所以并没有立刻对外开放全部接口。这种一边兴奋一边警惕的态度，在过去发布模型时很少见。从行业惯例看，这说明他们自己也清楚模型已经踩到了能力的临界点——再往上走一步，性质就变了。

四、对国内从业者的启发

作为国内的技术观察者，我更关心这件事对我们自己的启发。第一，预训练大模型这条路被再次验证，国内大厂和科研机构跟进只是时间问题，算力、数据、人才这三件事一个都不能少；第二，少样本学习的思路会改变应用开发的范式，过去大量靠规则和小模型堆出来的功能，未来可能被一个大模型加提示词替代；第三，围绕大模型的安全、对齐、内容审核会成为一个独立的研究方向，而不是等产品做出来之后再补的课。

我个人的判断是，GPT-3 不会是终点，而是新一轮规模竞赛的起点。接下来一两年，更大的模型、更便宜的推理、更开放的生态，会是这个领域的主线。对做应用的人来说，与其争论模型到底有没有智能，不如早点动手，想清楚自己的产品里哪一段流程最适合被大模型改写。

顺便说一个行业里正在讨论的细节：这么大的模型，一次推理的成本也不低，到底怎么商业化是个难题。按调用次数收费、按生成字数收费、还是打包进订阅，OpenAI 还没有给出答案。但从开发者社区的反应看，大家对这种能力的渴望是真实的——一旦接口放开，第一批吃螃蟹的人不会少。我会持续跟进后续的开放动作，有进展再和大家分享，毕竟这可能是未来十年最重要的技术变量之一。

当模型大到一定程度，量变就开始被人叫做质变。GPT-3 不是答案，但它告诉所有人，答案在这个方向上。接下来谁能把这个能力用好，谁就可能重新定义下一代软件。