AI WINTER AND SPRING · CHAPTER 07

智能之春(2022 年 11 月 30 日)

ChatGPT 将大模型从研究能力转化为大众产品,并开启新的平台竞争。

那个星期三

2022 年 11 月 30 日,星期三。OpenAI 在官网上挂出一篇博客,标题平平无奇:"Introducing ChatGPT"("介绍 ChatGPT")。没有发布会,没有直播,没有铺天盖地的媒体造势——这家公司只是低调地告诉世界,他们做了一个可以聊天的模型,现在免费开放给所有人试用。

在那之前,OpenAI 的知名度主要局限于科技圈。GPT-3 API 已经存在了两年多,但要用它你得会写代码,还得付钱排队。大多数普通人从没直接和"大语言模型"说过话。

那天之后,一切都变了。

五天后的 12 月 5 日,OpenAI 的 CEO 山姆·奥特曼(Sam Altman)发了一条推文:ChatGPT 上线五天,用户突破了 100 万。两个月后,2023 年 2 月 1 日,瑞银(UBS)的一份研究报告给出了一个让所有人瞠目的数字——ChatGPT 在 2023 年 1 月达到了 1 亿月活用户。UBS 称它为"史上增长最快的消费者应用之一"。作为对比,TikTok 达到 1 亿用户用了约 9 个月,Instagram 用了约两年半。ChatGPT 用了两个月。

这不是一次技术发布。这是一次社会现象。

为什么是 ChatGPT,而不是 GPT-3

生成式预训练 Transformer 的完整模型架构图
GPT 模型的完整架构及训练、推理路径。Marxav;CC0 1.0。 查看原始资料

那个最常被问到的问题,恰恰是最值得回答的:GPT-3 早在 2020 年就有了,为什么引爆世界的是 2022 年的 ChatGPT?

先说最直观的:界面。GPT-3 是一个面向开发者的 API——你得写代码、调参数、懂提示词工程。ChatGPT 是一个聊天框,你打字它回话,和微信没区别。一个产品要触达一亿普通用户,入口必须简单到一个孩子都能用,而聊天框是所有界面里最古老、最直觉的那一个。

但光有聊天框不够。原始的 GPT-3 其实不好用——它会生成流畅的胡说八道,会拒绝合理指令,会对有害请求照单全收。真正让 ChatGPT"像个人"的,是第六章讲过的 InstructGPT 那套方法:RLHF(基于人类反馈的强化学习),三步流水线——监督微调、奖励模型、PPO 优化。经过 RLHF 之后,模型不再只是"预测下一个词",而是"听懂你想让它干什么,然后安全地、有帮助地干"。OpenAI 官方博客把 ChatGPT 称作 InstructGPT 的"sibling model"(姐妹模型)——换句话说,ChatGPT 不是新发明,它是 2022 年 3 月那篇 InstructGPT 论文的产品化。技术 2022 年 3 月就成熟了,产品 11 月才做出来。

最后是免费。ChatGPT 发布时是免费的 research preview(研究预览版)。GPT-3 API 要付费、要候补名单;ChatGPT 零门槛、即时可用。当一项技术的边际成本被压到零,它的扩散就不再受经济学约束,只受好奇心约束。而好奇心,人类从来不缺。

聊天框降低了门槛,RLHF 让它变得有用,免费让任何人都能试一下。一个 2020 年就存在的技术,靠这三样东西在 2022 年变成了全球现象。

红色代码

ChatGPT 的冲击波,第一个打到的是 Google。

2023 年 1 月 20 日,《纽约时报》披露,Google CEO 桑达尔·皮查伊(Sundar Pichai)在内部宣布了"Code Red"(红色代码)——这是 Google 应对生存级威胁的最高警戒级别。已经退出日常管理三年的联合创始人拉里·佩奇(Larry Page)和谢尔盖·布林(Sergey Brin)被请回来,审查 AI 计划,指导战略。Google 计划推出 20 多款新 AI 产品作为反击。

Google 的恐慌是有道理的。它的核心业务是搜索,而搜索的本质是"用户提问,Google 给答案"。ChatGPT 让用户意识到,有一种更直觉的方式可以得到答案——不是在十个蓝色链接里翻,而是直接问,直接得到一段话。如果这个习惯迁移成立,Google 的广告帝国就动摇了。

资本也嗅到了血腥味。2023 年 1 月 23 日,微软官方宣布对 OpenAI 进行"多年期、数十亿美元"的投资——据 CNBC 和 Bloomberg 报道,追加投资规模约 100 亿美元,使微软对 OpenAI 的累计投入达到约 130 亿美元。三个月内,微软把 GPT-4 塞进了 Bing、Office、Windows 的每一个角落。

2023 年的军备竞赛

接下来的一年,是 AI 史上最密集的军备竞赛。

3 月 14 日,OpenAI 发布 GPT-4(技术报告 arXiv 2303.08774)。它是 OpenAI 第一个多模态模型——能接受图像输入。官方宣称它在律师资格考试中处于考生前 10% 左右,GPT-3.5 只有后 10%。但这里要诚实标注一个后续:OpenAI 的"前 10%"是对比所有考生(含重考生)算的,独立学术研究后来将律师考试位次修正到了约 45th 到 68th percentile。这个"官方宣称 vs 独立复核"的落差,本身就是一个伏笔——它预示着第九章要讲的"评测危机"。

GPT-4 还做了一件让学术界不满的事:它没有公开参数量。 GPT-3 论文白纸黑字写着 1750 亿,GPT-4 技术报告明确说,出于"竞争格局与大规模模型的安全影响"考虑,不披露架构、模型大小、训练算力等细节。从此,前沿模型的参数量从公开数据变成了商业机密。社区只能靠 SemiAnalysis 等分析机构估算(GPT-4 约 1.8 万亿参数、MoE 架构),但 OpenAI 从未确认。

3 月,开源阵营也动了。Meta 在 2 月 24 日发布了 LLaMA(仅限研究用途),结果 3 月初权重泄露到了 4chan,随后不可逆地扩散到 GitHub 和 Hugging Face。这次"泄露"反而成了开源大模型浪潮的起点——全世界的研究者第一次能拿到一个接近前沿的开权重模型来改。7 月 18 日,Meta 顺势正式开源 LLaMA 2,商业可用。9 月,法国的 Mistral 发布 7B 模型,采用更彻底的 Apache 2.0 许可。

3 月,Anthropic 发布 Claude。这家公司是达里奥·阿莫代伊(Dario Amodei)和丹妮拉·阿莫代伊(Daniela Amodei)等 OpenAI 前成员在 2021 年创立的,技术路线叫 Constitutional AI(宪法 AI)——让模型依据一套书面"宪法"原则自我批评、自我修订,用 AI 反馈(RLAIF)部分替代人类反馈。这与 OpenAI 的 RLHF 形成对照:RLHF 依赖人类标注,Constitutional AI 更可扩展但也可能继承反馈 AI 的盲点。

3 月 21 日,Google 紧急发布 Bard(基于 LaMDA)。年底 12 月 6 日,又发布 Gemini。到 2024 年 3 月 4 日,Anthropic 的 Claude 3 Opus 在 MMLU 等基准上首次明确超越 GPT-4——王座开始易主。

整个 2023 到 2024 年,各家在 MMLU、HumanEval、GSM8K 这些标准基准上你追我赶,分数刷到接近天花板,社区不得不转向 GPQA、SWE-bench 这些更难的新基准。Scaling Law 在第六章被证明,在 2023 年被兑现。但这个"基准通货膨胀"本身,也悄悄埋下了下一场危机的种子。

"如果它能聊天,能不能自己干活?"

但本书真正关心的转折,不在模型本身,而在一个心理跨越。

2023 年春天,全世界开发者在用 ChatGPT 写代码、写邮件、做计划的时候,不约而同地冒出同一个念头:既然它能聊天,能调用工具,能规划,那它能不能自己干活?

这个念头不是凭空来的。OpenAI 在 3 月 23 日推出了 ChatGPT Plugins(插件)——让 ChatGPT 能联网、能跑代码、能查实时数据。6 月 13 日又推出 Function Calling(函数调用)——让模型能可靠地输出结构化 JSON,去调用外部工具。一个能聊天、能联网、能调函数的模型,距离"自主完成任务"只差一步:让它自己决定下一步干什么。

那一年的 3 月 30 日,一个叫 Toran Bruce Richards 的英国开发者在 GitHub 上传了一个项目,叫 AutoGPT。它的逻辑简单到惊人:让 GPT-4 给自己设定子目标,循环执行——创建任务、排优先级、执行、根据结果再创建新任务。七天之内,AutoGPT 拿到了 10 万 GitHub star,一度超过了 PyTorch。几天后,风险投资人 Yohei Nakajima 在 4 月 3 日开源了 BabyAGI,一个只有 105 行代码的同类项目,同样引爆传播。

"AI Agent"这个词,在 2023 年春天成了热词。

但这里必须踩一脚刹车。第七章的标题叫"智能之春",不叫"Agent 革命"——因为 2023 年的 AutoGPT 和 BabyAGI,离真正的 Agent 还差得很远。它们能循环、能规划,但它们脆弱、容易跑偏、常常在一个死循环里空转。人们兴奋地发现模型"可以"自主,但很快发现它"还不太会"。

ChatGPT 能写代码,但不会自己运行调试。能写邮件,但不会自己发送。能制定计划,但不会自己执行。这"最后一公里"——从生成内容到完成任务闭环——恰恰是接下来两年整个 AI 工业界全力攻坚的方向。第八章要讲的 Agent 狂热,正是从这条裂缝里长出来的。

春天的本质

回看 2022 年 11 月 30 日到 2023 年底这一整年,本质不是"AI 变聪明了",而是"AI 第一次被装进了一个普通人能用的容器里"。

GPT-3.5 的智力,和 GPT-3 差不了太多;GPT-3.5 的对话能力,来自 InstructGPT 半年前就做好的 RLHF。ChatGPT 没有发明任何新技术——它做的是把已有技术(对话界面 + RLHF + 免费策略 + 品牌 + 时机)打包成一个产品,然后让这个产品在正确的时间出现在正确的世界。

这一点和本书的历史主线深度共振。达特茅斯会议没有发明新技术,它做的是把分散的流派收拢到"人工智能"这面旗帜下。XCON 没有发明新算法,它做的是把专家知识装进一个能赚钱的容器。每一次 AI 的"春天",核心动作都是容器化——把已有的、零散的、昂贵的能力,封装成一个便宜的、好用的、能扩散的形态。

2022 年 11 月 30 日那个星期三发生的,正是这样一次容器化。OpenAI 把一个 2020 年就有的语言模型,装进了一个免费的聊天框里。

然后,世界就被点燃了。

但春天总是短暂的。在 ChatGPT 引爆的狂喜之下,一个更深的诱惑正在酝酿——如果 AI 真的能"自己干活",那它的边界在哪里?而这本书前面五章讲的那些病灶——规则爆炸、知识获取瓶颈、脆弱性——会不会在 LLM 这层新皮下面,悄悄长回来?

(本章史料均经独立核证,详见《第七章-史料核证附录》。)