关于递归自我改进、中美 AI 差距与能力跃迁的讨论

背景

本期访谈嘉宾是 Epoch AI 的 Jean-Stanislas “JS” Denain。他是该机构 Insights Team 的负责人，长期关注 AI 发展轨迹、AI 研发自动化、中美 AI 能力差距等议题。

访谈的核心基调并不是给出确定判断，而是承认当前对 AI 未来路径存在很大不确定性，并尝试梳理可观察到的证据与分歧。

主要议题

访谈涵盖了以下主题：

• 对递归自我改进（RSI）的预测
• 机器人在 AI 加速中的作用
• 中国模型与前沿模型之间的差距
• 蒸馏是否能解释模型差距
• 中国 AI 实验室招聘信息透露出的线索
• 开源模型与闭源模型哪个更安全
• Epoch AI 的研究方式
• 前沿模型后训练流程可能包含什么

RSI：公开证据还不足以证明“即将爆发”

讨论从递归自我改进开始。JS Denain 提到，OpenAI 和 Anthropic 都发布过关于 AI 加速 AI 研发的文章，但他认为公开材料本身并不能构成强证据，证明即将出现自我维持的 AI 能力加速，或 AI 研究员工作的完全自动化。

他认为比较值得关注的公开信号之一，是 AI 系统在模型部署和研发流程中的使用增加。例如 OpenAI 文章中显示，研究人员在 Codex 上的支出出现快速增长。不过，他也强调这一数据的解释并不简单：这可能反映研究人员确实从工具中获得了大量价值，也可能受到统计口径影响，例如此前部分使用发生在 ChatGPT 中而未被同样记录。

因此，他的判断是：这些迹象值得追踪，但还不能直接推出“六个月内会发生软件智能爆炸”。

内部指标可能比外部信息更细，但未必说明已经失控

主持人提出一个问题：AI 实验室内部是否看到了外界无法获得的指标，因此对风险和加速更警惕？

JS Denain 的回答较为谨慎。他表示自己并没有完整内部信息，也不认为目前有明确证据表明 OpenAI 或 Anthropic 内部正在看到某个外界完全无法接触、且足以让人“极度恐慌”的特定信号。

但他也承认，内部团队可能掌握更细粒度的指标，例如：

• AI 工具对预训练团队效率的提升倍数
• 各团队内部 KPI 的变化
• AI 系统在研发环节中的实际使用强度
• 不同团队产出结合后对最终模型性能趋势的影响

这些指标如果快速变化，可能会成为早期预警信号。不过，他认为近期公开讨论本身还不足以说明这些内部指标已经“失控式上升”。

AI 加速与存在性风险：分歧主要来自能力预期

在谈到递归自我改进和存在性风险的关系时，JS Denain 表示自己非常不确定，但确实对相关风险感到担忧。他提到，对于十年尺度内至少 10% 的存在性风险估计，他认为这类判断并非不合理，但自己仍保持高度不确定。

他认为许多分歧的核心在于：人们对 AI 能力会在多快时间内达到多高水平，有不同预期。

他的观点可以概括为“能力是主要变量”：

• 如果 AI 系统能力没有达到极端水平，许多更激进的风险场景就不会发生。
• 如果 AI 系统在研发、项目管理、科学发现、工程执行等方面快速变强，则经济增长、机器人、工厂管理和硬实力变化都可能被重新评估。
• 对极端风险场景更怀疑的人，往往也更不相信 AI 能力会在短期内达到非常夸张的水平。

“能力极端情景”会是什么样？

当被问到未来几年里“能力极端主义”会表现为什么时，JS Denain 提到类似“AI 2027”这样的情景：AI 自动化 AI 研究流程，从而推动更快的能力进展。

他认为，如果这种能力提升外溢到现实世界，可能表现为：

• 机器人技术显著进步
• 工业生产出现强加速
• AI 系统管理工厂和复杂项目
• 形成某种可自我维持的经济系统
• 科学研究速度大幅快于传统预期

但这些都取决于现实世界瓶颈有多强，例如实验、制造、部署、组织协调和物理基础设施能否跟上软件能力进展。

中美 AI 差距与蒸馏问题

访谈还讨论了中国模型与前沿模型之间的距离，以及蒸馏是否能够解释差距。

从章节安排看，相关讨论包括：

• 中国模型到底落后多少
• 蒸馏在缩小或解释模型能力差距中扮演什么角色
• 中国 AI 实验室的招聘信息能透露哪些研发方向与组织状况

由于材料中未完整呈现这一部分的详细论证，这里不延伸出额外结论。

开源与闭源：安全性不是简单二选一

访谈还安排了“开源或闭源模型哪个更安全”的讨论。该问题通常涉及多个维度：能力扩散、外部审计、滥用风险、集中控制、研究透明度等。

现有材料只显示该议题被纳入讨论，但没有完整展开具体观点，因此不能据此归纳出明确结论。

前沿后训练配方

访谈最后还讨论了前沿模型的后训练流程可能是什么样子。章节中提到“frontier post-training recipe”，说明内容可能涉及从基础模型到可用助手模型之间的训练流程，包括指令微调、偏好优化、工具使用、评测反馈等方向。

不过，当前材料没有提供完整细节，因此只能确认该话题属于访谈范围，不能补充未出现的技术细节。

小结

这期讨论的价值在于，它没有把 AI 加速简单描述成确定将发生的爆炸，也没有否认当前信号值得严肃追踪。

可以归纳出几条谨慎判断：

1. 公开证据显示 AI 正在越来越多地参与 AI 研发流程，但尚不足以证明递归自我改进已经临近临界点。
2. 大型实验室内部可能拥有更细粒度指标，但外界目前很难判断这些指标是否已经发生质变。
3. 对 AI 风险的分歧，很大程度上来自对未来能力水平和时间线的不同判断。
4. 机器人、工业系统和现实世界瓶颈，是评估 AI 加速是否会转化为现实影响的重要变量。
5. 中美模型差距、蒸馏、开闭源安全和后训练配方，都是理解当前 AI 竞争格局的重要问题，但需要更多完整材料才能得出可靠结论。