Poolside AI 的“模型工厂”:从代码模型到 Laguna S

Latent Space4 天前

近期,围绕开放与闭源、美国与中国、模型所有权以及主权/本地 AI 的讨论持续升温。在这样的背景下,Poolside AI 发布了新模型 Laguna S 2.1,并强调其开放权重和开放研究路线,引发了不少关注。

Poolside 联合创始人 Eiso Kant 在访谈中介绍了公司过去十余年的技术路径:从很早就投入代码语言模型,到今天建立一套能够快速训练、评估和发布模型的“模型工厂”。

从代码模型到 AGI 路线

Eiso Kant 很早就押注“代码是通向 AGI 的路径”。在 ChatGPT 引发行业转折之前,他曾投入多年时间和约 1200 万美元构建面向代码的语言模型。

他提到,ChatGPT 的出现像是一种验证:过去关于语言模型、代码生成和智能系统的长期判断终于被市场和行业看见。Poolside 后续也重新强调开放权重与开放研究,希望基础模型市场不被少数公司垄断。

他表达过一个观点:即便 Poolside 能成为少数领先基础模型公司之一,他仍更希望看到一个拥有 100 家基础模型公司的世界,而不是只有 5 家巨头的寡头格局。

Laguna S 2.1:118B MoE 与长上下文

Poolside 最新发布的 Laguna S 2.1 是其目前能力最强的模型之一。根据公开介绍,该模型具备以下特征:

  • 总参数量 118B
  • Mixture-of-Experts 架构
  • 每 token 激活 8B 参数
  • 上下文窗口最高可达 100 万 token
  • 支持 thinking 与 no-thinking 两种模式

Poolside 表示,Laguna S 2.1 能够与体量大得多的模型竞争。相关讨论中还提到,它在部分场景中超过了近期发布、规模接近约 1T 开放权重模型的表现。不过,具体评测结果仍应结合测试集、任务类型和使用方式理解。

“模型工厂”:把模型训练变成可迭代工程系统

访谈的核心是 Poolside 所称的 Model Factory。它不是单一模型,而是一整套从预训练到发布的工程与研究系统。

这套系统涉及:

  • 每月约 10,000–20,000 次实验
  • 数据直接流式进入训练流程
  • 实验可复现
  • 不可变数据与版本化代码
  • 低精度计算
  • 自动化评估与任务调度
  • 代理参与编写代码、启动训练、评估结果并修改训练流水线

Poolside 称,少于 70 名研究人员即可运行这种规模的实验。公司也将模型迭代周期从过去约 6 个月,缩短到 5 周或 8 周级别的发布节奏。

Eiso 认为,模型构建最终很大程度上是工程问题。他在访谈中提到,模型构建可能有 90% 是工程,而大量能力提升可以归结为更好的数据或更高的计算效率。

为什么重视可复现与数据流

Poolside 特别强调实验可复现性。对于模型研究而言,如果数据、代码、训练配置和评估流程不可追踪,就很难判断一次模型提升究竟来自哪里。

因此,Poolside 在系统设计中强调:

  1. 不可变数据:保证训练数据版本稳定,避免实验结果难以复盘。
  2. 版本化代码:让模型训练流程、评估脚本和管线变更可追踪。
  3. 流式数据训练:减少数据准备和实验启动的等待时间。
  4. 高频实验:通过大量实验缩短反馈周期。

这也是“模型工厂”概念的关键:不是靠偶发灵感推进模型,而是让研究和工程流程能够稳定、持续、批量地产出结果。

小模型仍有大量潜力

Laguna S 的讨论中,一个重点是“小模型到底还能做多少知识工作”。Eiso 认为,模型能力并不只取决于参数规模。持久性、验证能力和回溯能力,可能在很多任务中比单纯的“原始智能”更重要。

也就是说,一个模型如果能够持续尝试、检查结果、发现错误并回退修正,就可能在实际任务中表现出比参数规模暗示的更强能力。

这也解释了 Poolside 为什么关注模型与运行环境、评估系统和任务 harness 的协同设计。模型本身不是孤立运行的,外部工具、反馈机制和执行环境会直接影响最终能力。

强化学习可能更早进入预训练

访谈还讨论了训练范式的变化。Eiso 认为,强化学习未来可能会更早进入预训练阶段,而不是只在后训练或对齐阶段发挥作用。

此外,他也认为当前的 next-token prediction 仍未充分挖掘 Web 中的知识。换句话说,互联网数据中仍有大量可学习信息,但现有训练目标和流程未必能高效提取。

开放权重与开放研究的区别

Poolside 强调开放,但访谈中也区分了“开放权重”和“真正开放研究”。

开放权重意味着外部开发者可以下载或使用模型参数;而开放研究还包括更详细的训练方法、系统设计、实验经验和技术报告。Poolside 最近的技术报告之所以受到关注,也与其细节披露程度有关。

Eiso 还表示,希望更多有能力的研究者离开原有实验室,成为 Poolside 的竞争者。这与其偏好的多家公司竞争生态一致。

组织与产业格局

Poolside 刻意建立了一个全球化研究组织,而不是只在湾区人才竞争中争夺研究人员。访谈还涉及更广泛的产业话题,包括:

  • 基础模型训练的真实经济成本
  • Poolside 曾完成 5 亿美元融资
  • 开源 AI 与监管
  • NVIDIA 与 TSMC 对前沿模型公司的影响
  • Agent 时代的工程生产力
  • 高自主性团队与招聘

值得关注的信号

Poolside 的故事反映了当前基础模型竞争中的一个重要趋势:模型能力不只来自参数规模,也来自训练系统、数据工程、实验速度、评估机制和组织效率。

如果“模型工厂”这类体系能够持续缩短模型迭代周期,那么未来基础模型公司的竞争可能会越来越像高强度工程平台之间的竞争,而不只是单次大模型发布之间的比较。

评论

请登录后发表观点

暂无数据