Thinking Machines 发布开放权重模型 Inkling

Simon Willison11 天前

Mira Murati 创立的 Thinking Machines Lab 发布了其首个开放权重模型 Inkling

Inkling 是一个多模态模型,采用 Mixture-of-Experts(MoE)Transformer 架构,参数规模为 975B 总参数、41B 激活参数。该模型使用文本、图像、音频和视频等数据训练,训练规模为 45 万亿 token,并采用 Apache-2.0 许可

Inkling-Small 仍在测试

Thinking Machines Lab 还计划推出一个较小版本 Inkling-Small

  • 总参数:276B
  • 激活参数:12B

不过,该版本仍在测试中,权重将在相关工作完成后发布。

模型卡与训练数据说明较为简略

Inkling 的模型卡相对简短。其训练数据说明中提到,Thinking Machines Lab 用于开发 AI 服务的数据集包括:

  • 公共领域内容;
  • 可能受知识产权保护的内容;
  • 来自开放互联网和公开数据仓库的公开可访问内容;
  • 从第三方获得的部分数据集。

这些说明并未提供更细粒度的数据组成、过滤方式或授权细节。

官方定位:不是前沿最强模型,而是可定制基础模型

Thinking Machines Lab 明确表示,Inkling 并不是当前开放或闭源模型中整体能力最强的模型。它的定位更偏向于一个适合定制和微调的开放权重基础模型。

其核心卖点包括:

  • 多模态能力;
  • 较高效的推理能力;
  • 可在 Tinker 训练平台上进行微调。

也就是说,Inkling 更像是为开发者和研究者提供的可改造底座,而不是直接对标最强闭源模型的通用旗舰模型。

开放权重生态的新成员

Inkling 采用 Apache-2.0 许可,这对开放权重生态具有实际意义。它也被认为有机会与来自中国的开放权重模型形成竞争,同时加入美国开放权重模型阵营中已有的 NVIDIA Nemotron、Gemma 4 等项目。

一个简单多模态测试

测试中,Inkling 被要求生成“骑自行车的鹈鹕”的 SVG 图像。随后,该 SVG 被渲染为 JPEG,并再次提交给 Inkling 进行图像描述。

模型在描述自己生成的图像时,将图中的鸟识别为“类似鹳或海鸥”的白色鸟,而不是明确识别为鹈鹕。它描述的画面包括:

  • 一只风格化白色鸟,拥有橙色长喙;
  • 一辆黑色车架、双轮带辐条的自行车;
  • 蓝天、白云、太阳和绿色丘陵背景;
  • 整体风格为明亮、简洁的扁平矢量卡通插画。

这个例子显示了 Inkling 的生成与视觉理解能力,同时也暴露出图像语义一致性上的小偏差:它能生成并描述图像,但对“鹈鹕”这一目标对象的识别并不完全稳定。

观察

Inkling 的意义不在于宣称成为最强模型,而在于提供了一个开放权重、Apache-2.0 许可、多模态、可微调的大规模 MoE 基础模型。对于需要在自有任务上做定制训练的团队,它可能比单纯追求通用榜单成绩的模型更值得关注。

评论

请登录后发表观点

暂无数据