Thinking Machines Lab 发布开源权重模型 Inkling

Thinking Machines Lab 发布 Inkling,一款从头训练的 Mixture-of-Experts Transformer,提供完整模型权重。该模型总参数量为 975B、每次激活 41B,支持最长 100 万 token 上下文;预训练数据包含文本、图像、音频和视频,共 45 万亿 token。团队同时预览了 Inkling-Small,其激活参数量为 12B,采用相近训练方案以降低成本和延迟。
Inkling 原生支持文本、图像和音频推理,并允许控制思考强度;官方明确表示,它并非当前综合能力最强的开源或闭源模型,而定位为可定制的多模态基础模型。模型现可在 Tinker 上微调,并提供面向开发者的 Playground。文章还展示了模型通过 Tinker 编写训练任务、把自己微调为不输出字母“e”的模型,并在约 27 分钟后切换至新权重的演示。








