Kimi 发布 2.8 万亿参数开源模型 K3
Moonshot AI 发布 Kimi K3,这是一款 2.8 万亿参数、原生支持视觉输入、上下文窗口达 100 万 token 的模型。公司称其为首个达到 3T 级别的开放模型,并计划于 2026 年 7 月 27 日前发布完整权重;模型现已在 Kimi.com、Kimi Work、Kimi Code 和 API 提供。
K3 使用 Kimi Delta Attention、Attention Residuals 与稀疏 MoE 架构,每次激活 896 个专家中的 16 个。官方称,相比 Kimi K2,其整体缩放效率约提升 2.5 倍;在一项 GPU 内核优化测试中,模型将 AttnRes 前向加反向耗时从 283.6 毫秒降至 114.4 毫秒。
