Kimi K3 发布：2.8 万亿参数的开源前沿模型，距 GPT-5.6 和 Fable 5 仅一步之遥

原文来源：Kimi K3 Official Blog — 全球首个开源 3T 级大模型，2.8 万亿参数，多项创新架构设计，在多个基准上接近或超越闭源前沿模型

2026 年 7 月 16 日，Moonshot AI 正式发布了 Kimi K3——一个 2.8 万亿参数的开源大模型，官方称之为"全球首个开源 3T 级模型"。消息一出就炸了 Hacker News（超过 1900 个点赞），Bloomberg、The Information 等主流媒体纷纷报道。这不是一个普通的模型发布——这是在开源和闭源之间的差距上，又撬开了一道大口子。

Kimi K3 的定位

先给个坐标系。Kimi K3 的定位很清晰：它是开源阵营的旗舰，但不是世界第一。

在 Moonshot 官方公布的基准测试中，Kimi K3 的表现是这样的：

全面击败 Claude Opus 4.8 Max 和 GPT-5.5 High
接近但稍逊 Claude Fable 5 和 GPT-5.6 Sol
在 Arena.ai 前端代码赛道上排名第一，甚至超过了 Claude Fable 5

换个角度看：如果你要找一个能用、敢用、不太贵的开源模型，Kimi K3 是目前最接近闭源一线的选择。

Simon Willison 在他的博客中分享了一个有趣的细节——他用经典的"鹈鹕骑自行车"SVG 测试来体验 Kimi K3。结果模型生成了 16,658 个 token（其中推理 token 13,241 个），输出了一张质量不错的 SVG。整个过程花了大约 $0.25。

这个测试本身并不重要，但它揭露了一个关键信息：Kimi K3 当前始终以最大推理力度运行，没有低推理模式可选。这意味着它确实很聪明，但也确实不便宜。

—— 广告 ——

定价策略

Kimi K3 的 API 定价走的是"能力对标前沿，价格接近中端"的路线：

项目	Kimi K3	Kimi K2.6	对比
Input（缓存 Miss）	$3.00/MTok	$0.95/MTok	~3×
Output	$15.00/MTok	$4.00/MTok	~3.75×
每任务成本	$0.94	—	与 GPT-5.6 Sol 的 $1.04 相当

值得注意的是，Moonshot 声称在编程场景下缓存命中率超过 90%，这意味着大部分实际使用场景中，有效成本会低很多。Artifical Analysis 的评测也显示，Kimi K3 每任务的 token 消耗比 K2.6 还少了 21%。

技术架构：不是为了参数数量做的创新

2.8 万亿参数当然是个很大的数字，但 Moonshot 这次在架构上的创新更有看点。

Kimi Delta Attention（KDA）

这是 Kimi K3 最核心的创新。简单说，传统的注意力机制在处理超长序列时，计算量会随着序列长度平方增长。KDA 通过一种高效的注意力计算方法，使得在百万 token 级别的上下文中保持可行的计算成本。配合 100 万 token 的上下文窗口，Kimi K3 在长文本理解上表现出色——在 BrowseComp 基准上达到了 90.4 分。

Attention Residuals（AttnRes）

这个设计更巧妙。传统的 Transformer 在每一层都均匀地累积信息，但 Attention Residuals 允许模型选择性从不同深度层中提取表征。用白话讲：不是所有层对所有信息都同样重要，有些信息在浅层就够了，有些需要深入到很底层。AttnRes 让模型自己决定从哪层取信息。

Stable LatentMoE

Kimi K3 使用了 MoE（混合专家）架构，激活 896 个专家中的 16 个。Moonshot 在这上面做了两个改进：

Quantile Balancing — 不再用启发式的专家负载均衡，而是基于 router 分数的分位数来分配专家。听起来有点数学化，但核心思想是：用统计学方法替代工程师拍脑袋的规则。
整体改进使得 MoE 稀疏性带来的扩展效率提升了约 2.5 倍（对比 Kimi K2）。

其他工程创新

Per-Head Muon — 独立优化每个注意力头的学习率，对大模型训练更友好
SiTU（Sigmoid Tanh Unit） 和 Gated MLA — 改进的激活函数和注意力选择性
量化感知训练 — 从 SFT 阶段就开始用 MXFP4 权重 + MXFP8 激活量化训练，这意味着部署时直接使用低精度推理，不需要后训练量化

最震撼的案例：48 小时自主设计芯片

技术指标说多了容易腻，直接看案例。

Kimi K3 在一个连续 48 小时自主运行的任务中，完成了芯片设计。结果是一个 Nangate 45nm 制程、4mm²、100MHz 的芯片，包含 146 万个逻辑单元、0.277 MB SRAM，INT4 MAC 阵列，推理吞吐量超过每秒 8700 token。

"一个模型为另一个模型设计的芯片。" Moonshot 的博文中带着自豪写道。

这个案例背后的意义远超 benchmarks：它展示了一个 AI 模型在长时间自主规划和执行上的能力。48 小时不间断工作，没有人类介入——这对于大模型的实际应用场景来说，比任何排行榜数字都更有说服力。

其他值得一提的案例：

GPU 编译器开发：从零构建了 MiniTriton——一个 Triton 风格的编译器，包含 tile-level IR、优化 passes 和 PTX 代码生成。在 roofline benchmark 上与 Triton 和 torch.compile 持平或更优，并能稳定训练 nanoGPT。
天体物理研究：在约 2 小时内复现了 I Love Q 天体物理通用关系（以往需要 1 到 2 周），审查了 20 多篇论文、3000 多行 Python 代码和 300 多个状态方程，生成了交互式 HTML 仪表板。
视频编辑：制作了一段 3Blue1Brown 风格的技术视频，解释自身架构。从 56 个剪辑中完成节拍同步和帧级精确编辑——通常需要 1-2 天的专业工作。

与竞品的对比分析

维度	Kimi K3	Claude Fable 5	GPT-5.6 Sol
参数规模	2.8T (MoE)	未公开	未公开
开源/开放权重	✅ 7月27日开放	❌ 闭源	❌ 闭源
上下文窗口	100 万 token	未公开	未公开
编程能力	顶级，Arena.ai #1	顶级	顶级
知识推理	接近 Fable 5	最强	略强于 K3
价格 (输出/MTok)	$15	未公开	~$20 (估)

最大的差异化优势在开放性和价格：Kimi K3 是三者中唯一的开放权重模型，且价格更具竞争力。对于追求自主可控的企业和研究机构，这是非常有吸引力的选择。

局限性与风险

Moonshot 自己也承认了几个限制：

全量推理模式。当前始终以最大推理力度运行，没有"快速回答"模式可选。这推高了使用成本。
Harness 依赖性。Kimi K3 对推理历史的敏感性较高，需要使用验证兼容的 agent 框架（如 Kimi Code）才能发挥最佳效果。
权重开放时间。当前只开放了 API，权重要等到 7 月 27 日才开放。对于期待自部署的用户来说，还需要再等一周多。

另外，Kimi K3 作为中国公司的产品，在出口管制和数据合规方面需要企业用户自行评估。Moonshot 提供了企业版方案，但具体细节还不多。

总结：开源前沿的里程碑

Kimi K3 的意义不在于它是不是世界第一——它不是。它的意义在于：开源模型第一次如此接近闭源前沿。

回顾历史：2024 年，开源模型和闭源模型的差距可以说"能用，但差一截"；2025 年，差距缩小到"在某些场景下可以替代"；2026 年 7 月，Kimi K3 把差距进一步压缩到了"大部分场景下接近甚至持平"。

对于开发者来说，这意味着之前只能靠 API 调用的场景，现在多了一个可自部署的选择。对于创业公司来说，这意味着可以用开放权重模型构建产品，而不必完全依赖少数几家闭源供应商。

7 月 27 日权重开放后，社区很快就能动手检验 Moonshot 的承诺。如果实际表现和官方宣传一致，这将是开源 AI 2026 年最值得记住的事件之一。