AI 前沿·阅读约 1 分钟·
腾讯开源 Hy4 预览版:770B 参数的 MoE 模型,上下文超百万,还会自己优化自己

腾讯开源 Hy4 预览版:770B 参数的 MoE 模型,上下文超百万,还会自己优化自己

腾讯混元 Hy4 预览版正式开源:770B 总参数、49B 激活参数的 MoE 架构,上下文窗口超过 1M tokens,内部盲测略胜 GLM-5.3 与 Kimi K3,并首次展示了模型参与自身训练优化的递归自改进能力。

原文来源:Tencent — 腾讯开源新一代大模型 Hy4 预览版,770B 总参数的 MoE 架构配合 1M+ 上下文,主打编码、办公与科研等真实生产力场景。

8 月 28 日,腾讯正式发布并开源了混元家族的下一代大模型 Tencent Hy4 预览版。这是继 Hy3 之后混元系列又一次大幅迭代:770B 总参数、49B 激活参数的 MoE 架构,上下文窗口突破 1M tokens,定位上明显偏向真实世界的生产力任务——编码、办公和科学研究。

核心参数与能力定位

Hy4 preview 是一枚标准的大规模 MoE(混合专家)模型:总参数 770B,但每次推理只激活其中的 49B。这种"大而稀疏"的设计让模型在保持知识容量的同时控制住了推理成本——49B 激活参数意味着单次请求的计算量大致相当于一个中型模型。

上下文窗口超过 1M tokens,意味着它可以在单次会话里处理一整本书、一个大型代码仓库的多个文件,或者几十万行的数据表。腾讯在公告中强调,Hy4 在预训练和后训练两个阶段都做了大幅升级,整体智能水平相比 Hy3 有显著跃升。

为了评估真实生产力场景的表现,腾讯内部做了一次盲测:163 位专家参与、覆盖 203 个工程任务,Hy4 preview 平均得分 2.99/4.00,略高于 GLM-5.3(2.92)和 Kimi K3(2.94)。虽然这是厂商自评而非第三方基准,但至少说明在厂商视角下,Hy4 已经进入国产开源模型的第一梯队。

—— 广告 ——

五大能力场景

Hy4 的训练数据是与腾讯各领域专家共创的——软件工程、游戏、金融、安全等多个领域的高质量数据参与了训练,模型能力也按这些场景做了针对性优化:

软件工程:长上下文开发任务的理解、规划、调试和验证能力明显增强,前端开发的视觉质量和交互体验也有提升。这对"让 AI 处理大型代码库"的场景很关键——上下文长了之后,模型是否真的能利用好长上下文,是当前大模型能力的分水岭。

办公与数据分析:对复杂工作环境的理解能力更强,财务分析能力突出,支持从信息处理到文档、表格、演示文稿生成的全流程,跨文档协作是重点优化方向。

游戏开发:可以用一条自然语言请求生成一个可玩的游戏原型,并能与游戏引擎配合,通过多轮对话持续完善复杂游戏项目。

科学研究:在 AI 研发、分子动力学模拟、凝聚态物理和基础数学等方向都有明显进步。科研场景通常需要长程推理和多步实验设计,是检验模型"深度思考"能力的试金石。

最有意思的部分:模型开始参与优化自己

Hy4 preview 有一个此前国产模型很少公开宣传的亮点:它首次参与了自己的开发过程。在训练阶段,模型被用来自动化优化训练方法、数据策略、评估框架甚至底层算子——它提出方案、运行实验、根据结果迭代,产生的代码、日志和反馈又进入下一轮探索,形成了一个早期的"递归自改进"闭环。

同样的能力也用在推理侧。Hy4 自主分析了自身推理系统的瓶颈,做了多轮算子融合和通信优化,端到端吞吐量比基线提升了 31.8%,且在不同上下文长度和并发水平下保持一致。换句话说,模型不只是"被优化",也开始参与"优化自己"——这虽然还远谈不上什么自我进化,但确实是一个值得关注的方向信号。

定价与获取方式

Hy4 preview 的 API 定价相当有竞争力:输入每百万 tokens 0.834 美元,输出每百万 tokens 2.501 美元,缓存命中每百万 tokens 仅 0.042 美元。对比同类规模的 MoE 模型,这个价格把先进模型的使用门槛又压低了一截。

模型权重已经开源,开发者可以通过腾讯云 TokenHub 和 OpenRouter 直接调用 API,也可以在元宝、ima 等腾讯产品里体验。

怎么看这次发布

把 Hy4 放进 2026 年开源模型的坐标系里看,几个信号值得注意:一是 770B/49B 的规模说明国产开源模型还在"更大"的路上继续卷;二是"面向生产力场景做数据共创"的打法——不是堆通用语料,而是拉各领域专家进来共建训练数据,这可能是模型在真实任务上表现扎实的原因;三是自改进方向的尝试,虽然只是雏形,但说明头部厂商已经开始把"模型参与模型开发"当回事了。

当然,厂商自评的盲测分数只能作为参考,Hy4 的真实水平还要等第三方基准和社区实测来验证。模型已经开源,跑一跑就知道了。Hy4 系列的下一批模型预计很快也会发布。

分享到
微博Twitter

© 2026 四月

原文链接:https://www.aprilzz.com/ai/tencent-hy4-preview-open-source