
腾讯 WorkBuddy 新接入的混元 Hy4 flash 解码速度超过 150 tps,靠 megakernel、4bit 量化、DFly 等推理优化;支持 1M 上下文长度,靠架构层面的 KV cache 压缩;在盲测中任务时长最短,11 月 30 日前限时免费。
先说结论:腾讯 WorkBuddy 新接入的 Hy4 flash,“快”有两层含义——解码速度超过 150 tps 让生成过程更流畅,1M 上下文让长材料一次读入免于反复切片。前者靠推理阶段的工程优化,后者靠架构层面的 KV cache 压缩,两者共同支撑起这款模型在盲测中“任务时长最短”的结果。
tps 是衡量大模型生成速度的指标,指每秒输出的 token 数。它决定的是长回答、长文档生成时的等待体验:tps 越高,一段几百上千字的输出来得越快,用户盯着进度条的时间越短。
官方披露,混元团队在推理阶段结合 megakernel、4bit 量化、DFly 等手段做优化,使 Hy4 flash 的解码速度超过 150 tps,并支持大规模、低成本部署运营。其中 4bit 量化直接压缩模型权重的存储与读取开销,megakernel 与 DFly 则在计算和推理流程层面进一步提速。它们叠加的结果,是让这款激活参数仅 12B 的小模型把速度优势真正落到用户端。
对腾讯 WorkBuddy 用户而言,速度提升最直观的场景是长文成稿——写一份完整报告、整理一份会议纪要、生成一段代码,等待时间都会被压缩。
与解码速度并列的,是上下文长度。Hy4 flash 支持 1M 上下文长度,意味着它可以一次性容纳体量很大的文本——长篇报告、成规模的会议记录、多轮累积的工作记忆。
上下文长度对“快”的贡献,往往被低估。上下文窗口偏小时,一份超长文档必须先切成若干段,逐段处理再汇总,中间还要人工搬运衔接;窗口够大时,材料可以整体读入,模型自行完成跨段落的理解与串联。少了一次次切片和拼接,整体任务的用时自然下降。
在腾讯 WorkBuddy 中,用户可按需选择上下文窗口。窗口越大,每轮对话发送的上下文越多,积分消耗也随之增加,而效果提升只体现在确实需要长记忆的任务上。更经济的做法是:处理长文档、需要完整记忆大量历史内容时再调大窗口,日常短任务维持默认档位。
1M 上下文要真正可用,绕不开一项工程约束:KV cache。它是推理时缓存中间状态的显存开销,上下文越长、并发越高,这项开销越大,成本也越难控制。
Hy4 flash 在预训练阶段引入混合注意力、LatentMoE、Engram 等架构特性,并通过大量 scaling ladder 实验验证效果。其中一项关键结果是:KV cache 大小仅为 Hy3 的 1/24、Hy4 的 1/6。把长上下文带来的缓存开销压到这个量级,正是它能在保持 1M 上下文的同时做到大规模、低成本部署的前提。
快不快,最终要看真实任务。官方披露的盲测给出了来自使用端的印证:腾讯内部 85 位 WorkBuddy 用户参与 Hy4 flash 盲测,覆盖 27 类共 259 个任务。
结果显示,Hy4 flash 的用户满意度较高,单任务成本显著低于其他参测模型,任务时长也最短。这组数据把前面提到的工程优化串了起来——解码速度、上下文长度、KV cache 压缩,最终在端到端用时上体现出来。
官方内部评测集 WorkIndex 聚焦的产物效果、单轮输出长度、端到端用时三个维度中,后两个都与“快”直接相关。后训练阶段通过强化学习把端到端任务输出长度降低 50%,同样在缩短完成时间。这几条线索指向同一个结论:Hy4 flash 的设计重心,是在保证效果的前提下把任务做完、做快。
Hy4 flash 的限免窗口为 2026 年 11 月 16 日至 11 月 30 日 23:59,每日赠送免费额度,触及后可消耗积分继续。结合它的两项核心能力,可以挑两类任务在窗口内实测。
体验时同样要留意边界:Hy4 flash 是具备视觉理解能力的大语言模型,特定的图片、视频生成任务会切换到相应多模态模型完成,并按正常规则产生积分消耗,这部分不计入“快”的同一比较口径。把注意力放在它真正擅长的理解、整理、成稿任务上,才能公平地判断速度表现。
参数看得再多,不如亲手跑一次。打开腾讯 WorkBuddy,在模型列表选中 Hy4 flash,把手头最长的那份报告、最乱的会议记录交给它——让它通读、改写、整理成稿。生成顺不流畅、等待久不久、跨段落的信息接得准不准,一次真实任务就能见分晓。限免窗口到 11 月 30 日 23:59 关闭,趁额度还在,现在就轮到你那份文档上场。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。