腾讯混元开源AngelSpec投机解码框架,推理加速最高达2.4倍

Source

品玩7月30日讯,腾讯混元团队正式开源端到端投机解码框架AngelSpec,并同步开放Hy3-A21B模型的MTP与DFly drafter权重及训练代码。该框架覆盖从训练、架构设计到线上部署的全链路,是国内首个提供完整工具链的开源方案。

新一代drafter DFly采用并行架构与面向接受率的训练目标,在4至64全并发档位及六大基准测试中,较自回归基线平均加速1.98至2.40倍,平均接受长度达4.79。针对高并发验证瓶颈,框架引入D-cut机制,线上流量回放吞吐最高提升15.7%。此外,通过TTT技术修复MTP训练与推理不一致问题,对话场景平均接受率提升至66.4%。

AngelSpec基于TorchSpec构建,支持128k长上下文训练及插件化配置,旨在为开发者提供开箱即用的推理加速基建。