品玩3月19日讯,在英伟达GTC大会上,月之暗面创始人杨植麟首次系统披露了Kimi K2.5的技术路线图,提出通过“令牌效率、长上下文与智能体集群”三维共振实现模型能力跃升。针对传统优化器瓶颈,团队研发MuonClip优化器,在万亿参数训练中成功抑制数值爆炸,使令牌处理效率较AdamW提升一倍。
在长上下文领域,Kimi Linear架构采用混合注意力机制,将128K至1M范围内的解码速度提升5至6倍,实现了从“支持长文本”到“高效利用长文本”的转变。此外,团队重构了沿用十年的残差连接,提出Attention Residuals机制,使深层网络能按需检索信息而非简单堆叠,该成果已开源并获Andrej Karpathy等专家高度评价。
杨植麟还指出,多模态视觉强化学习可反向增强纯文本推理能力。未来Kimi将从单智能体转向动态生成的智能体集群(Agent Swarms),通过并行协作大幅缩短复杂任务执行时间,重塑人工智能规模化应用范式。