品玩10月16日讯,AI公司PrismML官方近日宣布扩展Bonsai 2系列,推出基于Qwen3.5的三款三元权重模型:Ternary Bonsai 2 2B、4B和9B,与已发布的27B版本共同覆盖从轻量到复杂任务的端侧部署需求。
该系列采用三元权重表示法,以{-1, 0, +1}编码参数,存储占用分别约为0.43GB、0.95GB和2GB,较全精度版本缩小9倍以上。官方称模型在推理、视觉理解、工具调用和指令遵循方面均有提升,其中9B模型在标准指令和日常数学任务中可减少约40%的token消耗。
性能方面,在RTX 4090和M5 Pro等硬件上,新模型吞吐量最高可达全精度版本的5倍,能效提升3倍;在iPhone 18 Pro Max上,9B模型最高可达每秒34个词元,2B模型最高可达每秒120个词元。
模型权重以Apache 2.0许可证开放,支持通过llama.cpp在NVIDIA GPU上运行,或通过MLX在Mac、iPhone和iPad上部署。