品玩1月6日讯，据 TII 官网获悉，阿布扎比技术创新研究院（Technology Innovation Institute，TII）推出全新开源大型语言模型Falcon H1R 7B。模型仅拥有7亿个参数，却在数学、编程与科学推理等多个基准测试中展现出了超越部分更大规模模型的性能。

Falcon H1R 7B 在冷启动监督微调阶段，基于前代模型，在专业领域进行训练；强化学习增强阶段，通过奖励机制进一步优化模型的逻辑性与输出质量。模型采用Transformer与Mamba的混合架构，显著提升了处理长文本时的效率和吞吐量。

在数学推理测试AIME-24中，该模型获得88.1%的分数，优于许多150亿参数的模型。其DeepConf推理方法能以更少的计算量实现更高的准确性。在常见的批量处理任务中，它的推理吞吐量可达每个GPU每秒处理1500个词元，效率达到部分竞争对手的两倍，使其在低算力环境下同样具备实用价值。

目前，该模型的完整检查点及量化版本已在Hugging Face平台开源。TII表示，Falcon H1R 7B可为开发者和企业提供一个高效、紧凑且强大的AI工具。