Bonsai 27B 开源推理模型压缩至4GB，可在iPhone上本地运行

一句话看懂

PrismML 将 270 亿参数的开源推理模型 Bonsai 27B 压缩至 4GB，可在 iPhone 上本地运行，性能保留 90%，苹果正在测试该技术。

详细发生了什么

PrismML 宣布成功将 270 亿参数的开源推理模型 Bonsai 27B 压缩至 4GB 以下，使其能够直接在 iPhone 上本地运行。该模型基于 Llama 架构，专注于推理任务（如数学、编程、逻辑）。在 PrismML 的内部基准测试中，最小压缩版本保留了原始模型 90% 的性能，其中数学和编码得分几乎未受影响。

据报道，苹果正在测试 PrismML 的压缩技术，这可能帮助苹果缩小在端侧 AI 领域与竞争对手的差距。Bonsai 27B 完全开源，采用 Apache 2.0 许可证，开发者可以自由下载、修改和部署。

中文圈视角

对中文用户来说，Bonsai 27B 的压缩技术意味着两件事：

更强的端侧 AI 体验：目前国产手机厂商（如华为、小米、OPPO）的端侧模型多在 7B-13B 参数级别，且性能与云端模型有差距。Bonsai 27B 压缩后性能几乎无损，如果苹果采用该技术，可能迫使国内厂商加速端侧模型升级。
隐私和离线可用性：本地运行意味着数据不出设备，对注重隐私的中文用户是利好。同时，在无网络或弱网环境下（如地铁、偏远地区），也能使用强大的推理模型。
开源生态的机遇：Bonsai 27B 完全开源，国内开发者可以基于此进行中文优化或二次开发。但需注意，模型主要针对英文，中文能力可能不如国产模型（如 DeepSeek、Qwen）。
合规考量：本地部署避免了数据出境问题，符合国内监管要求。但模型本身可能包含未审查内容，企业使用需自行评估。

几条值得记住的细节

模型大小：压缩后低于 4GB，可在 iPhone 15 Pro 及以上机型运行。
性能保留：最小版本保留 90% 原始性能，数学和编码能力几乎无损。
开源协议：Apache 2.0，允许商用和修改。
苹果动态：苹果正在测试该技术，可能用于未来 iOS 版本。
基准测试：在 GSM8K（数学）和 HumanEval（编码）上得分接近原始模型。

一句话总结

Bonsai 27B 让强大推理模型跑在手机上，隐私和离线能力大幅提升，国产厂商需跟进。