OpenJarvis开源框架发布:本地运行AI代理,性能接近云端,成本降低800倍
斯坦福大学和Lambda Labs联合发布OpenJarvis,一个完全本地运行的开源AI代理框架。它通过五个可组合原语实现工具调用、记忆和学习,性能仅比最佳云端模型低3.2个百分点,但边际API成本降低约800倍。本文详解其架构、性能及对中文用户的意义。
一句话看懂
斯坦福团队发布OpenJarvis,一个完全在本地设备上运行的开源AI代理框架,性能接近云端模型,但成本仅为云端API的1/800。
详细发生了什么
斯坦福大学和Lambda Labs的研究团队于2026年3月12日发布了OpenJarvis框架。这是一个开源、本地优先的个人AI代理框架,把AI系统拆成五个可独立替换的原语:Intelligence(模型)、Engine(推理引擎)、Agents(代理循环)、Tools & Memory(工具与记忆)和Learning(学习优化器),通过一个声明式配置文件(spec)组合。
在8个基准测试(涵盖工具调用、编码、客服、深度研究等508个任务)中,最佳本地模型Qwen3.5-122B平均准确率达到80.3%,仅比云端最强模型Claude Opus 4.6的83.5%低3.2个百分点。但边际API成本从每查询0.009美元降至约千分之一美分,成本降低约800倍,端到端延迟也降低了约4倍。
OpenJarvis支持多种推理引擎(Ollama、vLLM、SGLang等)和11个本地模型(来自Qwen3.5、Gemma4、Nemotron、Granite系列),安装只需一条命令,约3分钟即可完成。它还提供8个内置代理、25+数据连接器和32+消息通道,并支持从外部目录导入技能。
中文圈视角
对国内用户意味着什么?
-
隐私与合规优势:OpenJarvis完全本地运行,数据不出设备,避免了数据出境和内容安全风险。对隐私敏感的用户或受监管行业(如金融、医疗),这是一个重要卖点。国内类似框架有ModelScope的AgentScope或百度的千帆Agent,但OpenJarvis的“本地优先”理念更彻底。
-
平替与成本:国内用户使用云端API(如OpenAI、Claude)需要梯子且成本较高。OpenJarvis搭配国产模型(如Qwen3.5)可实现类似效果,且无需API费用。对个人开发者或小团队,这能大幅降低AI应用的门槛。
-
中文场景适配:框架本身是英文,但支持自定义system prompt和工具。国内用户可基于Qwen3.5等中文能力较强的模型,构建本地写作助手、代码助手或知识库问答系统。不过,中文社区目前对此框架讨论较少,可能成为早期用户的优势。
-
硬件要求:框架在Mac Mini M4到NVIDIA DGX Spark上测试过,但运行122B模型仍需较高配置。国内用户可考虑使用国产显卡(如华为昇腾、摩尔线程),但需自行适配引擎。
几条值得记住的细节
- 性能差距:最佳本地模型Qwen3.5-122B与云端Claude Opus 4.6的准确率差距仅3.2个百分点,且在4/8的基准测试中持平或超越。
- 成本对比:本地模型每查询成本约千分之一美分,而Claude Opus 4.6为0.009美元,差距约800倍。
- 安装简便:一条命令即可安装,约3分钟完成,支持macOS、Linux、WSL2和Windows。
- LLM引导的spec搜索:通过云端教师模型优化本地spec,可恢复13-32个百分点的性能损失,优化成本比单原语方法低7-11倍。
- 开源许可:Apache 2.0,允许商用和修改。
一句话总结
OpenJarvis让个人AI代理真正“离线可用”,性能接近云端但成本极低,对隐私敏感和预算有限的用户是重大利好。