普林斯顿CEO-Bench测试：500天模拟创业，仅3个AI模型盈利，简单规则策略胜出

一句话看懂

普林斯顿大学CEO-Bench测试中，AI代理模拟创业500天，仅3个模型盈利，一个无AI的规则策略表现更优。

详细发生了什么

普林斯顿大学研究人员开发了CEO-Bench，一个让AI代理运营虚拟软件公司的模拟测试。每个代理获得初始资金，需在500个模拟日内做出产品开发、营销、招聘等决策，目标是最大化公司价值。

测试了多个主流模型，包括GPT-4、Claude 3.5、Gemini等。结果令人意外：仅3个模型在500天后资金高于起始资本，其余均破产。更值得注意的是，一个基于简单规则（如“每月固定降价10%”）的无AI启发式策略，在盈利和生存率上击败了几乎所有AI模型。

研究人员指出，AI代理普遍存在“过度优化”倾向，例如过度投资研发而忽视现金流，或频繁调整战略导致执行不稳定。规则策略的简单性反而在长期模拟中保持了稳健。

中文圈视角

这个测试对国内AI应用开发者有直接警示。目前国内很多团队在开发AI代理（如AutoGPT类项目、智能客服、自动化运营工具），但CEO-Bench表明，当前模型在长期、多步决策场景下缺乏商业直觉。

国内用户若想复现类似测试，可使用国产模型如DeepSeek、Kimi或智谱GLM-4，但需注意：这些模型在中文商业决策场景下的表现可能更差，因为训练数据中缺乏足够的企业运营案例。此外，测试中的规则策略提示我们：在AI代理落地时，混合简单规则（如预算约束、止损线）可能比纯AI决策更可靠。

监管层面，若AI代理被用于真实商业决策（如自动投标、定价），一旦亏损，责任归属尚不明确。国内目前缺乏针对AI代理的专门法规，开发者需谨慎。

几条值得记住的细节

• CEO-Bench模拟了500个虚拟日，包含产品迭代、市场营销、融资等真实创业环节。
• 仅3个模型盈利：具体模型名称未公开，但研究人员提到均为最新旗舰版本。
• 无AI的规则策略（如“每月降价10%”）在盈利和生存率上超过90%的AI模型。
• 测试中AI代理常犯错误：过度投资、忽视现金流、战略摇摆。
• 研究人员计划开源CEO-Bench，供社区测试更多模型。

一句话总结

AI代理在长期商业决策中仍显稚嫩，简单规则有时比复杂模型更可靠。