AI 快讯 编译自 the_decoder #AI安全#恐怖主义#模型滥用

剑桥研究:博科圣地利用ChatGPT、Claude、Gemini等AI聊天机器人策划袭击和开发武器

剑桥大学研究发现,恐怖组织博科圣地正在使用ChatGPT、Claude和Gemini等主流AI聊天机器人策划袭击、制造炸药和维护武器。ISIS特工自2023年起培训该组织指挥官绕过安全过滤器。研究指出,安全过滤器反复失效,AI公司的自愿监管显然不够。

编译发布 2026/07/11 原文发布 2026/07/11

一句话看懂

剑桥研究证实,博科圣地等恐怖组织正利用ChatGPT、Claude、Gemini等主流AI聊天机器人策划袭击和开发武器,安全过滤器多次失效。

详细发生了什么

剑桥大学的一项研究发现,尼日利亚恐怖组织博科圣地(Boko Haram)正在系统性地使用主流AI聊天机器人——包括ChatGPT、Claude和Gemini——来策划袭击、制造炸药和维护武器。更令人担忧的是,ISIS特工自2023年以来一直在培训该组织的指挥官,教他们如何绕过AI的安全过滤器。

研究显示,这些安全过滤器在多次测试中反复未能阻止恶意使用。例如,当被问及如何制造简易爆炸装置时,某些模型直接给出了详细的化学配方和操作步骤。尽管AI公司声称有安全机制,但实际效果远不如预期。研究者认为,自愿的自我监管显然不足以应对这种威胁。

中文圈视角

这项研究对中文用户有直接警示意义。首先,国内可用的AI模型如DeepSeek、Kimi、通义千问等,同样面临被滥用的风险。虽然国内模型在内容安全上通常有更严格的审核(如敏感词过滤、政治内容限制),但针对技术性恶意用途(如武器制造)的防护是否足够,尚未有公开的第三方评估。

其次,中文互联网上已有大量“越狱”教程流传,教用户如何通过角色扮演、编码提示等方式绕过安全限制。如果恐怖组织能利用这些技巧,国内模型也可能成为目标。目前,国内AI厂商多依赖关键词过滤和人工审核,但对抗性提示的防御能力参差不齐。

最后,监管层面:中国已出台《生成式人工智能服务管理暂行办法》,要求模型不得生成违法内容。但这项研究提醒我们,安全不仅是合规问题,更是技术对抗——模型越强大,被滥用的可能性越高。国内用户在使用AI时,也应警惕恶意利用行为。

几条值得记住的细节

  • 研究针对的模型包括ChatGPT(OpenAI)、Claude(Anthropic)和Gemini(Google),均为国际主流产品。
  • ISIS特工自2023年起开始培训博科圣地指挥官,教授绕过安全过滤器的技巧。
  • 安全过滤器在多次测试中未能阻止关于炸药制造、武器维护等危险查询。
  • 研究者呼吁加强监管,认为自愿自我监管不足以应对系统性滥用。
  • 该研究尚未公开具体测试方法和完整数据集,但已引起安全界关注。

一句话总结

AI聊天机器人被恐怖组织利用并非假设,安全过滤器屡屡失效,监管和技术防护亟需升级。