循环工程指南：autoresearch 与 Bilevel Autoresearch 如何让 AI 智能体自主进行机器学习研究

一句话看懂

循环工程让 AI 智能体自主执行实验循环：定义目标后，模型自动提出方案、验证结果、迭代改进，无需人工逐轮干预。

详细发生了什么

大多数人仍像使用 2015 年的搜索框一样用 AI：输入、阅读、再输入。一种新模式用循环替代了手动来回。本文基于 Andrej Karpathy 的 autoresearch 仓库（MIT 许可，约 630 行代码，GitHub 近 9 万星）和 Bilevel Autoresearch 论文，解释循环工程的核心机制。

一个可靠的循环包含三个组件：

验证器：对每次尝试评分，可以是测试通过、指标变化或构建成功。没有验证器，智能体只会自说自话。
状态记录：记录尝试了什么、失败了什么、还剩什么。一个小文件让下次运行可以继续而非重启。
停止条件：目标达成或达到最大尝试次数后停止，防止成本失控。

Karpathy 的 autoresearch 于 2026 年 3 月 7 日发布。智能体只能编辑 train.py（包含 GPT 模型、优化器 Muon 和 AdamW 以及训练循环），不能碰 prepare.py 中的评估工具，防止作弊。人类编写 program.md 作为指令。每次循环运行一个实验：读取代码、提出修改、训练 5 分钟、保留或回滚。验证指标是 val_bpb（每字节验证比特数，越低越好）。每小时约 12 个实验，一夜约 100 个。

Karpathy 将其应用于已优化的 nanochat GPT-2 训练代码，运行两天完成约 700 次实验，保留 20 个真正改进，将训练时间缩短 11%（从 2.02 小时降至 1.80 小时）。Shopify CEO Tobi Lütke 在内部模型上运行一夜，37 次实验后提升 19%。

Bilevel Autoresearch 进一步增加外层循环：内层循环同 Karpathy 原始设计，外层循环观察内层循环的代码和轨迹，识别搜索卡住的位置，然后编写新的 Python 机制并注入运行时。在 GPT 预训练基准上，外层循环使 val_bpb 下降幅度是单层循环的 5 倍（-0.045 vs -0.009），且两者使用相同 LLM，增益来自架构而非更聪明的模型。

中文圈视角

对中文用户来说，循环工程的核心价值在于自动化实验管理，尤其适合模型调优和超参数搜索场景。

可用性：autoresearch 是 MIT 开源的，可直接从 GitHub 获取，无需特殊网络环境。但需注意，它依赖 GPU 资源（论文中使用 RTX 5090 32GB），国内用户可通过阿里云、腾讯云等平台的 GPU 实例运行。
国产替代对比：国内类似项目如 ModelScope 的 AutoTrain 和百度 PaddleNLP 的自动调优工具，但功能更偏向超参数搜索，缺乏循环工程中“智能体自主修改代码”的能力。Karpathy 的方法更接近“让 AI 做研究”，而国产工具目前更多是“让 AI 辅助调参”。
具体场景：对于中文 NLP 任务（如中文大模型微调、文本分类），循环工程可自动搜索最优学习率、batch size 等超参数，或尝试不同的注意力机制变体。但需注意，验证指标需明确定义，且中文任务可能需要定制验证器（如中文分词准确率、语义相似度）。
盲点：中文社区对“循环工程”讨论较少，多数人仍停留在“提示工程”层面。实际上，循环工程是提示工程的进化——从“写更好的提示”到“设计让 AI 自主迭代的系统”。

几条值得记住的细节

autoresearch 只有 3 个核心文件、约 630 行代码，设计极简但严格。
Karpathy 的循环一夜完成 700 次实验，保留 20 个改进，训练时间缩短 11%。
Bilevel Autoresearch 的外层循环使 val_bpb 下降 5 倍，且增益来自架构而非更强模型。
循环工程需要三个组件：验证器、状态记录、停止条件，缺一不可。
你可以用一段 prompt 在任意模型中体验循环：定义任务、成功标准、循环协议，模型会自动迭代直到达标。

一句话总结

循环工程将你从“逐轮提示”中解放，只需定义目标，AI 自动完成实验、验证和迭代。