新手入门
AI 快讯 编译自 marktechpost #模型发布#行业分析

Sakana AI 提出 Error Diffusion：无需反向传播训练 Dale 兼容网络，MNIST 达 96.7%、CIFAR-10 达 61.7%

Sakana AI 发布新研究 Error Diffusion（误差扩散），一种无需权重传输的局部学习规则，训练出符合 Dale 原则的双流兴奋/抑制网络。在 MNIST 和 CIFAR-10 上分别达到 96.7% 和 61.7% 准确率，并首次在卷积网络和强化学习中验证。本文解读其核心机制、性能对比及对中文圈生物启发 AI 研究的启示。

编译发布 2026/07/18 原文发布 2026/07/18

一句话看懂

Sakana AI 提出 Error Diffusion（误差扩散）方法，无需反向传播即可训练符合 Dale 原则的神经网络，在 MNIST 和 CIFAR-10 上分别达到 96.7% 和 61.7% 准确率，并首次将这类局部学习规则扩展到卷积网络和强化学习。

详细发生了什么

反向传播依赖权重传输（weight transport），即后向传播需要前向权重矩阵的精确转置，这被认为生物神经网络无法实现。Sakana AI 的新论文《Diffusing Blame》直接挑战这一约束，训练出遵循 Dale 原则（每个神经元只释放一种神经递质，兴奋或抑制）的网络，同时完全避免权重传输。

核心方法 Error Diffusion（ED）是一种局部学习规则，每个权重更新仅依赖三个信号：突触前活动、突触后激活导数和一个全局误差符号。ED 从不传输转置权重或使用随机反馈矩阵，天然兼容 Dale 原则。但此前 ED 仅用于二分类和 MNIST。

为满足 Dale 原则，研究团队将每层拆分为兴奋流（p）和抑制流（n），所有可学习权重保持非负。前向计算采用兴奋减抑制的预激活。这种双流设计每层需要四个权重子矩阵，参数量约为单流网络的 4 倍（约 32M vs 8M）。

主要扩展是模误差路由（modulo error routing），将 ED 从二分类提升到多分类。每个隐藏单元通过 r(i) = i mod C 固定分配一个输出通道，学习对应的误差分量。

针对多分类，团队加入三项创新：层特定 sigmoid 宽度（防止梯度衰减）、批次中心化类误差（缓解 9:1 目标不平衡）和非对称初始化（兴奋/抑制比例 3:1）。

最终 ED 在 MNIST 达到 96.7%，CIFAR-10 达到 61.7%。相比之下，无创新的种子 ED 分别只有 50.4% 和 11.6%。DFA（直接反馈对齐）得分更高（97.6% 和 69.1%），但违反 Dale 原则，使用了约 284 万个负权重。

有趣的是，三项创新的重要性在任务间反转：MNIST 上移除层特定宽度导致准确率暴跌 71.4 个百分点，而 CIFAR-10 上移除批次中心化误差是最大下降（47.9 个百分点）。

在强化学习中，团队将 ED 与 PPO 结合得到 ED-PPO，在 Brax 和 Craftax 上测试。ED-PPO 在 HalfCheetah 上超越 BP-PPO（5494 vs 3520），在 Ant 上持平，而 DFA-PPO 在 Craftax 上最弱（19.8 vs 27.0）。

中文圈视角

这项研究对中文圈 AI 社区有几点启示：

  1. 生物启发 AI 的国产替代空间：国内类似工作较少，如智谱、深势科技等主要在模型架构或训练效率上创新，但专门针对 Dale 原则和权重传输问题的研究不多。Sakana AI 的方法为类脑计算提供了可落地的训练算法，国内高校和实验室可跟进验证。

  2. 硬件友好性：ED 的非负权重和固定符号路由非常适合神经形态芯片和光子计算硬件。国内如灵汐科技、九天睿芯等类脑芯片公司，可考虑将 ED 作为训练方案，降低硬件实现复杂度。

  3. 实际可用性：目前 CIFAR-10 61.7% 的准确率远低于标准梯度方法（>95%），但 ED 在强化学习中的表现（HalfCheetah 超越 BP）值得关注。对于中文圈做机器人控制、游戏 AI 的团队，ED-PPO 可能是一个低功耗、生物合理的替代方案。

  4. 监管与合规：ED 不依赖反向传播，意味着训练过程更透明、可解释性更强，可能符合国内对 AI 可解释性的监管要求。但当前性能差距较大，短期内难以替代主流方法。

  5. 盲点：中文圈对“无反向传播训练”的讨论多集中在进化策略和预测编码，ED 这种局部学习规则较少被提及。Sakana AI 的工作填补了 Dale 原则与反向传播自由训练之间的空白，值得关注。

几条值得记住的细节

  • ED 每层使用四个非负权重矩阵，参数量是单流网络的 4 倍（约 32M vs 8M）。
  • 模误差路由 r(i) = i mod C 将每个隐藏单元固定分配给一个输出通道。
  • 三项创新：层特定 sigmoid 宽度（α=3.0/6.0）、批次中心化类误差、非对称初始化（1.5×/0.5×）。
  • ED 在 MNIST 达 96.7%，CIFAR-10 达 61.7%，首次在卷积网络上验证。
  • ED-PPO 在 HalfCheetah 上超越 BP-PPO（5494 vs 3520），在 Craftax 上 DFA-PPO 最弱。
  • 训练后 37.3% 的权重被推到非负下限（10⁻⁴），抑制流全连接连接被剪枝最多（68.8%）。

一句话总结

Sakana AI 的 Error Diffusion 为生物合理训练提供了新路径，虽性能尚不及反向传播，但在强化学习和硬件部署上展现了独特潜力。

← 返回 AI 快讯列表