说明：这篇 blog 在 AI 的辅助下完成。

Looped Transformers · 图像 / 视频生成 · 论文导读

每个去噪步里的循环

最近读了几篇把 Looped Transformer 用在生成模型里的论文，放在这里一起看。扩散和 flow 模型从噪声出发，一步步生成图像；这些工作在每次网络调用里，把同一组 Transformer 块重复跑 K 次，增加计算深度，但不增加参数。2026 年的三篇工作已经在各自的实验里超过了更大的 dense 模型。Google 的另一篇把隐状态传到下一个去噪步，可以拿来对照。后面也整理了它们和语言模型里的 recurrent depth、DEQ 的关系。

ELT · Google DeepMind · 2026.04 Looped-DiT · 2026.09 LiFT · 2026.10 Diffusion as Curriculum · Google · 2026.09 背景：Huginn、LoopVL、DEQ 系列
4 25
32每次网络调用执行的块
6 + 5×K + 6
800整条采样执行的块
T × 每步
17唯一参数块
不随 K 改变

外圈：采样器的时间 t（噪声 → 图像），每格一次网络调用。内圈：同一次调用里共享块转的圈数。块划分取自 Looped-DiT 的 [6, 5, 6]。画面只是示意，不是模型输出。

采样步数决定沿着 flow 走得多细，循环次数决定每一步对 flow 估计得多准。这两项计算预算可以分别调整。

改写自 LiFT 引言："Steps follow the flow more closely; loops estimate it more accurately."

§1

基本结构：Prelude → Core × K → Coda

三篇论文的结构几乎一样。把一个 DiT 切成三段：前段 P 只跑一次，把带噪输入编码成隐状态；中段 R 权重共享，重复 K 次；后段 D 把隐状态读成预测（速度 v 或干净图 x̂0）。这一切发生在一次去噪调用之内，采样器推进到下一个 t 之前。

这样，参数量和执行深度就可以分开算：唯一块数是 LP + LR + LD，执行块数是 LP + K·LR + LD。这就是 Looped Transformer 在语言模型里（Universal Transformer、Geiping 等人的 recurrent depth）做过的事，只是这次被放进了扩散模型的内循环。prelude / core / coda 这组名字就来自 Geiping 等人的 Huginn，LiFT 在正文里写明了沿用这套分解（见 §8）。

一次网络调用内部
外层是采样器的 T 步；内层是共享 core 的 K 圈。训练时中间圈的读出（虚线）才被计算。
x_t, t, 条件Prelude P跑 1 次h₀Core R（共享权重）h_k = R(h_{k−1}), k = 1…K× Kh_KCoda D读出预测v̂ 或 x̂₀训练时：h₁ … h_{K−1} 也经过共享 Coda 读出，接受各自的监督（推理时不算）
PreludeCore × KCoda额外的细节
● ELTembeddingN 层整块循环 L 次（如 8N × 4L）共享 headMaskGIT 和 DiT 两种生成器都做了
● Looped-DiT6 个 MMDiT 块5 个块 × 4 圈6 个块17 个唯一块，执行 32 个；循环段内换成 XSA 注意力
● LiFT4 个 DiT 块R 个块 × K 圈只有预测头每圈先 RMSNorm 再加回 h₀；core 额外接收深度坐标 s 的 embedding
§2

只监督最后一圈会怎样

最朴素的做法是只监督最后一圈的输出。三篇论文都从这里出发，也都看到了同一类失败：模型学到的是"恰好转 Ktrain 圈"的固定计算，而不是一个可以反复调用的改进算子。转得少了画面不成形，转得多了画面反而被破坏。

ELT 的观察
只在 L = 8 成像

在 ImageNet 上用 8 圈训练的 vanilla looped DiT，只有推理也恰好用 8 圈时才产出连贯图像；2、4、6、10 圈都严重退化。中间圈的状态不在"解空间"附近。

Looped-DiT 的观察
R² 0.865 → 0.562

在 MMDiT 上，推理圈数超过训练值后性能先饱和再下降。用岭回归探针从 image token 的隐状态预测它的 2D 位置，第 1 圈后 R² 是 0.865，第 8 圈后掉到 0.562。重复的注意力更新在冲刷局部信息。

LiFT 的观察
外推几乎没收益

已有的中间监督让模型在各个深度都能用，但超过训练深度后很快变差：ImageNet 上一超过训练深度 FID 就上升，视频上最好的位置在 1.5 倍训练深度。另一份 LoopDiT 实验里，循环在同等计算下没赢过 dense。

§3

中间几圈怎么监督

这三篇的结构接近，我觉得主要的区别在于损失函数怎么对待中间圈。下面这张图把每一圈的读出 uk 画成"预测空间"里的一个点，箭头表示它被拉向哪里。点一下切换方案。

2026 年 4 月 · ECCV 2026 · 最早的一篇

ELT：Elastic Looped Transformers

Goyal, Agrawal, Anil, Jain, Paul, Kusupati · Google DeepMind
类条件 ImageNet 256 图像生成（MaskGIT 与 DiT 两种框架）+ UCF-101 视频生成

alphaXiv 2604.09168 ↗

ELT 把最深的路径作为老师，让较浅的出口模仿它。这样同一个模型在推理时可以按预算选择圈数，也可以提前停下。

方法：Intra-Loop Self Distillation

  • 每个训练步随机抽一个学生出口 Lint ~ U(Lmin, Lmax)。学生路径是老师路径的前缀，所以几乎不增加训练开销。
  • 学生同时学真值和老师（stop-grad）的输出；权重 λ 从 1 线性降到 0，前期靠真值，后期跟老师。
  • 离散 token 用交叉熵，扩散用 sigmoid 加权 MSE，两种生成器同一套方法。
  • 出发点是"Any-Time 推理"：同一组权重，按设备预算选圈数。

参数共享和吞吐

  • 共享参数小到能常驻片上，循环 L 次的算术强度最多提高 L 倍，省掉反复的 HBM ↔ SRAM 搬运。
  • TPU v6e 上吞吐比基线高 2.9×（L）、3.3×（XL）、3.5×（H）。B 尺度的基线本来就放得下，所以没有加速（1.0×）。
  • DiT 版本训练收敛更快：16N×2L 快 2×，8N×4L 快 1.4×（与 32 层 DiT 等推理计算）。
等深度（D = 32）下，参数换成循环的代价
ImageNet 256 · DiT 框架 · FID 越低越好。条形右侧是唯一参数量。
dense DiTELT（N 个唯一层 × L 圈）

16N×2L 用一半参数（1.1B 对 2.1B）就比 32 层 dense 更好；8N×4L 用四分之一参数也更好。只有 1 层循环 32 次时表达力不够（FID 10.30），每圈至少要有一定的块数。数据来自 ELT 表 2。

FID 2.0ELT-XL（7N×4L，111M）与 MaskGIT-XL（446M）持平，参数少 4×
FVD 72.8UCF-101 视频，76M 的 ELT 对 MAGVIT 的 76；继续加圈和步数到 60.8
L = 6视频上训练 Lmax = 4，推理 6 圈时 FVD 最好（69.20），有温和的外推
2026 年 9 月 30 日 · 第一篇系统研究文生图

Looped-DiT：Looped Diffusion Transformer

Chng, Chen 等 · SenseTime Research、清华 LeapLab、NTU · 通讯作者 Gao Huang
像素空间 MMDiT（基于 MiniT2I），512×512 文生图 · 代码

alphaXiv 2609.40305 ↗

文生图有时需要推断提示词没写出的内容，同时满足几种约束，还要修正先前的错误。Looped-DiT 尝试在隐空间里通过循环完成这些计算，不需要生成文字形式的思维链。

Deep Supervision

  • 第 1、2、3 圈的隐状态也送进共享的 6 块 post-loop，直接对同一个干净图 x0 算 flow-matching 损失。
  • 权重比较了两种：指数（1/8, 1/4, 1/2, 1）和 final+mean（1/3, 1/3, 1/3, 1），后者更好。
  • 只在训练时多算，推理时不增加参数和计算。代价是训练 FLOPs 约为等推理计算 baseline 的 1.54×。

Self-Modulating Attention

  • softmax 只决定"从谁那里取信息"，不决定"写回多少"。同一组块反复写，就会把 token 的局部信息冲掉。
  • Gated Attention：每个头乘一个依赖当前 token 的 sigmoid 门。
  • XSA（Exclusive Self Attention）：把输出里沿 token 自身 value 方向的分量投影掉，z = (I − v̂v̂ᵀ) Σ α v，无参数。效果最好，只放在循环段里。
  • XSA 给循环模型 +1.6 分，给不循环的同参数 baseline −0.1、同计算 baseline +0.7。它主要在解决循环带来的问题。
平均分与参数量
六个基准的平均分（GenEval、DPG、PRISM、CoRe、Spatial、TIIF-Short）对参数量（对数轴）。悬停查看每个点。
Looped-DiT B/16不带思维链的模型带思维链推理的模型

同一骨架不循环的 MiniT2I-B/16 是 66.4，循环后 71.5；InternVL-U（1.7B）是 69.0。作者给出的效率对比：参数少 6.5×，推理计算少 4.9×，延迟低 3.2×。数据来自 Looped-DiT 表 1。

匹配参数量、推理计算和训练计算
B/32，四个推理相关基准的平均分。同一行比较的是谁的条件被匹配。
模型匹配的是参数等效深度推理 GFLOPs平均分
MiniT2I B/32参数260M1714655.2
更深的 MiniT2I推理计算473M3226757.7
更宽的 MiniT2I推理计算489M1726858.6
更深 + Deep Supervision训练计算473M3226758.1
Looped-DiT B/32—260M3226759.1

在参数、推理计算、训练计算三种匹配下，循环版都领先，而且参数最少。数据来自 Looped-DiT 表 2。

同样预算下，加圈还是加步

  • 同样的推理预算，加圈数比加去噪步数涨得多（25 到 50 步的区间里一致成立）。
  • 对比对象有两个：同一个 checkpoint 关掉循环，和同架构不带循环训练的模型。
  • 加一个轻量门控网络做自适应退出，按图决定转几圈：同样的平均圈数下比固定圈数更好，不用重新训练就能调预算。

循环和文字 CoT 是互补的

  • 需要同时满足关系、空间、步骤约束的子任务，循环收益更大，再加 CoT 改写提示词几乎没有额外帮助。
  • 需要从例子和规则推断隐含内容的子任务，CoT 收益更大。
  • 两者一起用得分最高。定性上，后几圈会补上缺失物体、挪动物体满足空间约束、修掉错字和多余物体。
2026 年 10 月 4 日 · 最新的一篇

LiFT：Loop Flow Transformers

Derakhshani, Curvo, Burghouts, van de Meent, Snoek · 阿姆斯特丹大学 VISLab / AMLab、TNO
类条件 ImageNet 256，SD-VAE 潜空间，不用 CFG · 副标题 Loop in Depth, Flow in Time

alphaXiv 2610.05538 ↗

LiFT 给每一圈设置不同的目标：从模型的初始估计到真值连一条直线，第 k 圈预测线上对应位置的点。深度用连续坐标表示；实验里训练 2 圈的模型，推理加到 16 圈仍有收益。

方法：轨迹监督

b = sg(u₀) // prelude 的初始估计，不回传梯度
ūs = (1 − s)·b + s·u★ // s ∈ [0, 1]
L = 1/K Σk ‖uk − ūsk‖² + λ‖u₀ − u★‖²
  • 训练时每个样本随机抽 Ktrain − 1 个坐标并排序，末端固定为 s = 1，所以最后一圈始终在学标准 flow-matching 目标。
  • 推理时用均匀网格 sk = k / Kinf。圈数只决定这条路径被切得多细，就像积分步数之于生成时间。
  • 消融里，固定网格训练的模型在 16、32 圈时 FID 升到 75.26、86.95；随机坐标的模型保持在 67.71、68.38。

外推、等计算比较和局限

  • 外推：前两篇主要让模型在训练深度以内可用；LiFT 让超出训练深度的圈数持续带来收益。
  • 等计算：它直接在相同 TFLOPs 下和 dense DiT 比，而不只是等参数。
  • 边界：在 B/2 规模，dense 在所有预算下都更强；在训练深度上，每个 LiFT 都输给同规模 dense。优势来自把推理计算重新分配给循环。
  • 它也引用了 iso-depth 缩放律的结论：一次共享的递归大约只值半个独立块。
训练 2 圈，推理时继续往上加
FID 对推理圈数 Kinf（对数轴），固定 50 步积分。空心圈标出训练深度，横线是 50 步的 dense 参考。
LiFT L/2 R10（270M，训练 K = 2）LiFT XL/2 R12（390M，训练 K = 2）dense 参考（50 步）

L/2 R10 在 3 圈时就超过了 dense XL/2（14.64 对 15.54），推理计算还略少（11.43 对 11.86 TFLOPs），参数少约 60%。两条曲线在 8 到 16 圈后变平，32 圈略有回升。数据来自 LiFT 表 5。

预算该分给步数，还是分给圈数
LiFT L/2 R10 在 T（积分步数）× K（推理圈数）网格上的 FID。拖动预算，看在这个预算以内能拿到的最好设置。
预算上限8.07 TFLOPs
LiFT 最好设置—
dense L/2 最好设置—

颜色越深 FID 越低。黑框是训练配置（50 步，2 圈）。dense L/2 与这个 LiFT checkpoint 的训练计算可比，参数多约 41%。其中一个比较划算的设置：25 步 × 4 圈，FID 13.16，7.40 TFLOPs；dense L/2 用 50 步、8.07 TFLOPs 只到 16.94。数据来自 LiFT 表 6、表 7。

17.07 → 9.31XL/2 R12，训练 2 圈，推理 16 圈，不重新训练
−3.34 FIDL/2 R10（8 圈）对 dense XL/2（250 步）：10.95 对 14.30
−60% / −52%同一对比里的参数量和推理 FLOPs，训练计算也少 32%
2026 年 9 月 1 日 · 对照组：步与步之间的循环

Diffusion as a Training Curriculum for Timestep-Free Iterative Reasoning

Drozdova, Sirbu, Miotti, Obryk, Etcheverry, Niklasson, Richards · Google Paradigms of Intelligence、日内瓦大学、McGill / Mila
任务是 Sudoku-Extreme 和 Maze-Unique / Maze-Hard 推理，不是图像生成

alphaXiv 2609.01449 ↗

前三篇都在一次去噪调用之内循环，下一步重新开始。这篇把循环产生的隐状态带到下一步，同时拿掉时间步条件。它的结果是，推理时不需要逐步去噪，扩散主要用于提供训练课程。

两种把计算串起来的方式
上：步内循环，步与步之间只传带噪样本。下：跨步记忆，隐状态 h 干净地传下去，样本每步重新加噪。
步内循环 · ELT / Looped-DiT / LiFTP → R×K → DP → R×K → DP → R×K → Dh 从 h₀ 重新开始h 从 h₀ 重新开始h 从 h₀ 重新开始x_tx_t步 k步 k+1步 k+2跨步记忆 · Drozdova 等（没有时间步输入）E(x_k) + h_k → B×8E(x_k) + h_k → B×8E(x_k) + h_k → B×8读出 ŷ_k 和 h_{k+1}读出 ŷ_k 和 h_{k+1}读出 ŷ_k 和 h_{k+1}h（干净）h（干净）ŷ 重新加噪ŷ 重新加噪x_{k+1} = Pin(a(t)·ŷ_k + b(t)·ε, 线索)：已知格子固定，其余格子加噪；t 可以一直停在最大噪声

方法

  • 去噪器本身是循环的：数独上是 1 个带行、列、宫掩码的 Transformer 块转 J = 8 圈，迷宫上是 3×3 卷积块转 8 圈。
  • 每一步的输出分成两路 LayerNorm：一路投影成去噪预测 ŷ，一路作为隐状态 h 传给下一步。h 没有任何直接损失。
  • 网络不接收时间步，也不接收迭代序号，所以同一个更新可以跑任意多步。
  • 训练时每条轨迹的步数 K ~ U[20, 160]，每步的输入都从真值重新加噪，只截断反传 4 步。h 是早先步的信息唯一能干净传下去的通道。

发现

  • 步数一直加到 10,000，准确率单调上升，远超训练时的 160 步和 4 步反传窗口。
  • 推理时把噪声一直停在最大值，效果反而最好（99.90%）。完全不加噪声只剩 49.39%。噪声在这里是探索机制，单条轨迹就能跳出错误解并最终稳定下来。
  • 去掉 h 的模型收敛更慢、上限更低。加不加时间步条件，结果差别不大。
  • 训练时有序的退火加噪是关键：换成固定噪声或每步随机噪声水平，准确率大幅下降。
扩散用在训练里，而不是推理里
Sudoku-Extreme 完全解出率（%）。上半部分改训练方式（推理统一用退火噪声，K = 10,000）；下半部分固定一个模型，只改推理时的噪声。
论文采用的设置对照设置

上半部分为三个种子的均值，误差条为标准差（附录表 2）。下半部分来自正文第 3 节。两部分的"退火"数值（99.54 和 99.56）来自不同的实验。

99.90%Sudoku-Extreme，10,000 步，推理时保持最大噪声
98.93%Maze-Unique，100 步；5 步时只有 40.87%
82.50 → 29.38第 200 步把 h 在格子之间打乱后的解出率，说明 h 记录的是有空间结构的解题进度

和步内循环的关系

  • 这篇里，扩散提供训练课程，递归负责计算。前三篇是把扩散模型改成循环的，这篇反过来，用扩散训练一个循环求解器。
  • 它代表另一种状态交接方式。LiFT 明确每个积分步重新初始化循环状态；RIN 和这篇则把隐状态跨步带下去。文生图和视频生成目前只走了第一条路。
  • 迁移到生成时要小心。这些任务只有唯一解。作者在多解的数独上发现，模型找到一个解后，在 57.93% 的轨迹里会继续漂移到别的解。图像生成本来就是多解的，"推理时一直保持最大噪声"未必适用。
§8

背景：从 Huginn 到 DEQ

上面几篇用的骨架有两个来源。一个是语言模型里的 recurrent depth：把同一组块展开有限次，训练时随机抽圈数、只截断反传最后几圈。另一个是 DEQ（Deep Equilibrium Models）：不再数圈数，直接求解 z* = f(z*, x) 这个不动点，相当于让循环跑到无穷并收敛。两种做法都在研究如何把计算深度和参数量分开。

按"循环怎么展开"把这页提到的工作排一排，能看出谁能在推理时外推到更多圈。

循环的三种展开方式
从左到右，训练时对圈数的约束越来越弱。中间一栏的工作都能在推理时用比训练更多的圈数并继续变好。
Looped-DiT训练 4 圈，深监督后 8 圈仍稳ELT训练 L_max，可在任意圈早退LoopVL多于训练圈数时明显变差Huginnr 随机采样，截断 8 步反传LiFT随机深度坐标，2 → 16 圈Drozdova 等无时间步，160 → 10,000 步DEQBroyden 求根，O(1) 显存DEQ-Flow不动点在帧之间复用FPDM不动点在 timestep 之间复用GET不动点做一步生成器固定 K 次展开随机 K + 截断反传求解不动点（K → ∞）

Huginn 论文的 Remark 3.1 有一条和本页直接相关的负面结果：给 core 加上按步编号的条件 Ri，会破坏"路径无关性"，模型就不能外推了。LiFT 用的是归一化到 [0, 1] 的连续深度坐标，Drozdova 等人则干脆去掉了时间步输入，两种做法都绕开了这个问题。

Huginn：Recurrent Depth

arXiv 2502.05171 · 2025.02 · ELLIS Tübingen / MPI-IS、马里兰大学、LLNL

  • 布局是 (2, 4, 2)：prelude 2 层、core 4 层、coda 2 层，r = 32 时展开成 132 层。每圈把 prelude 的输出 e 和当前状态拼接后过一个 adapter；初始状态是随机噪声。
  • 训练时圈数 r 从均值 32 的对数正态泊松分布里抽，只对最后 8 圈反传，显存和 r 无关。
  • 3.5B 参数、800B token。推理测到 r = 64，GSM8K CoT 34.80（OLMo-7B 是 6.07）；作者称计算量相当于 50B 参数的模型。
  • 推理时可以按 token 自适应退出（相邻两圈 KL 小于 5×10⁻⁴ 就停），也可以共享 KV cache。

LiFT、Looped-DiT 的 prelude–core–coda 模板，以及"训练时随机深度换来推理外推"的做法，都能追到这里。

LoopVL：Recurrent Visual Intelligence

arXiv 2609.38426 · 2026.09.29 · 上海交大、MPI-IS、Monash、人大、百度等

  • 两组 16 层堆叠：快的 L 和慢的 H。Module-Loop 在固定的高层条件下重复 L，Model-Loop 重复整个 L→H 周期。默认 [L×3→H]×2，用 32 个唯一层做 128 次层调用。
  • 约 1B 参数，从头训练（文本预训练 75B token，多模态 49B，SFT 16.8B，再加 GRPO）。
  • 等 token 对比（0.14T）：MMStar 63.47，同尺寸不循环的 baseline 是 55.33。注意力的 Gini 系数在两个 Model-Loop 周期交界处从 0.405 跳到 0.858，作者称之为 Visual Aha Moment。
  • 不能外推：周期数从训练时的 2 加到 4，MMStar 掉到 24.00。

这是视觉理解而不是生成。它用固定的训练圈数、没有随机深度，多转反而更差，正好是 Huginn / LiFT 那类随机深度训练的反例。

DEQ：Deep Equilibrium Models

arXiv 1909.01377 · NeurIPS 2019 · CMU、Bosch AI、Intel Labs

  • 直接求 z* = fθ(z*; x)，等价于一个每层都注入 x 的无穷深权重共享网络。用 Broyden 法求根。
  • 反向传播用隐函数定理，显存只相当于一层的激活，与"深度"无关。摘要里给出最多 88% 的显存节省。
  • WikiText-103 上 DEQ-Transformer 困惑度 24.2，显存 2.7GB；Transformer-XL 是 24.3，8.5GB。代价是训练慢 2.82×，推理慢 1.76×。

循环的极限情况。looped 模型如果每圈都在逼近同一个不动点，多转几圈就是解得更准。

DEQ-Flow：光流里的不动点

arXiv 2204.08442 · 2022.04 · CMU、北京大学、Bosch AI

  • 把 RAFT 的 ConvGRU 迭代更新改写成不动点问题，用 Anderson / Broyden 求解，残差小于 10⁻³ 停止。用 phantom gradient 时训练快近 2 倍。
  • 对少数中间解加稀疏的不动点修正损失，解决了 DEQ 训练不稳定的老问题。
  • 每一帧从上一帧的不动点出发求解，Sintel 上推理快约 1.6 倍；训练显存省 4–6 倍。
  • KITTI-15（C+T）F1-all：同尺寸 DEQ-RAFT-B 16.3，RAFT 17.4。

最早把"迭代状态跨帧复用"用在视频上的工作之一，和 AR 世界模型逐帧生成的结构直接对应。

FPDM：Fixed Point Diffusion Models

arXiv 2401.08741 · 2024.01 · 牛津大学

  • 从 DiT 出发，只保留首尾两个显式 block，中间换成一个带 timestep 条件、有输入注入的隐式不动点层。
  • 训练：先不带梯度迭代 n ~ U[0, N] 次，再带梯度迭代 m ~ U[1, 12] 次。
  • 采样时把迭代预算分配到各个 timestep，每个 timestep 从上一个 timestep 的不动点热启动。
  • 85M 参数，DiT-XL/2 是 674M；训练显存 10.2GB 对 25.2GB。

DEQ 版的"步内循环"。外层是采样步，内层是不动点求解，而且解在外层步之间复用，相当于 LiFT 和 Drozdova 两种设计的中间形态。

GET：一步生成的 DEQ 学生

arXiv 2401.08639 · NeurIPS 2023 · CMU、Bosch AI

  • Generative Equilibrium Transformer：一个注入 transformer 处理噪声和类别，一个平衡 transformer 求不动点，再一步解码成图像。
  • 用 EDM 生成的 100 万对噪声 / 图像离线蒸馏。主实验迭代 6 次并直接反传；也可以用梯度检查点做到 O(1) 显存。
  • CIFAR-10 一次网络调用：无条件 FID 6.91（PD-EDM 8.34），类条件 6.25。19.2M 的 GET-Mini FID 10.72，85.2M 的 ViT 是 11.49。

ELT 展望里说的"一步模型可以通过圈数调节质量"，GET 在 2023 年就用不动点迭代次数实现过。

FPDM 与 DiT 在相同 block 调用次数下
ImageNet 256，FID 越低越好（DDIM 采样）。FPDM 85M 参数，DiT-XL/2 674M。
总 block 调用次数FPDMDiT-XL/2
14033.9110.0
28022.435.2
56019.616.5

计算预算很紧时，参数少的不动点模型大幅领先；预算放宽后，参数多的 dense 模型反超（560 次调用、DDPM 采样时 FPDM 仍领先：26.1 对 37.9）。这和 LiFT 在 B/2 规模、ELT 在 1 层循环 32 次时看到的"容量下限"是同一个现象。数据来自 FPDM 表 1。

迭代状态在外层循环里复用

  • DEQ-Flow：光流的不动点在视频帧之间复用。
  • FPDM：不动点在扩散的 timestep 之间复用。
  • Huginn：continuous CoT 用上一个 token 的最终状态初始化下一个 token。
  • Drozdova 等：隐状态在去噪步之间传递，样本本身每步重新加噪。

相比之下，ELT、Looped-DiT、LiFT 都在每个去噪步从头开始循环。对于逐帧生成的视频世界模型，这四种复用方式提供了现成的设计空间。

§9

四篇并排看

ELTLooped-DiTLiFTDiffusion as Curriculum
任务类条件图像 + 视频（UCF-101）开放文本生图类条件图像数独、迷宫（唯一解推理）
生成器MaskGIT 式掩码生成、DDPM 式 DiT像素空间 MMDiT，flow matching潜空间 DiT，flow matching连续 VP 扩散；循环 Transformer 或卷积块
中间圈目标真值 + 最深一圈（stop-grad）每圈都是同一个 x₀直线路径上各自的点 ūs步内 8 圈不单独监督；每个去噪步监督 ŷ，h 无损失
架构改动基本不改循环段内换成 XSA / 门控注意力h₀ 回注 + 深度坐标 embedding跨步隐状态 + 去掉时间步条件
强调的能力Any-Time 早退、吞吐参数效率、隐式视觉推理、自适应圈数超出训练深度的外推、等计算胜出Anytime 求解、单轨迹靠噪声探索
超出训练深度视频上温和外推（4 → 6）Deep Supervision 后到 8 圈仍保持2 → 16 圈持续变好训练最多 160 步，推理到 10,000 步仍在上升
代表数字参数少 4×，FID 2.0 持平0.26B 平均分 71.5，超过 1.7B 的 69.0参数少 60% 时 FID 低 3.34Sudoku-Extreme 99.90%

这三篇的中间监督可以这样对照。Looped-DiT 要求每一圈都直接给出最终答案，最简单，迫使早期圈也有用。ELT 让浅层去追深层，深层的输出比真值更"可达"，方差也更小。LiFT 明确规定第 k 圈只需要走完修正量的一部分，每一圈有不同的分工，它的外推也基于这一设计：增加圈数，是把同一段路径切得更细。

第四篇关注的是步与步之间传什么：前三篇只传带噪样本，它额外传一个干净的隐状态，并且这个状态没有任何直接监督。表里"超出训练深度"那一行，它的外推倍数最大（160 → 10,000 步），代价是只在唯一解的推理任务上验证过。

Looped-DiT 在相关工作里明确说明了和 ELT 的区别：ELT 用自蒸馏，自己用同一目标直接监督，不需要老师配置。LiFT 则把 ELT 和 DeepFlow 归为"每个中间预测都朝完整输出训练"的一类，作为自己要改进的对象。

§10

相关工作的时间线

循环深度在语言模型里有很长的历史；在生成模型里，"在一次去噪调用之内迭代"和"跨去噪步携带状态"是两条要分开看的路。

2018

Universal Transformers

Dehghani 等（Google）。把单层 Transformer 反复应用，参数与深度第一次解耦。后来的 ALBERT 做了跨层参数共享。

2019

DEQ · Deep Equilibrium Models

Bai、Kolter、Koltun。直接求解权重共享网络的不动点，用隐函数定理反传，显存与"深度"无关。是循环跑到无穷时的极限。

2022.04

DEQ-Flow

把 RAFT 的迭代光流改写成不动点求解，并在视频帧之间复用不动点。

2022

RIN · Recurrent Interface Networks

Jabri、Fleet、Chen（Google）。隐变量在去噪步之间被携带复用，属于"跨步"的递归，和这里的"步内"循环不同。LiFT 专门做了这个区分；2026 年 Google 的 Drozdova 等人也走跨步这一支。

2023–25

Looped Transformers 的理论与推理

Giannou 等证明 looped Transformer 可以当可编程计算机；Saunshi 等把循环和 latent reasoning 联系起来；Mixture-of-Recursions 让每个 token 自适应决定递归深度。

2023–24

GET · FPDM

DEQ 进入生成模型：GET（2023）用不动点做一步生成的蒸馏学生，FPDM（2024）把 DiT 的中间层换成带 timestep 条件的不动点层。

2025.02

Huginn · Recurrent Depth

Geiping 等。prelude–core–coda 布局，训练时随机抽圈数并截断反传，3.5B 模型在推理时把圈数推到 64 继续变好。后来 LiFT、Looped-DiT 都沿用了这套布局。

2023–25

生成模型里的相邻做法

DeepFlow 在 flow 模型里做中间层监督与速度对齐；DiT-Air 研究 DiT 的层共享。

2026.04

ELT · Google DeepMind

第一份在图像和视频生成上系统做循环的工作，提出 ILSD 和 Any-Time 推理，同时覆盖掩码生成和扩散。

2026

LoopDiT（技术博客）· XSA

Wenhao Chai 的 LoopDiT 用 MeanFlow 训练循环 DiT-B/4，在同等计算下没有胜过 dense，加步数比加圈数更划算。Shuangfei Zhai 提出的 Exclusive Self Attention 后来被 Looped-DiT 用作循环段的注意力。

2026.09.01

Diffusion as a Training Curriculum · Google

循环去噪器加上跨步隐状态，去掉时间步条件，在数独和迷宫上变成可以跑任意深度的 anytime 求解器。结论是扩散的价值在于训练课程，推理时可以不逐步去噪。

2026.09.29

LoopVL

把循环用到 1B 视觉-语言模型上，从头训练，等 token 下大幅超过不循环的 baseline；但它固定训练圈数，多转反而变差。

2026.09.30

Looped-DiT

把循环带到开放文本生图，诊断出空间信息被冲刷的问题，用深监督和自调制注意力修复，并给出隐式视觉推理的定性证据。

2026.10

LiFT

用连续深度坐标上的轨迹目标替换"每圈都猜终点"，让增加推理圈数持续带来收益，并在等计算下胜过更大的 dense DiT。

§11

还没回答的问题

规模上去以后还成立吗

Looped-DiT 在 260M、512 分辨率；LiFT 在 ImageNet 256 且不用 CFG，B/2 规模反而输给 dense。ELT 的实验里，增加宽度仍是主要的扩展方式，循环提供额外的推理计算。数十亿参数的潜空间文生图上还没有人做过。

视频上的实验还很少

三篇里只有 ELT 做了视频，而且是 UCF-101 这种数据受限的设定，作者认为循环在这里还有抗过拟合的作用。LiFT 把预算感知的视频生成列为后续方向。对长视频，按帧或按难度分配圈数可能更有意义。

圈数怎么在步与步之间分配

现在每个去噪步用同样的圈数。ELT 提出可以把计算花在最需要的步上；Looped-DiT 的门控网络已经能按图决定圈数；LiFT 发现最佳 (T, K) 组合随预算变化，16 圈 × 10 步反而比 4 圈 × 25 步又差又贵。

步内循环和跨步记忆能不能合起来

文生图和视频这几篇都在每个去噪步重新初始化循环状态。Drozdova 等人的结果说明，一个不受监督、跨步传递的隐状态能积累大量计算，而且让反传只需截断到 4 步。视频生成天然有帧与帧之间的状态，可能是最适合试这件事的地方。DEQ-Flow 跨帧复用不动点、FPDM 跨 timestep 复用不动点，已经说明这类复用能省下可观的计算。

推理时的噪声该扮演什么角色

在唯一解的推理任务上，一直保持最大噪声最好，噪声相当于在一条轨迹里做搜索。生成任务需要的是多样且稳定的样本，多解设定下轨迹会在解之间漂移。循环生成模型里，噪声调度和圈数如何一起设计，目前没有答案。

和一步生成的结合

ELT 指出，对 consistency 或 drifting 这类一步模型，圈数会成为唯一可调的质量参数。Looped-DiT 和 LiFT 都把循环定位为少步蒸馏之外的另一条轴，两者结合的效果还需要实验。

资料：ELT（arXiv 2604.09168v3）、Huginn（2502.05171）、LoopVL（2609.38426）、DEQ（1909.01377）、DEQ-Flow（2204.08442）、FPDM（2401.08741）、GET（2401.08639）、Looped-DiT（arXiv 2609.40305v1）、LiFT（arXiv 2610.05538v1）、Diffusion as a Training Curriculum（arXiv 2609.01449v1）。所有数字摘自论文正文与附录表格；首屏动画为示意。 整理于 2026 年 10 月。