张量程序六：

无限深度神经网络中的特征学习

摘要

通过对无限宽度神经网络进行分类并确定最佳限制，[23, 25]展示了一种通用方法，称为$\mu$P，用于宽度方向超参数转移，即从窄神经网络预测宽神经网络的最佳超参数。 在这里，我们研究深度残差网络（resnet）的深度参数化的类似分类。 我们根据块乘法器和学习率的无限宽度和深度限制对深度参数化进行分类。 在每个块只有一层的 resnet 中，我们确定了一种独特的最佳参数化，称为 Depth-$\mu$P，它扩展了 $\mu$P，并根据经验表明它允许深度超参数传输。 我们认为特征多样性是深度网络中的关键因素，而Depth-$\mu$P可以被描述为最大化特征学习和特征多样性。 利用这一点，我们发现在所有同质非线性中，绝对值可以最大化特征多样性，并且实际上根据经验可以带来更好的性能。 然而，如果每个块更深（例如现代 Transformer ），那么我们会发现此类参数化的所有可能的无限深度限制的基本限制，我们在简单网络以及在 Common Crawl 上训练的威震天 Transformer 上从理论上和经验上说明了这一点。

1简介

深度神经网络在广泛的任务中展示了卓越的性能，包括图像分类、以 AlphaGo 为代表的游戏[17]，以及以 GPT-4 为代表的自然语言处理[15]. 开发这些网络的普遍趋势是增加其规模和复杂性，经验证据表明，使用相同的计算资源，具有更多参数的模型往往会表现出更好的性能。 有两种方法可以增加网络大小：宽度和深度。 宽度的属性（给定固定深度）已在文献中得到广泛研究：Yang 等人[25]最近的工作确定了最大更新参数化($\mu$P) 保证了无限宽度限制下的最大特征学习。 $\mu$P 的另一个好处是超参数传输，可以在较小的模型上进行超参数调整；较小模型的最佳超参数选择对于较大模型（即宽度较大的模型）仍然是最佳的。 然而，尽管大规模深度模型取得了成就，并且对缩放宽度有了理论上的理解，但增加神经网络的深度仍然存在实际局限性和理论困难。 在实践中，增加深度超过一定水平通常会导致性能下降和/或最佳超参数的显着变化。 理论上，与增加宽度不同，增加深度会引入新的参数，从而显着改变训练动态。 在本文中，我们的目标是通过扩展 $\mu$P 以包含深度缩放来解决这个问题。 我们将深度缩放称为Depth-$\mu$P。

随着时间的推移，深度缩放问题一直持续存在。 十年前，深度神经网络经历了严重的退化问题——超过几十层会增加训练误差，而不是提高模型的性能。 这部分是由于梯度消失或爆炸问题影响了信息通过网络的有效传播。 残差网络（ResNet）[8,9,18]的引入部分解决了这个问题，允许训练更深层的网络并提高性能。 ResNet 通过分层 剩余块来构建，剩余块由一系列卷积层组成，然后与输入进行逐元素相加。 这种逐元素添加（通常称为跳过连接)是 ResNet 的一项重大创新，并且仍然是包括 Transformers [19] 在内的现代架构的重要组成部分。

具体来说，在残差架构中，第$l$个残差块被公式化为

$$x^l=x^{l-1}+g^l(x^{l-1};W^l),$$

其中 $x^{l-1}$ 是输入，$x^l$ 是输出，$W^l$ 是块的参数，$g^l$（通常称为 residualbranch)是定义层的映射（例如 ResNet 中的卷积堆栈，或 Transformer 中的 SelfAttention 和 MLP）。 在这项工作中，我们重点关注 $g^l$ 是具有（或不具有）激活的无偏感知器的情况。

表格1： 标准深度缩放和 Depth-$\mu$P 之间的差异。 Depth-$\mu$P 中的常数 $a$ 和 $\eta$ 可以跨深度转移，即，可以调整较小的网络并为更深的网络使用相同的常数。 另一方面，标准深度缩放的学习率需要针对不同深度的模型进行单独调整。

	Branch Multiplier	Learning Rate
Standard	1	? (tuned)
Depth-$\mu$P (SGD)	$a/\sqrt{\text{depth}}$	$\eta$
Depth-$\mu$P (Adam)	$a/\sqrt{\text{depth}}$	$\eta /\sqrt{\text{depth}}$

即使在初始化时，许多残差块的堆叠也会导致明显的问题 - $x^l$ 的范数随着 $l$ 的增长而增长，因此最后一层特征在增加深度时没有稳定的范数。 直观上，我们可以通过使用与深度相关的常数来缩放残余分支来稳定这些特征。 然而，用任意小的常数缩放残余分支可能会导致在大深度限制下无法学习特征，因为梯度也会与缩放因子相乘。

当每个块 $g^l$ 只有一层（一个矩阵乘法）时，我们将称为 Depth-$\mu$P 的参数化确定为深度网络的最佳参数化。 它最大限度地提高了特征学习和特征多样性 在块乘数和深度学习率的所有可能参数化中。 我们的框架扩展了之前在 $\mu$P 上的结果，处理最佳宽度缩放[25]。 它完成了宽度缩放，因此提供了完整的宽度和深度缩放配方，保证了跨宽度和深度的最大特征学习和超参数传输。 Depth-$\mu$P 包含对标准实践的以下修改：

1. 每个残差分支在添加到其输入之前都有一个乘数，该乘数与 $L$ 的平方根成反比（其中 $L$ 是深度）。 形式上，使用独立于 $L$ 的常量 $a$，

   $x^l$ $=x^{l-1}+{\displaystyle \frac{a}{\sqrt{L}}}\cdot g^l(x^{l-1};W^l).$ (1)

2. 我们设置$W^l$的学习率，使得训练期间$W^l$的更新与$1/\sqrt{L}$成正比。 我们基于这个原理针对不同的优化算法推导出不同的学习率方案。 对于 Adam 来说，由于其对梯度具有尺度不变性，因此 $W^l$ 的学习率设置为 $\eta /\sqrt{L}$。 另一方面，SGD 的$W^l$学习率被设置为常数$\eta$，因为$W^l$的梯度已经是$1/\sqrt{L}$ 由于乘数。

在块深度 $1$ 中（即 $g^l$ 是无偏差感知器，$W^l$ 是单个矩阵），这种缩放导致以下属性：

• 在初始化时，每个$L$残差块将$\mathrm{\Theta }(1/\sqrt{L})$贡献给主分支。 这些$L$贡献是相互独立的，因此它们的总和大小为$\mathrm{\Theta }(1)$。

• 在训练过程中，由于学习率和乘数的共同作用，每个残差块的更新贡献为$\mathrm{\Theta }(1/L)$。 更新的贡献是高度相关的，因此它们的总和为$\mathrm{\Theta }(1)$。

这种缩放方法的更详细直观可以在部分3中找到，其中我们在一个梯度步骤之后提供了线性网络的简单分析。 我们在部分7中给出了深度参数化的完整分类。

图1： 具有分支乘数 $L^{-\alpha }$ 和与 $L^{-\gamma }$ 成比例的参数更新的扩展策略的行为。

1.1 深度最优性-$\mu$P。

我们将 Depth-$\mu$P 与其他具有分支乘数 $\propto L^{-\alpha }$ 和参数更新 $\propto L^{-\gamma }$ 的缩放策略进行了彻底比较。 如图图1所示，$(\alpha ,\gamma )$的空间被分为几个区域，每个区域在当$L\to \mathrm{\infty }$：

• 初始化时需要使用 $\alpha \ge 1/2$ 来稳定网络。 这确保了隐藏的激活和网络输出在初始化时不会爆炸；

• 对于任意，训练时网络不稳定。 训练期间隐藏激活或网络输出的变化随着深度的增加而爆炸；

• 对于任何$\alpha +\gamma >1$，训练结果都是微不足道的。 随着深度的增加，网络的变化消失；

• 对于任何具有 $\alpha >1$ 的 $\alpha +\gamma =1$，网络都是不忠实的（本文稍后将提供正式定义）。 随着深度的增加，隐藏的激活在训练过程中会爆炸；

• 对于任何$\alpha +\gamma =1$和$\alpha \in (1/2,1]$，我们表明网络收敛到缺乏特征多样性的冗余限制，在这种情况下层具有相似的输出（以神经常微分方程的方式）。

• $\alpha$和$\gamma$剩下的唯一选择是$\alpha =\gamma =1/2$，它对应于Depth-$\mu$P。

严格的定义和证明在部分7中给出。

1.2 深度超参数传递。

Depth-$\mu$P 的最优性意味着（在某些假设下）网络的最优超参数也会随着深度 ($L$) 的增加而收敛。 这种收敛表明较浅网络的最佳超参数大约等于较深层网络的最佳超参数。 直接的含义是，我们可以利用这个属性从较浅的网络推断出较深层网络的超参数，从而有效地降低与超参数调整相关的成本。 通过 Depth-$\mu$P，我们成功训练了包含数千个残差块的网络，同时还展示了超参数跨深度的可传递性。

1.3 块深度的不可能性结果$\ge 2$

虽然块深度 1 的情况承认积极的结果，但我们表明块深度 $\ge 2$ 的情况没有也不能(section 9)。 基本问题是，如果想保留多样性，当深度很大时，块内不同层的权重被迫以加法而不是乘法相互作用。 这会导致块深度 $\ge 2$ 的性能比块深度 $1$ 更差，并且最佳超参数会随着深度而变化。 我们在具有 MLP 块的 resnet 上以及在 Common Crawl 上训练的 Megatron Transformer [16] 上以教学方式演示了这一点。 这些观察结果需要重新思考当前的超参数传递方法。

2相关作品

2.1 宽度缩放和$\mu$P

神经网络的无限宽度限制一直是文献中广泛研究的主题。 许多研究主要集中在检查初始化时各种统计量的行为。 有些工作已经超越了初始化阶段，探索神经网络中特征学习的动态。

懒惰的训练。

使用标准参数化，学习率为 $𝒪(n^{-1})$ 级， $n$ 是宽度，在无限宽度限制下产生所谓的惰性训练机制，其中特征在整个训练 [3, 25] 中保持大致恒定。 该机制也称为神经正切核 (NTK) 机制，其收敛特性已在文献[10,1,2,28]中进行了广泛研究。

特征学习和$\mu$P.

最近的实证研究（例如[25])提供了令人信服的证据，表明特征学习在深度学习的成功中发挥着至关重要的作用。 人们普遍认为，深度神经网络取得的卓越性能可以归因于它们通过训练过程获得有意义的表示的能力。 因此，扩展网络架构成为增强此类模型性能的自然选择。

在这种背景下，[25]中引入的$\mu$P（最大更新参数化）已成为一种有前景的方法，可以最大化特征学习，同时防止特征随着网络宽度的增加而爆炸。在给定固定深度的情况下增加。 值得注意的是，$\mu$P 有助于跨不同网络宽度的超参数传输。 这意味着，我们可以在较小的模型上对其进行优化，并对较大的模型使用同一组超参数，而不是直接在大型模型上调整超参数。

$\mu$P 的推导利用了张量程序框架[22,20,21,23,25]，该框架为捕获无限中神经网络的行为提供了有价值的工具。训练过程中的宽度制度。

2.2 深度缩放

虽然增加神经网络的宽度可以提高性能，但增加网络的深度也可以带来显着的性能提升，并且大多数最先进的模型都使用深层架构。 跳跃连接的引入[8, 9]在实现深度网络方面发挥了关键作用。 然而，很明显，即使使用跳过连接和归一化层，训练深度网络仍然是一项具有挑战性的任务[12]。 此外，调整大型深度网络的超参数是一项耗时且耗时的任务。

为了解决与训练深度网络相关的挑战，一些研究提出使用深度相关的缩放器来缩放网络块，以确保初始化时或内核状态中特征和梯度的稳定性[7,4,26,13, 5、6、14、27]。 然而，这些工作缺乏对特征学习动态的洞察。 例如，有人可能会争辩说，如果学习率选择不当，特征仍然会经历爆炸性增长。 因此，有效的深度缩放方法不仅应确保初始化时的稳定性，还应为缩放学习率提供指导。

这一动机是 Depth-$\mu$P 开发的基础，它为深度缩放提供了一个全面的框架。 Depth-$\mu$P 包含块乘法器和学习率缩放，为训练深度网络提供完整的方案。 在多层感知器（MLP）（无跳跃连接）的情况下，Jelassi 等人[11]表明，学习率缩放$dept{h}^{-3/2}$保证了初始梯度后的稳定性步。 然而，目前尚不清楚在第一步之后如何调整学习率，并且这种缩放不适合具有剩余连接的架构。

3 热身：线性网络的直观解释

让我们从一个简单的例子开始，它提供了支撑我们的深度缩放策略的必要直觉。 给定深度 $L$、宽度 $n$，考虑以下形式的线性残差网络

$x^0$ $=U\xi ,$

$\forall l\in [L],x^l$ $=x^{l-1}+{\displaystyle \frac{1}{\sqrt{L}}}{W}^l{x}^{l-1},$

$f$ $=V^{\top }{x}^L,$

其中权重矩阵 $W^l\in {ℝ}^{n\times n}$ 和 $U,V$ 是我们假设在训练期间固定的输入和输出权重矩阵。

3.1 学习率的最佳缩放

为了简化分析，我们考虑基于单个数据点的梯度更新。 第一个梯度步长由下式给出

$$W_1^l=W_0^l-\eta G_0^l,$$

其中 $\eta$ 是学习率，$G_0^l$ 是具有更新方向的矩阵。 例如，对于 SGD 和 Adam，我们有以下 $G_0^l$ 表达式：

• SGD：$G_0^l=\frac{1}{\sqrt{L}}\delta x^l\otimes x^{l-1}$，其中$\delta x^l\stackrel{\text{def}}{=}\frac{\partial \mathrm{\ell }}{\partial x^l}$表示某些损失函数$\mathrm{\ell }$。

• 亚当：$G_0^l=\text{sign}\left(\frac{1}{\sqrt{L}}\delta x^l\otimes x^{l-1}\right)$。

在这两种情况下，$\delta x^l$ 和 $x^{l-1}$ 都是针对单个数据点 ${\xi }_0$ 计算的。 最后一层特征$x^L$（对于某些输入$\xi$)由$x^L={\prod }_{l=1}^L\left(I+\frac{1}{\sqrt{L}}{W}^l\right)x^0$给出。 我们使用下标$t$来指代训练步骤。 在第一个梯度步骤之后，我们有以下结果

$$x_1^L=\prod _{l=1}^L\left(I+\frac{1}{\sqrt{L}}{W}_1^l\right)x^0=x_0^L-\frac{\eta }{\sqrt{L}}{A}_L+𝒪({\eta }^2),$$ (2)

其中。 我们认为 $A_L$ 的行为与 $\mathrm{\Theta }(L)$ 相同（在 $L_2$ 规范中）。 这是由于 $1/\sqrt{L}$ 缩放因子造成的。 为了看到这一点，我们通过考虑情况 $d_{in}=n=d_{out}=1$ （每层单个神经元）和平方损失来进一步简化分析。 在这种情况下，术语 $A_L$ 简化为

$$A_L=\sum _{l=1}^L\prod _{k\ne l}\left(1+\frac{1}{\sqrt{L}}{W}_0^k\right)G_0^l{x}_0.$$

SGD 的缩放比例。

对于 SGD，我们有 $G_0^l=\frac{1}{\sqrt{L}}{\prod }_{k\ne l}\left(1+\frac{1}{\sqrt{L}}{W}_0^k\right)x_0\delta x^L$，其中 $\delta x^L=(V{x}^L-y({\xi }_0))$ 和 $y({\xi }_0)$ 是目标输出。 因此，很容易看出

$𝔼A_l^2={\displaystyle \frac{1}{L}}𝔼{\left({\displaystyle \sum _{l=1}^L}{\displaystyle \prod _{k\ne l}}{\left(1+{\displaystyle \frac{1}{\sqrt{L}}}{W}_0^k\right)}^2\delta x^L{x}_0^2\right)}^2=\mathrm{\Theta }\left({\displaystyle \frac{1}{L}}{L}^2\right)=\mathrm{\Theta }(L),$

我们使用 $𝔼{\left(1+\frac{1}{\sqrt{L}}{W}_0^k\right)}^{2p}=1+\mathrm{\Theta }(L^{-1})$ 来表示任何正整数 $p$。

因此，eq. 2 中一阶项的大小由下式给出

$$𝔼\left[{\left(\frac{\eta }{\sqrt{L}}{A}_l\right)}^2\right]=\mathrm{\Theta }({\eta }^2),$$

说明只要$\eta =\mathrm{\Theta }(1)$深度，更新深度就稳定。 更准确地说，这是学习率的最大选择，不会随着深度的增加而导致特征爆炸。

亚当的规模。

对于 Adam，我们有 $G_0^l=\pm 1$，因此我们得到

$𝔼A_l^2=𝔼{\left({\displaystyle \sum _{l=1}^L}{\displaystyle \prod _{k\ne l}}\left(1+{\displaystyle \frac{1}{\sqrt{L}}}{W}_0^k\right)x_0\right)}^2=\mathrm{\Theta }\left(L^2\right),$

我们使用了与之前相同的参数。 在这种情况下，eq. 2 中的一阶项由下式给出

$$𝔼\left[{\left(\frac{\eta }{\sqrt{L}}{A}_l\right)}^2\right]=\mathrm{\Theta }({\eta }^2{L}^{-1}).$$

因此，在不爆炸特征的情况下可以选择的最大学习率由$\eta =\mathrm{\Theta }(L^{-1/2})$给出。

总结:通过保证参数更新为$\mathrm{\Theta }(1/\sqrt{L})$，在特征更新为$\mathrm{\Theta }(1)$时，特征保持稳定。 此 $\mathrm{\Theta }(1)$ 更新是由于 $\mathrm{\Theta }(1/L)$ 相关项在深度上的累积所致。

3.2 当深度达到$\mathrm{\infty }$时收敛

让我们再次看看简单情况$d_{in}=d_{out}=n=1$中的$x_1^L$，并分析它在$L\to \mathrm{\infty }$时的行为。 本段仅旨在给出收敛的直觉。 本文稍后将提出这种收敛性的严格证明。 让我们考虑学习率为 $\eta =1$ 并让 $M_{L,l}={\prod }_{k\ne l}\left(1+\frac{1}{\sqrt{L}}{W}_0^k\right)$ 和 $\tau =(V{x}_0^L-y({\xi }_0))x^0$ 进行 SGD 训练的情况。 有了这个，我们有以下内容

$$x_1^L=\prod _{l=1}^L\left(1+\frac{1}{\sqrt{L}}{W}_0^l-\frac{1}{L}\tau M_{L,l}\right)x^0.$$ (3)

WLOG，让我们假设$x_0^0>0$。 那么，对于某个"$\ll$"的概念来说，的发生概率很高（对于某个$\alpha >0$来说，$W_0^l\ll \sqrt{L}$的发生概率至少为$1-e^{-L^{\alpha }}$）。，我们有 $x_1^L>0$。 因此，我们可以看看$\log (x_1^L)$，它简化了任务。 在高概率事件下取对数并使用泰勒展开，我们得到

$\log (x_1^L/x^0)$ $={\displaystyle \frac{1}{\sqrt{L}}}{\displaystyle \sum _{l=1}^L}{W}_0^l-{\displaystyle \frac{1}{L}}{\displaystyle \sum _{l=1}^L}\tau M_{L,l}+{\displaystyle \frac{{\sum }_{l=1}^L{(W_0^l)}^2}{L}}+𝒪(L^{-1+ϵ})$

$={\displaystyle \frac{1}{\sqrt{L}}}{\displaystyle \sum _{l=1}^L}{W}_0^l-\tau x_0^L{\displaystyle \frac{1}{L}}{\displaystyle \sum _{l=1}^L}{\displaystyle \frac{1}{1+\frac{1}{\sqrt{L}}{W}_0^l}}+{\displaystyle \frac{{\sum }_{l=1}^L{(W_0^l)}^2}{L}}+𝒪(L^{-1+ϵ}),$

对于某些$ϵ>0$。 第一项和第三项 $\frac{1}{\sqrt{L}}{\sum }_{l=1}^L{W}_0^l$ 和 $\frac{{\sum }_{l=1}^L{(W_0^l)}^2}{L}$ 分别收敛（几乎肯定）到标准高斯和 $1$。 第二项也自然收敛，因为 $x_0^L$ 在 $L_2$ 中收敛到对数正态随机变量 ([5])，并且经过精细处理（涉及高概率界限），可以证明项 $\frac{1}{L}{\sum }_{l=1}^L\frac{1}{1+\frac{1}{\sqrt{L}}{W}_0^l}$ 在大深度处收敛（在 $L_2$ 范数中）。 这意味着随着深度的增加，$x_1^L$ 应该有一些弱收敛的概念。 请注意，对于一般宽度 $n>0$，相同的分析变得更加复杂。 为了避免处理高概率界限，一种方便的方法是首先将宽度设为无穷大 $n\to \mathrm{\infty }$，然后分析随着深度增加会发生什么。 我们将在下一节讨论这个问题。

3.3 一般情况的讨论

难以推广到非线性情况。

扩展到一般宽度场景 ($n>1$) 需要对术语 $A_l$ 进行更复杂的处理，以找到最佳缩放规则，但所提出的缩放对于一般宽度仍然是最佳的。 这种基本知识分析为提出最大化特征学习的特定学习率缩放方案奠定了基础。 此外，在存在非线性的情况下证明这种扩展策略的最优性是一项艰巨的任务。 主要挑战源于训练过程中诱发的后激活之间的相关性。 克服这些挑战需要一个严格的框架，能够解决网络中关键数量的大深度限制。

为此，我们采用张量程序框架来研究基本网络量在无限宽度和深度限制下的行为。 通过利用这个框架，我们的理论研究结果表明，上述扩展策略对于具有跳跃连接的一般网络来说仍然是最佳的。 我们的框架考虑的设置是首先将宽度设为无穷大，然后是深度。 这代表了 $1\ll depth\ll width$ 的情况，它包含了大多数实际设置（例如大型语言模型）。

初始化的关键作用。

一种简单的深度缩放方法如下：由于权重 $W_t^k$ 在训练过程中可能变得高度相关，因此必须使用 $1/L$ 缩放块。 为了理解这一点，让我们假设块乘数为 $L^{-\alpha }$ 并考虑所有权重相等的完美相关场景，即每个 $k\in 1,\mathrm{\dots },L$ 都有 $W_t^k=W$ 。 在这种情况下，最后一层特征可以表示为$x^L={\left(I+L^{-\alpha }W\right)}^L{x}_0$。 当$\alpha =1/2$时，特征很可能随着深度的增加而呈现爆炸性增长，而选择$\alpha =1$则保证特征稳定。

然而，在本文中，我们证明这种直觉与实际观察并不相符。 与预期相反，当$\alpha =1/2$时，特征并没有随着深度的增加而发生爆炸性增长。 这种现象归因于两个关键因素：随机初始化和学习率随深度的缩放。 这些因素确保权重矩阵在此过程中永远不会以这种特定方式变得高度相关。

总之，虽然基于缩放块的简单深度缩放策略可能表明需要 $\alpha =1$ 来稳定特征，但我们的研究结果表明，在实践中，情况并非如此。 即使选择 $\alpha =1/2$，随机初始化和学习率缩放的相互作用也能有效防止特征经历爆炸性增长。

4 SGD 训练无限深线性网络动力学

本节我们继续研究Depth-$\mu$P下的带有残差连接的线性神经网络。使用张量程序框架[24]，我们严格推导了线性残差网络当宽度和深度依次趋于无穷大时SGD的训练动态。 我们的分析路线图包括以下三个步骤。

1. 我们首先通过张量程序框架[24]将网络的宽度设为无穷大。 因此，我们不是沿着训练轨迹跟踪向量和矩阵，而是跟踪与向量相对应的随机变量，即对于出现在训练计算中的向量 $x\in {ℝ}^n$ 的坐标当$n\to \mathrm{\infty }$时，$x$可以被视为随机变量$⫿x⟩$的独立同分布副本（称为ket)。

2. 由于网络是线性的，因此每个随机变量都可以通过张量程序主定理[24]写为一组零均值“基础”随机变量的线性组合。 因此，我们可以通过分析随机变量相应的线性组合的系数以及“基础”随机变量之间的协方差来跟踪随机变量。

3. 由于随机变量的数量和“基础”随机变量的数量与 $L$ 呈线性比例，因此所有随机变量的系数都可以用六维张量表示，其中两个维度的形状为 $L$。然后，我们将张量映射到输入域为 $[0,1]\times [0,1]$ 的一组函数。 最后，我们声称函数在$L\to \mathrm{\infty }$时收敛，并将它们的极限确定为一组函数积分的解。

在节 10.1中，我们在线性情况下对我们的理论进行了彻底的实证验证。 实验清楚地表明了深度线性残差网络在Depth-$\mu$P下的收敛性。

假设和符号

回想一下线性网络由下式给出

$x^0$ $=U\xi ,$

$\forall l\in [L],x^l$ $={\displaystyle \frac{a}{\sqrt{L}}}{W}^l{x}^{l-1}+x^{l-1},$

$f$ $=V^{\top }{x}^L.$

为了方便起见，我们假设$a=1$,$W^l$的SGD学习率为$1$。 我们将 $t$ 作为下标添加到任何符号中，以表示相同的对象，但在第 $t$ 训练步骤中，例如，步骤 $t$ 的输入是单个数据点${\xi }_t$，第$l$层在第$t$步的隐藏输出为$x_t^l$，第$t$是$f_t$。令 $T$ 为训练步数。 令${\mathrm{\ell }}_t$为在$t$时刻吸收标签的损失函数，${\chi }_t$为在$t$时刻损失的导数，即，${\chi }_t={\mathrm{\ell }}_t^{\prime }(f_t)$。 设$\delta x_t^l=\partial {\mathrm{\ell }}_t/\partial x_t^l$,$\tilde{\delta }{x}_t^l=n\delta x_t^l$是$\delta x_t^l$的规范化版本。

张量程序分析在很大程度上取决于 $U,V,W$ w.r.t $n$ 的初始化缩放和学习率。在本文中，我们使用 $\mu$P 作为缩放比例。 $n$，因为它在大宽度限制[23]中最大化了特征学习。 不失一般性，我们遵循[23]并假设输入和输出维度为$1$，即$\xi \in ℝ$,$f\in ℝ$ 。 为了清晰的演示，我们还假设 $U,V$ 在本节的训练过程中被冻结，并且 $W$ 的每个坐标都使用 i.i.d 初始化。 方差高斯$1/n$。

4.1 $\mu$P下的宽度限制

第一步，我们使用张量程序 (TP) 将网络 $n$ 的宽度设为无穷大。 正如本节路线图中简要提到的，TP 框架通过 $n\to \mathrm{\infty }$ 时的随机变量来表征训练过程中涉及的每个向量。 对于具有大致 iid 坐标的向量 $x\in {ℝ}^n$，我们编写 $⫿x⟩\in ℝ$ （称为 ket)来表示随机变量，使得 $x$ 的条目看起来像 $⫿x⟩$ 的 iid 副本。 那么对于任意两个具有大致 iid 坐标的向量 $x,y\in {ℝ}^n$，它们与 $n$ 的极限内积可以写为 ${lim}_{n\to \mathrm{\infty }}\frac{x^{\top }y}{n}=𝔼⫿x⟩\cdot ⫿y⟩$，我们简洁地写为 $⟨x⫿y⟩$。 使用 SGD 的深度线性网络是从向量到随机变量转换的一个简单示例。 如程序1所示，我们使用以下函数定义了一系列标量(${\mathring{f}}_t$和${\mathring{\chi }}_t$)和随机变量($⫿U⟩,⫿nV⟩,⫿x_t^l⟩,⫿\delta x_t^l⟩,⫿W_t^l{x}_t^{l-1}⟩,⫿W_t^{l\top }\delta x_t^l⟩$) ket 符号。 为了更好的理解，下面我们对TP进行简单的介绍。

Initial random variables: $⫿U⟩,⫿nV⟩$ are independent standard Gaussian.

for $t=0,\mathrm{\dots },T-1$ do

$⫿x_t^0⟩\stackrel{\text{def}}{=}{\xi }_t⫿U⟩$;

for $l=1,\mathrm{\dots },L$ do

$⫿W_t^l{x}_t^{l-1}⟩\stackrel{\text{def}}{=}⫿W_0^l{x}_t^{l-1}⟩-\frac{1}{\sqrt{L}}{\sum }_{s=0}^{t-1}⫿\tilde{\delta }{x}_s^l⟩⟨x_s^{l-1}⫿x_t^{l-1}⟩$;

$⫿x_t^l⟩\stackrel{\text{def}}{=}⫿x_t^{l-1}⟩+\frac{1}{\sqrt{L}}⫿W_t^l{x}_t^{l-1}⟩$;

end for

${\mathring{f}}_t\stackrel{\text{def}}{=}⟨x_t^L⫿nV⟩$;

${\mathring{\chi }}_t\stackrel{\text{def}}{=}{\mathrm{\ell }}_t^{\prime }({\mathring{f}}_t)$;

$⫿\delta x_t^L⟩\stackrel{\text{def}}{=}{\mathring{\chi }}_t⫿nV⟩$;

for $l=L,\mathrm{\dots },1$ do

$⫿W_t^{l\top }\tilde{\delta }{x}_t^l⟩\stackrel{\text{def}}{=}⫿W_0^{l\top }\tilde{\delta }{x}_t^l⟩-\frac{1}{\sqrt{L}}{\sum }_{s=0}^{t-1}⫿x_s^{l-1}⟩⟨\tilde{\delta }{x}_s^l⫿\tilde{\delta }{x}_t^l⟩$;

$⫿\tilde{\delta }{x}_t^{l-1}⟩\stackrel{\text{def}}{=}⫿\tilde{\delta }{x}_t^l⟩+\frac{1}{\sqrt{L}}⫿W_t^{l\top }\tilde{\delta }{x}_t^l⟩$;

end for

end for

where $⫿W_0^l{x}_t^{l-1}⟩$ and $⫿W_0^{l\top }\tilde{\delta }{x}_t^l⟩$ are defined in 4.1.

Program 1 Random Variables induced from Tensor Program for the Linear Network with LR $\eta =1$ and frozen $U,V$.

简而言之，张量程序（TP）。

当训练神经网络时，我们可以将此过程视为从一组初始随机向量和矩阵（初始化权重）以及一些确定性量（本例中的数据集）连续创建新向量和标量的过程。 第一步，前向传播创建特征 $x_0^l$（其中下标 $0$ 表示初始化）和标量 $f_0$（网络输出）。 在第一次向后传递中，计算输出导数 ${\chi }_0$，然后反向传播梯度 $\delta x_0^l$。 （由于 $\delta x_0^l$ 的坐标在 $n\to \mathrm{\infty }$ 时消失为 0，因此 TP 会跟踪其标准化版本 $\tilde{\delta }{x}_0^l\stackrel{\text{def}}{=}n\cdot \delta x_0^l$。） 随着训练的进行，新的向量被创建并附加到 TP 中。 When the width $n$ goes to infinity, vectors of size $n$ in the TP (e.g., the features $x_t^l$, and normalized gradients $\tilde{\delta }{x}_t^l$) see their coordinates converge to roughly iid random variables (e.g., $⫿x_t^l⟩$ and $⫿\tilde{\delta }{x}_t^l⟩$ in Program 1), and other scalar quantities (e.g., $f_t$ and ${\chi }_t$) converge to deterministic values (e.g., ${\mathring{f}}_t$ and ${\mathring{\chi }}_t$ in Program 1) under proper parametrization ($\mu$P). 主定理[25]通过表征训练过程的无限宽度限制来捕获这些量的行为。 有关 TP 的更深入定义和详细信息，请读者参阅[25]。

现在，当我们回顾程序1时，标量和随机变量的定义应该很清楚($⫿W_0^l{x}_t^{l-1}⟩$和$⫿W_0^{l\top }\tilde{\delta }{x}_t^l⟩$除外）。 人们可以找到它们与其有限对应物之间的直接对应关系，例如：

• ${\mathring{f}}_t$对应$f_t$,${\mathring{\chi }}_t$对应${\chi }_t$；

• $⫿x_t^l⟩$对应于$x_t^l$,$⫿\tilde{\delta }{x}_t^l⟩$对应于$\tilde{\delta }{x}_t^l$。 （回想一下 $\tilde{\delta }{x}_t^l=n\cdot \delta x_t^l$ 是 $\delta x_t^l$ 的规范化版本。）

• 通过 SGD，$W_t^l=W_0^l-\frac{1}{\sqrt{L}}{\sum }_{s=0}^{t-1}\delta x_s^l\otimes x_s^{l-1}$ 对应于 $⫿W_t^l{x}_t^{l-1}⟩=⫿W_0^l{x}_t^{l-1}⟩-\frac{1}{\sqrt{L}}{\sum }_{s=0}^{t-1}⫿\tilde{\delta }{x}_s^l⟩⟨x_s^{l-1}⫿x_t^{l-1}⟩$。

现在我们可以深入研究 $⫿W_0^l{x}_t^{l-1}⟩$ 和 $⫿W_0^{l\top }\tilde{\delta }{x}_t^l⟩$ 的定义。 令 $𝒲$ 为大小为 $n\times n$ 的初始随机矩阵的集合，即 $\{W_0^1,\mathrm{\dots },W_0^L\}$ 和 ${𝒲}^{\top }\stackrel{\text{def}}{=}\{W^{\top }:W\in 𝒲\}$。 让 ${𝒱}_W$ 表示对于某些 $y$ 形式为 $Wy$ 的训练中的所有向量的集合。 然后对于每个$W\in 𝒲\cup {𝒲}^{\top }$和$Wy\in {𝒱}_W$，我们可以将$⫿Wy⟩$分解为$⫿Wy\widehat{⟩}$和$⫿Wy\dot{⟩}$之和，其中 $⫿Wy\widehat{⟩}$ 是一个随机变量，就像 $W$ 独立于 $y$ 一样，$⫿Wy\dot{⟩}$ 是捕获相关部分的随机变量在 $W$ 和 $y$ 具体来说，让我们简单跟踪一下训练期间 $W_0^l{x}_t^{l-1}$ 发生了什么。 在第一步中，我们有 $W_0^l{x}_0^{l-1}$ ，它具有大致高斯坐标（在大宽度限制内）。 在本例中，我们有 $⫿W_0^l{x}_0^{l-1}\dot{⟩}=0$。 在第一次回溯后，我们会得到 $\delta x_0^{l-1}=\delta x_0^l+\frac{1}{\sqrt{L}}{W}_0^{l\top }\delta x_0^l$，这意味着 $W^{l-1}$ 中的更新将包含某个向量 $z$ 的 $W_0^{l\top }z$ 形式的项。 这意味着 $W_0^l{x}_1^{l-1}$ 将包含某个向量 $z^{\prime }$ 的 $W_0^l{W}_0^{l\top }{z}^{\prime }$ 形式的项。 当我们将宽度设为无穷大时，这项会产生一个额外的相关项。 $⫿W_0^l{x}_1^{l-1}\dot{⟩}$ 是通过将此附加相关项与 $W_0^l{W}_0^{l\top }{z}^{\prime }$ 分离来定义的。 其余项在无限宽度限制中是高斯分布，它定义了项 $⫿W_0^l{x}_1^{l-1}\widehat{⟩}$。 正式地，我们提出以下定义。

Definition 4.1。

我们为每个 $W\in 𝒲\cup {𝒲}^{\top }$ 和 $Wy\in {𝒱}_W$ 定义 $⫿Wy⟩\stackrel{\text{def}}{=}⫿Wy\widehat{⟩}+⫿Wy\dot{⟩}$，其中

• $⫿Wy\widehat{⟩}$ 是均值为零的高斯变量。 $\forall W\in 𝒲\cup {𝒲}^{\top },Wy,Wz\in {𝒱}_W$，

  $$\mathrm{Cov}(⫿Wy\widehat{⟩},⫿Wz\widehat{⟩})\stackrel{\text{def}}{=}⟨y⫿z⟩.$$

  如果$W\ne W^{\prime }$，则$\forall W,W^{\prime }\in 𝒲\cup {𝒲}^{\top },Wy\in {𝒱}_W,W^{\prime }z\in {𝒱}_{W^{\prime }}$、$⫿Wy\widehat{⟩}$ 和$⫿W^{\prime }z\widehat{⟩}$ 是独立的。 $⫿Wy\widehat{⟩}$ 也独立于 $⫿U⟩$ 和 $⫿nV⟩$。

• $⫿Wy\dot{⟩}$被定义为$\{⫿z⟩:W^{\top }z\in {𝒱}_{W^{\top }}\}$的线性组合。 然后我们可以将任何 $⫿y⟩$ 归纳展开为 $⫿\bullet \widehat{⟩}$、$⫿U⟩$ 和 $⫿nV⟩$ 的线性组合，这使我们能够完全定义

  $$⫿Wy\dot{⟩}\stackrel{\text{def}}{=}\sum _{W^{\top }z\in {𝒱}_{W^{\top }}}⫿z⟩\cdot \frac{\partial ⫿y⟩}{\partial ⫿W^{\top }z\widehat{⟩}}.$$

4.2 随机变量的深度缩放

正如4.1中提到的，$⫿x_t^l⟩$和$⫿\tilde{\delta }{x}_t^{l-1}⟩$都可以写成“基”随机变量的线性组合：${\{⫿W_0^m{x}_s^{m-1}\widehat{⟩}\}}_{s\in \{0,\mathrm{\dots },t\},m\in [L]},{\{⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}\}}_{s\in \{0,\mathrm{\dots },t\},m\in [L]},⫿U⟩$和$⫿nV⟩$。 此外，线性组合的系数可以通过递归方式计算：通过使用4.1扩展$⫿W_0^l{x}_t^{l-1}⟩$，我们有

$$⫿x_t^l⟩=⫿x_t^{l-1}⟩+\frac{1}{\sqrt{L}}⫿W_0^l{x}_t^{l-1}\widehat{⟩}+\frac{1}{\sqrt{L}}\sum _{s=1}^{t-1}⫿\tilde{\delta }{x}_s^l⟩(\frac{\partial ⫿x_t^{l-1}⟩}{\partial ⫿W_0^{l\top }\tilde{\delta }{x}_s^l\widehat{⟩}}-\frac{1}{\sqrt{L}}⟨x_s^{l-1}⫿x_t^{l-1}⟩).$$

$⫿\tilde{\delta }{x}_t^l⟩$的递归公式类似。

利用这个归纳法，我们要求在线性组合中，每个$⫿\bullet \widehat{⟩}$的系数为$𝒪(1/\sqrt{L})$,$⫿U⟩$和$⫿nV⟩$的系数是$𝒪(1)$。 我们还声称任何 $⫿x_t^l⟩$ 和 $⫿\tilde{\delta }{x}_t^{l-1}⟩$ 形式的随机变量对之间的协方差为 $𝒪(1)$。

Proposition 4.2.

$\forall t,\forall s\le t,\forall l,m$、$\forall ⫿y⟩\in \{⫿x_t^l⟩,⫿\tilde{\delta }{x}_t^l⟩\}$、

$$\frac{\partial ⫿y⟩}{\partial ⫿W_0^m{x}_s^{m-1}\widehat{⟩}}=𝒪\left(\frac{1}{\sqrt{L}}\right),\frac{\partial ⫿y⟩}{\partial ⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}}=𝒪\left(\frac{1}{\sqrt{L}}\right),\frac{\partial ⫿y⟩}{\partial ⫿U⟩}=𝒪\left(1\right),\frac{\partial ⫿y⟩}{\partial ⫿nV⟩}=𝒪\left(1\right).$$

$\forall t,s,l,m$、$\forall ⫿y⟩\in \{⫿x_t^l⟩,⫿\tilde{\delta }{x}_t^l⟩\}$、$\forall ⫿z⟩\in \{⫿x_s^m⟩,⫿\tilde{\delta }{x}_s^m⟩\}$、

$$⟨y⫿z⟩=𝒪(1).$$

4.2的推理在附录C中提供。请注意，协方差的计算也可以写成递归公式。 推理本质上依赖于归纳论证。

4.3 无限深度限制

现在我们将上面的论点形式化，并获得描述$L\to \mathrm{\infty }$时网络动态的公式。 我们首先将线性组合的系数写为六维张量${𝚪}_{t,s,a,b,l,m}$，其中$t,s\in \{0,\mathrm{\dots },T-1\},a,b\in \{0,1\},l,m\in [L]$。 具体来说，${𝚪}_{t,s,a,b,l,m}$ 表示 $⫿x_t^l⟩$ 和 $⫿\tilde{\delta }{x}_t^l⟩$ w.r.t 的导数。 $⫿W_0^m{x}_s^{m-1}\widehat{⟩}$ 和 $⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}$。 这里，我们使用 $0$ 表示前向传播中出现的 ket($⫿x_t^l⟩$ 和 $⫿W_0^m{x}_s^{m-1}\widehat{⟩}$)，使用 $1$ 表示前向传播中出现的 ket。向后传递($⫿\tilde{\delta }{x}_t^l⟩$ 和 $⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}$)。 形式上，${𝚪}_{t,s,0,0,l,m}=\frac{\partial ⫿x_t^l⟩}{\partial ⫿W_0^m{x}_s^{m-1}\widehat{⟩}}$、${𝚪}_{t,s,0,1,l,m}=\frac{\partial ⫿x_t^l⟩}{\partial ⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}}$、${𝚪}_{t,s,1,0,l,m}=\frac{\partial ⫿\tilde{\delta }{x}_t^l⟩}{\partial ⫿W_0^m{x}_s^{m-1}\widehat{⟩}}$、${𝚪}_{t,s,1,1,l,m}=\frac{\partial ⫿\tilde{\delta }{x}_t^l⟩}{\partial ⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}}$。

然而，很难描述$𝚪$的极限，因为它的大小随着$L$的增加而增加。因此，我们定义了以下一组函数${\{{\mathrm{\Gamma }}_{t,s,a,b}:[0,1]\times (0,1]\to ℝ\}}_{t\in \{0,\mathrm{\dots },T-1\},s\in \{-1,\mathrm{\dots },t\},a,b\in \{0,1\}}$：对于$s\ge 0$，

$${\mathrm{\Gamma }}_{t,s,a,b}(p,q)=\sqrt{L}\cdot {𝚪}_{t,s,a,b,\lceil Lp\rceil ,\lceil Lq\rceil }$$

对于$s=-1$、${\mathrm{\Gamma }}_{t,-1,0,0}(p,q)=\frac{\partial ⫿x_t^{\lceil Lp\rceil }⟩}{\partial ⫿U⟩},{\mathrm{\Gamma }}_{t,-1,0,1}(p,q)=\frac{\partial ⫿x_t^{\lceil Lp\rceil }⟩}{\partial ⫿nV⟩},{\mathrm{\Gamma }}_{t,-1,1,0}(p,q)=\frac{\partial ⫿\tilde{\delta }{x}_t^{\lceil Lp\rceil }⟩}{\partial ⫿U⟩},{\mathrm{\Gamma }}_{t,-1,1,1}(p,q)=\frac{\partial ⫿\tilde{\delta }{x}_t^{\lceil Lp\rceil }⟩}{\partial ⫿nV⟩}.$

这里 $l,m$ 被标准化为 $[0,1]$，因此对于不同的 $L$,$\mathrm{\Gamma }$ 的输入域是相同的； ${𝚪}_{t,s,a,b,l,m}$ 乘以 $\sqrt{L}$，因为 ${𝚪}_{t,s,a,b,l,m}=𝒪(1/\sqrt{L})$ 乘以 4.2；额外的 $s=-1$ 情况还可以帮助我们捕获 w.r.t 的导数。 $⫿U⟩$ 和 $⫿nV⟩$。

同样，我们还可以定义另一组函数${\{C_{t,s,a}:(0,1]\to ℝ\}}_{t,s\in \{-1,\mathrm{\dots },T-1\},a\in \{0,1\}}$来描述“基”随机变量之间的协方差：$\forall p\in (0,1]$，令$l=\lceil Lp\rceil$，

• $C_{t,s,0}\left(p\right)\stackrel{\text{def}}{=}\mathrm{Cov}(⫿W_0^l{x}_t^{l-1}\widehat{⟩},⫿W_0^l{x}_s^{l-1}\widehat{⟩})=⟨x_t^{l-1}⫿x_s^{l-1}⟩$，

• $C_{t,s,1}\left(p\right)\stackrel{\text{def}}{=}\mathrm{Cov}(⫿W_0^{l\top }\tilde{\delta }{x}_t^l\widehat{⟩},⫿W_0^{l\top }\tilde{\delta }{x}_s^l\widehat{⟩})=⟨\tilde{\delta }{x}_t^l⫿\tilde{\delta }{x}_s^l⟩$，

对于$t=-1$、$C_{-1,-1,0}\left(p\right)\stackrel{\text{def}}{=}\mathrm{Cov}(⫿U⟩,⫿U⟩)=1$和$C_{-1,-1,1}\left(p\right)\stackrel{\text{def}}{=}\mathrm{Cov}(⫿nV⟩,⫿nV⟩)=1$，到4.1，不同“组”的“基”随机变量是独立的，所以我们只跟踪上面列出的协方差。

使用$\mathrm{\Gamma }$和$C$的这个定义，可以很方便地在下面的引理中写出它们的递归公式。

Lemma 4.3 ($\mathrm{\Gamma }$和$C$的有限深度递归公式(引理的非正式版本 C.1)).

$\mathrm{\Gamma }$ 和 $C$ 可以递归计算如下：

${\mathrm{\Gamma }}_{t,r,0,b}({\displaystyle \frac{l}{L}},q)=$ ${\mathrm{\Gamma }}_{t,r,0,b}({\displaystyle \frac{l-1}{L}},q)+{𝕀}_{[(t=r)\wedge (b=0)\wedge (l=\lceil Lq\rceil )]}$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}({\displaystyle \frac{l}{L}},q)\left({\mathrm{\Gamma }}_{t,s,0,1}({\displaystyle \frac{l-1}{L}},{\displaystyle \frac{l}{L}})-C_{t,s,0}\left({\displaystyle \frac{l}{L}}\right)\right).$

${\mathrm{\Gamma }}_{t,r,1,b}({\displaystyle \frac{l-1}{L}},q)=$ ${\mathrm{\Gamma }}_{t,r,1,b}({\displaystyle \frac{l}{L}},q)+{𝕀}_{[(t=r)\wedge (b=1)\wedge (l=\lceil Lq\rceil )]}$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,0,b}({\displaystyle \frac{l-1}{L}},q)\left({\mathrm{\Gamma }}_{t,s,1,0}({\displaystyle \frac{l}{L}},{\displaystyle \frac{l}{L}})-C_{t,s,1}\left({\displaystyle \frac{l}{L}}\right)\right).$

$$C_{t,s,a}(p)=\sum _{t^{\prime }=-1}^t\sum _{s^{\prime }=-1}^s\sum _{b\in \{0,1\}}{\int }_0^1{\mathrm{\Gamma }}_{t,t^{\prime },a,b}(l/L,q)C_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },a,b}(l/L,q)dq,$$

其中如果 $a=0$ 则为 $l=\lceil Lp\rceil -1$，如果 $a=1$ 则为 $l=\lceil Lp\rceil$。

引理 4.3的证明从程序1中很简单。 在 附录 C中，我们还给出了一个正式证明，即在 $L$ 是 $2$ 的幂的情况下，当 $L$ 增长到无穷大时，$\mathrm{\Gamma }$ 和 $C$ 收敛。 为了证明方便，限制$L$是$2$的幂，并且$\mathrm{\Gamma }$和$C$收敛成立在一般情况下。 此外，我们根据Lemma 4.3中的$\mathrm{\Gamma }$和$C$的递归推导出无限深度行为。 t2>。

Proposition 4.4 ($\mathrm{\Gamma }$和$C$的无限深度限制(C.2的非正式版本） )).

在极限 $L\to \mathrm{\infty }$ 内，我们有

${\mathrm{\Gamma }}_{t,r,0,b}(p,q)={𝕀}_{[(t=r)\wedge (b=0)\wedge (p\ge q)]}+{\displaystyle {\int }_0^p}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}(p^{\prime },q)\cdot ({\mathrm{\Gamma }}_{t,s,0,1}(p^{\prime },p^{\prime })-C_{t,s,0}(p^{\prime }))\mathrm{d}{p}^{\prime };$

${\mathrm{\Gamma }}_{t,r,1,b}(p,q)={𝕀}_{[(t=r)\wedge (b=1)\wedge (p\le q)]}+{\displaystyle {\int }_p^1}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,0,b}(p^{\prime },q)\cdot ({\mathrm{\Gamma }}_{t,s,1,0}(p^{\prime },p^{\prime })-C_{t,s,1}(p^{\prime }))\mathrm{d}{p}^{\prime };$

$C_{t,s,a}(p)={\displaystyle \sum _{t^{\prime }=-1}^t}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },a,b}(p,q)C_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },a,b}(p,q)dq.$

4.4的证明来自引理4.3。 严格的证明需要首先证明满足$(\mathrm{\Gamma },C)$对的积分泛函解的存在性。 该解通常是4.4中积分泛函的不动点。 证明存在性后，需要证明$(\mathrm{\Gamma },C)$收敛于这一极限。 这通常需要控制有限深度和无限深度解之间的差异，并涉及获得误差传播的上限。 积分泛函在温和条件下保证存在。 我们在这里省略了存在性的完整证明，并假设泛函的行为足够良好，可以使收敛结果成立。 附录中$\mathrm{\Gamma }$和$C$对于$L=2^k$($k\in \mathbb{N}$)收敛的形式证明> C 是命题正确性的展示。

这给出了分布的收敛：

Theorem 4.1.

在 $L\to \mathrm{\infty }$ 限制下，kets $⫿x_s^L⟩,s=0,1,\mathrm{\dots },$ 在分布上收敛为具有核的零均值高斯过程

$$⟨x_s^L⫿x_t^L⟩=C_{t,s,1}(1).$$

因此，对于每个固定的神经元索引 $\alpha$，集合 ${\{x_{\alpha s}^L\}}_{s\ge 0}$ 在 $n\to \mathrm{\infty }$ 和 $L\to \mathrm{\infty }$ 的极限中，其分布趋近于核 $C_{t,s,1}(1)$ 的零均值高斯过程。

对于熟悉随机过程的观众来说，实际上我们在 Skorohod 拓扑中整个连续深度索引过程 $\{⫿x_s^p⟩,⫿\delta x_s^p⟩\}{}_{p\in [0,1],s\ge 0}$ 的收敛性很弱。

5什么原因导致超参数传递？

在一个流行的误解中，超参数传递意味着极限的存在。 例如，$\mu$P 传输超参数，在这种误解中，是因为存在特征学习限制（又名 $\mu$ 限制），即 $\mu$P 随着宽度趋于无穷大。 然而，这种情况并非如此。 事实上，存在大量的无限宽度限制，例如 NTK 限制，但最优超参数的缩放方式只能有一种，因此存在并不意味着转移。 在这种误解的更强烈的版本中，迁移是由“特征学习”限制的存在所暗示的。 但同样，这是错误的，因为存在无限数量的特征学习限制（其中 $\mu$ 限制是唯一的最大限制）。

相反，事实是，最优限制意味着最优超参数的传输。 例如，在宽度限制情况下，$\mu$P 是产生最大特征学习限制的唯一参数化。 与所有其他限制相比，这显然是最佳限制。 因此$\mu$P可以跨宽度传输超参数。

到目前为止，对于极限的“最优性”还没有先验定义：人们只能通过分类所有可能的极限来判断；事实证明，在限制中只能发生少量不同的行为，因此可以手动检查哪个限制是最佳的。

同样，在这项工作中，为了推导允许传输的深度缩放，我们需要分类所有可能的无限深度限制 - 以及深度-$\mu$P从我们在本文后面定义的意义上来说，将被证明是最优的。 比宽度情况更有趣的是，在采用深度限制时，我们有多种特征学习模式，并且辨别哪种特征学习模式是最佳的很重要。 因此，即使通过特征学习，也不足以得出任何一个限制，并能够推断它产生 HP 转移。

在部分10中，我们提供了$1/L$块缩放$(\alpha ,\gamma )=(1,0)$（又名ODE缩放）的实验，事实证明，这会导致无限深度限制的特征学习，但不是最优的。 我们的结果表明，通过这种参数化，最佳学习率发生了显着变化。

6 一般情况的预备知识

对于一般情况，我们回顾并扩展了前面部分的符号，并定义了新的符号。

符号

令$L$为网络的深度，即残差块的数量，$n$为网络的宽度，即所有隐藏表示的维度$x^0,\mathrm{\dots },x^L$。 设$\xi \in {ℝ}^{d_{\mathrm{in}}}$为网络的输入，$U\in {ℝ}^{n\times d_{\mathrm{in}}}$为输入层，$V\in {ℝ}^{n\times e}$为输出层，因此$x^0=U\xi$和模型输出 w.r.t. $\xi$是$f(\xi )\triangleq V^{\top }{x}^L$。 令 $\mathrm{\ell }$ 为吸收标签的损失函数，$\delta x^l$ 为 $x^l$ w.r.t 的梯度。 的损失。 我们通过添加 $t$ 作为下标来表示 $t$ 第训练步骤的变量，例如，步骤 $t$ 的输入是 ${\xi }_t$，第 $l$ 层在步骤 $t$ 的隐藏表示为 $x_t^l$，步骤 $t$ 的模型输出为 $f_t$。令 $T$ 为训练步数。

6.1 SGD、Adam 和所有 Entrywise 优化器的统一扩展

我们扩展了深度缩放的entrywise更新([24])的定义，使我们能够研究SGD、Adam和其他仅执行entrywise操作的优化算法的统一深度缩放。

Definition 6.1。

具有宽度和深度缩放的参数$w$的基于梯度的更新由一组函数$𝑸={\{Q_t:{ℝ}^{t+1}\to ℝ\}}_{t\ge 0}$和$c,d,\delta ,\gamma ,\eta$定义。 优化时间$t$的更新为

$$w\leftarrow w-\eta n^{-c}{L}^{-\gamma }{Q}_t(n^d{L}^{\delta }{g}_0,\mathrm{\dots },n^d{L}^{\delta }{g}_t),$$

其中$g_s,s=0,\mathrm{\dots },t$是$w$在时间$s$的梯度。

对于 SGD，$Q_t(n^d{L}^{\delta }{g}_0,\mathrm{\dots },n^d{L}^{\delta }{g}_t)=n^d{L}^{\delta }{g}_t$，“真实”学习率为 $\eta n^{-c+d}{L}^{-\gamma +\delta }$。 对于亚当来说，

$$Q_t(n^d{L}^{\delta }{g}_0,\mathrm{\dots },n^d{L}^{\delta }{g}_t)=\frac{\frac{1-{\beta }_1}{1-{\beta }_1^{t+1}}{\sum }_{s=0}^t{\beta }_1^{t-s}{n}^d{L}^{\delta }{g}_s}{\sqrt{\frac{1-{\beta }_2}{1-{\beta }_2^{t+1}}{\sum }_{s=0}^t{\beta }_2^{t-s}{(n^d{L}^{\delta }{g}_s)}^2+ϵ}},$$

“真实”学习率为$\eta n^{-c}{L}^{-\gamma }$。

在 $Q_t$ 之前乘以梯度 $n^d{L}^{\delta }$ 的目的是确保 $Q_t$ 的输入是 $\mathrm{\Theta }(1)$ w.r.t。 $n$ 和 $L$;否则，当 $n$ 和 $L$ 变大时，更新可能会变得微不足道。 例如，如果梯度是 $o(1)$ 条目，那么，在 Adam 中，直接将梯度提供给 $Q_t$ 将始终给出 $0$ 的输出，因为常量 $ϵ>0$。

在本文中，我们仅考虑$d,\delta$，使得$n^d{L}^{\delta }g$为$\mathrm{\Theta }(1)$。 结果，$Q_t$的输出一般也是$\mathrm{\Theta }(1)$。 因此，$n^{-c}{L}^{-\gamma }$决定了更新的规模，应该是我们关注的重点。 我们将$\eta n^{-c}{L}^{-\gamma }$称为有效学习率。

6.2 $\mu$P 和宽度缩放

最大更新参数化($\mu$P）[21]考虑了宽度扩大时网络中每个权重矩阵的初始化和学习率的变化。 它为每个权重矩阵提供了一个独特的初始化和学习率，作为宽度$n$的函数，使得每个权重矩阵的更新最大化（达到恒定因子）。 $\mu$P的好处不仅在于理论上的保证，还在于扩大宽度[23]时的超参数稳定性。

在本文中，我们假设宽度缩放遵循$\mu$P。即有效学习率$\eta n^{-c}{L}^{-\gamma }$中的$c$和各权重矩阵的初始化方差如下Table2。

表2： $\mu$P 的宽度方向缩放，其中 $c$（在 Definition6.1 中定义）描述宽度方向有效学习率的缩放。

	Input weights	Output weights	Hidden weights
Init. Var.	$1$	$n^{-2}$	$n^{-1}$
$c$	$0$	$1$	$1$

6.3 我们的设置

我们考虑一个带有无偏差感知器块的 $L$ 隐藏层残差网络：

$x^0$ $=U\xi ,$

$\forall l\in [L],x^l$ $=L^{-\alpha }\mathrm{MS}(\varphi (h^l))+x^{l-1},h^l=W^l{x}^{l-1},$

$f$ $=V^{\top }{x}^L.$

其中 $\mathrm{MS}$ 指的是平均减法，对于任何 $x\in {ℝ}^n$ 来说，由 $\mathrm{MS}(x)=x-⟨x,1⟩/n=Gx$ 和 $G=I-{11}^{\top }/n$ 给出。 $U,V$的初始化和学习率遵循$\mu$P。 $W^l$的初始化遵循$\mu$P，$W^l$的学习率为$\eta n^{-1}{L}^{-\gamma }$。

平均减法 ($\mathrm{MS}$)。

一般来说，如果不进行均值减法，$\varphi$ 的均值将主导深度动态。 例如，当 $\varphi$ 为 relu 时，每一层只会将非负数添加到平均为正数的 $x^l$ 上。 如果乘数 $L^{-\alpha }$ 太大，它在深度上的积累要么导致网络输出爆炸，要么缺乏特征多样性。 正如我们将看到的，均值减法消除了这种故障模式，并实现了更强大的无限深度限制。

Definition 6.2。

修复一组更新函数$𝑸={\{Q_t:{ℝ}^{t+1}\to ℝ\}}_{t\ge 0}$。 上述 MLP 残差网络的深度参数化由一组数字$\{\alpha ,\gamma ,\delta \}$指定，使得

1. 我们独立地初始化 $𝒩(0,n^{-1})$ 中 $W^l$ 的每个条目

2. $W^l$的梯度在被$Q_t$处理之前乘以$n{L}^{\delta }$：即，时间$t$的更新为

   $$W^l\leftarrow W^l-\eta n^{-1}{L}^{-\gamma }{Q}_t^l(n{L}^{\delta }{g}_0,\mathrm{\dots },n{L}^{\delta }{g}_t)$$ (4)

   其中$g_s,s=0,\mathrm{\dots },t$是$W^l$在时间$s$的梯度，并且$Q_t$按条目应用。

各种符号。

对于向量 $x$，令 ${[x]}_i$ 为其第 $i$ 坐标。 对于矩阵 $M$，令 ${[M]}_i$ 为其第 $i$ 行。 令 $I$ 为单位矩阵，$\mathrm{𝟏}$ 为完整的向量。 对于$m\in {\mathbb{N}}^{+}$，令$[m]=\{1,\mathrm{\dots },m\}$。 令 $\otimes$ 为克罗内克积。

7 深度参数化的分类

在本节中，我们全面描述深度参数化对稳定性和更新大小的影响。 为此，我们只需跟踪两个缩放：分支乘数和学习率缩放，因为初始化缩放由忠实度属性（定义如下）固定。 要求特征在初始化时不会爆炸意味着分支乘数最多必须为 $\mathrm{\Theta }(1/\sqrt{L})$。 假设更新是忠实的（即，梯度处理函数的输入是$\mathrm{\Theta }(1)$条目），则隐藏层的更新大小最多可以是$1/L$，通过（雅可比）运算符 -正常的争论，但可能要少得多。 简单地说，更新大小和初始化之间可以进行权衡：如果初始化很大，那么更新可能需要很小，以免炸毁网络的其他部分；如果初始化很大，那么更新可能需要很小，以免炸毁网络的其他部分；同样，如果初始化较小，则更新大小可以较大。 但人们可能会感到惊讶，仔细的计算表明没有权衡：我们可以同时最大化初始化和更新大小。

在深入探讨细节之前，我们首先要定义训练套路、稳定、忠实和非平凡的概念。 此后，所有渐近符号如$𝒪$、$\mathrm{\Omega }$和$o$都应理解为极限“$n\to \mathrm{\infty },\text{then}L\to \mathrm{\infty }$”。 对于随机变量，这种符号应该从弱收敛（分布收敛）的意义上来理解。 当我们对某些向量$x=(x_1,\mathrm{\dots },x_n)\in {ℝ}^n$使用符号$x=𝒪(1)$时，它应该被理解为对于所有$i\in [n],x_i=𝒪(1)$。 最后，我们将使用粗体字符（例如 $𝒉$ 而不是 $h$)来表示数量的“批量”版本。 这只是为了强调以下声明也适用于批量。

备注：在本节中，我们将结果表述为“声明”而不是定理。 在附录F.4中，我们提供了“启发式”证明，可以在不平凡的技术条件下进行严格证明。 我们还通过在附录D中的线性设置中严格证明它们来展示声明的正确性。我们认为这种额外的复杂性是不必要的，并且不符合本文的目的。

Definition 7.1 （训练例程）.

训练例程是 $\eta$、$𝑸$ 和输入批次的包。

Definition 7.2 （稳定性）。

我们说参数化是

1. 初始化时稳定如果

   $${𝒉}_0^l,{𝒙}_0^l=𝒪(1),\forall l\in [L],\text{and}{𝒇}_0=𝒪(1).$$ (5)

2. 训练期间稳定如果对于任何训练例程，任何时间$t\ge 0$、$l\in [L]$，我们有

   $$\mathrm{\Delta }{𝒉}_t^l,\mathrm{\Delta }{𝒙}_t^l=𝒪(1),\forall l\in [L],\text{and}\mathrm{\Delta }{𝒇}_t=𝒪(1),$$

   其中符号“$\mathrm{\Delta }$”指的是一个梯度步骤后的变化。
   

如果参数化在初始化和过程中都稳定，我们就说参数化是训练稳定。

Definition 7.3 （忠实）。

如果${𝒉}_t^l=\mathrm{\Theta }(1)$对于所有$l\in [L]$，我们说参数化在步骤$t$是忠实的。 如果参数化对于所有$t$都是忠实的，我们就说参数化是忠实的。我们还说它在初始化时是忠实的（resp。 在训练期间忠实）如果在 $t=0$ 处为真（resp. 对于$t\ge 1$)。

注意这里的忠实指的是“忠实于$\varphi$”，意味着$\varphi$的输入是$\mathrm{\Theta }(1)$。 这与 Yang 和 Littwin [24] 中忠实度的定义不同，其中忠实度是指“忠实于 $Q$”，这意味着 $Q$ 的输入是$\mathrm{\Theta }(1)$。 如部分6.1中所述，本工作中已假设“忠实于$Q$”。

Definition 7.4 （非平凡性）。

如果对于每个训练例程和任意时间 $t\ge 1$、${𝒇}_t-{𝒇}_0\stackrel{\mathrm{a}.\mathrm{s}.}{\to }0$，在"$n\to \mathrm{\infty },$ 然后 $L\to \mathrm{\infty }$"的极限中（即函数不会在无限宽--然后--深度的极限中演化），我们说一个参数化是 三维的。 否则我们说参数化是非平凡的。

Definition 7.5 （特征学习）.

我们说参数化在限制“$n\to \mathrm{\infty }$，然后$L\to \mathrm{\infty }$”中引入特征学习，如果存在训练例程，并且$t\ge 1$，以及任何 $\lambda >0$，我们有 $\mathrm{\Delta }{𝒉}_t^{\lfloor \lambda L\rfloor }=\mathrm{\Theta }(1)$。

7.1 主要权利要求

我们现在准备公布主要结果。 下一个声明提供了参数化在初始化时稳定的充分必要条件。

Claim 7.1.

参数化在初始化时是稳定的当且仅当$\alpha \ge 1/2$。

声明 7.1并不新鲜，Hayou等人[7]也报告了类似的结果。 然而，Hayou 等人[7]侧重于初始化，缺乏训练过程中类似的稳定性分析。 在下一个结果中，我们根据学习率的缩放确定了两种不同的行为。

Claim 7.2。

考虑初始化时稳定的参数化。 然后进行以下保持（彼此分开）。

• 训练时也很稳定，当且仅当$\alpha +\gamma \ge 1$。

• 这是不平凡的当且仅当$\alpha +\gamma \le 1$。

因此，它既稳定又不平凡当且仅当$\alpha +\gamma =1$。

从Claim7.1和Claim7.2，有$\alpha +\gamma =1$ 和 $\alpha \ge 1/2$ 是参数化在整个训练过程中稳定且重要的充分必要条件。 因此，在下一个结果中，我们将分析限制在此类参数化上，并研究它们的真实性。

Claim 7.3.

考虑稳定且重要的参数化。 以下保持（彼此分开）。

• 它在初始化时是忠实的，当且仅当$\alpha \ge 1/2$。因此，$\alpha =1/2$是$\alpha$的最小选择 这保证了忠诚度。

• 训练期间忠实当且仅当$\alpha \le 1$。

因此，稳定且重要的参数化是忠实的当且仅当$\alpha \in [1/2,1]$。

第一个主张源自众所周知的随机初始化残差网络[7]的计算。 对于第二个声明，这里的直觉是如果 $\alpha +\gamma =1$ 和 $\alpha >1$ 那么 ，即更新大小随着深度而增加。 这将导致非线性输入的尺寸增大。

有人可能会说，初始化时的忠实度并不重要（例如，初始化时的特征可以收敛到零，而不会出现任何稳定性或琐碎问题），重要的是整个训练过程中的忠实度。 事实证明，初始化时的忠实度对于网络容量的优化使用起着至关重要的作用。 为了看到这一点，我们首先定义特征多样性指数的概念，它与相邻层特征的相似性有关。

Definition 7.6 （特征多样性指数）。

如果 $\kappa$ 是最大值，那么对于所有 $\lambda \in [0,1]$ 和足够小的 $ϵ>0$，我们说参数化具有特征多样性指数 $\kappa \ge 0$，并且所有时间$t$，

$$\frac{1}{\sqrt{n}}\Vert {𝒙}_t^{\lfloor (\lambda +ϵ)L\rfloor }-{𝒙}_t^{\lfloor \lambda L\rfloor }\Vert =\mathrm{\Omega }({ϵ}^{1-\kappa }),$$

其中 $\mathrm{\Omega }(1)$ 应解释为限制“$n\to \mathrm{\infty }$，然后 $L\to \mathrm{\infty }$，然后 $ϵ\to 0$”。 如果$\kappa =0$，我们就说参数化是冗余。

换句话说，特征多样性指数 $\kappa$ 是对彼此接近的层中的输出差异程度的度量。 对于$\kappa =0$，每一层的输出本质上与前一层的输出相同，因为从一层到下一层的变化率是有界的（至少是局部的），因此网络直观上是在“浪费”参数。

Claim 7.4.

考虑一个稳定且重要的参数化，该参数化在训练期间（但不一定在初始化时）更加忠实。 那么如果$\alpha \in (1/2,1]$是多余的。

要理解 Claim 7.4 背后的直觉，让我们看看 $\alpha >1/2$ 时会发生什么。 在这种情况下，随着深度的增加，初始化权重的随机性不会对训练轨迹产生影响。 要看到这一点，请考虑一些图层索引$\lfloor \lambda L\rfloor$。 这些块被 $L^{\alpha }$ 划分，该值大于累积随机性的大小（顺序为 ${(\lambda L)}^{1/2}$)。 这基本上破坏了初始化的所有随机性，因此学习特征中的随机性将仅包含来自 $U$ 和 $V$ （输入和输出矩阵）的随机性。 当深度趋于无穷大时，两个相邻层中随机性的贡献变得不那么重要，最终相邻层变得非常相似，因为这些层的梯度高度相关。

相反，我们得到以下结果，它定义了 Depth-$\mu$P。

Claim 7.5 （深度 -$\mu$P）。

$\alpha =\gamma =1/2$ 是独特的参数化，它是稳定的、重要的、忠实的、诱导特征学习，并通过$\kappa =1/2$实现最大的特征多样性。

就特征多样性而言，当$\alpha =1/2$时发生相变现象。 更准确地说，对于 Depth-$\mu$P，我们可以证明 $n^{-1/2}\Vert {𝒙}_t^{\lfloor (\lambda +ϵ)L\rfloor }-{𝒙}_t^{\lfloor \lambda L\rfloor }\Vert =𝒪({ϵ}^{1/2})$ 而对于所有 $\alpha \in (1/2,1]$ 来说，相同的数量是 $𝒪(ϵ)$，这表明Depth-$\mu$P 生成 ${𝒙}_t$ 的粗略路径。 这允许特征从一层到下一层发生显着变化，从而有效地使用参数。 对于熟悉粗糙路径理论的读者来说，$1/2$连续性指数是路径中布朗增量的结果。

此外，对于$\alpha =1$，存在特征崩溃的现象，即特征将包含在由输入层和输出层生成的$\sigma$代数中，但不包含随机性来自隐藏层（参见部分 F.2)。 直观上，$\alpha =1$ 的情况类似于宽度情况，其中深度平均场塌陷为单个神经元（所有神经元变得本质上相同）。 对于深度而言，特征（层）仍然相对不同，但冗余不允许这些特征发生显着变化。

7.2 Sublety：分层（局部）线性化，但不是全局线性化

Definition 7.7。

我们说参数化引起分层线性化当且仅当当$L\to \mathrm{\infty }$（即$\forall l\in [L]$)时每层都可以在不改变网络输出的情况下进行线性化，

$$L^{-\alpha }G\left(\varphi (W_t^l{𝒙}_t^{l-1})-\varphi (W_0^l{𝒙}_t^{l-1})-{\varphi }^{\prime }(W_0^l{𝒙}_t^{l-1})\odot ((W_t^l-W_0^l){𝒙}_t^{l-1})\right)=o(L^{-1})$$

Claim 7.6。

稳定且重要的参数化会导致分层线性化 iff $\alpha \in [1/2,1)$。

但是，请注意，这并不意味着整个网络是线性化的（w.r.t. 神经正切核意义上的所有参数）。 在我们的设置中，输入和输出层以恒定比例初始化（w.r.t. $L$)，实际上不可能有内核限制。 即使在 Section 4 中的线性情况下，我们也可以看到学习的模型不是线性的。

如果输出层的初始化比我们的设置大$L$倍（假设$L\ll n$，因此宽度缩放仍然遵循$\mu$P），它可能会引起参数化可以使整个网络线性化。 在这种情况下，学习率必须小于Depth-$\mu$P的$L$倍才能获得训练过程中的稳定性，因此参数的变化也是$L$倍小，这可以导致整个网络的线性化。 由于我们专注于最大特征学习，因此严格的论证超出了本文的范围。

8功能多样性

在本节中，我们表明非线性的选择和非线性的放置可以极大地影响特征多样性。

8.1梯度多样性

梯度多样性是特征多样性的重要因素。 观察 $x^l$ 处的梯度 $\delta x^l$ 在极限 $L\to \mathrm{\infty }$ 内的 $l$ 中是连续的。 在线性模型（或前非线性模型，其中非线性被置于权重之前）中，这会导致相邻块之间的 $\delta h^l=L^{-\alpha }\delta x^l$ 非常相似。 结果（因为权重 $W^l$ 接收与 $\delta h^l\otimes x^{l-1}$ 成比例的更新），在下一个前向传递中，相邻块对主分支 $x^l$ 的贡献非常相似。 这导致模型容量的浪费。

8.2 Pre-Nonlin 导致性能不佳

例如，在 图 2中，对于一个 relu 前非线性重网（即图块由 $W^l\varphi (x^{l-1})$ 而不是 $\varphi (W^l{x}^{l-1})$ 给出），我们可以看到，虽然深度-$\mu$P 确实转移了超参数（正如我们的理论所预测的那样），但其性能却大大低于 图 10 中的后非线性重构网络，并且深度超过 8 层后性能没有任何提升。 具体来说，这是因为$\delta h^l=L^{-\alpha }\delta x^l$类似于线性情况，而$\varphi (x^{l-1})$在相邻块之间也相似。 因此，权重 $W^l$ 的梯度与 $\delta h^l\otimes \varphi (x^{l-1})$ 成比例，与附近的块相比几乎没有多样性。

图2： Pre-Nonlin 导致性能不佳 虽然 Pre-Nonlin resnet 的深度 -$\mu$P 确实传输了超参数（左），但深度超过 8 层后并没有带来任何性能提升，而且性能明显比后非林 resnet（右）。 在右图中，“最小对数损失”是所有块乘数和学习率的最小对数损失。 网络在 Adam 的 CIFAR-10 上进行训练。 有关设置的更多详细信息，请参阅图10。

8.3 利用绝对值非线性最大化特征多样性

在非线性模型中，我们有$\delta h^l=\delta x^l\odot {\varphi }^{\prime }(h^l)$。 由于 $h^l$ 几乎独立于 Depth-$\mu$P 限制中的所有其他 $h^m,m\ne l$，因此 ${\varphi }^{\prime }(h^l)$ 可以用于解相关 $\delta h^l$，取决于 $\varphi$ 是什么。 例如，如果 $\varphi$ 是 relu，则 ${\varphi }^{\prime }$ 是阶跃函数。 $h^l$ 近似为深度 $\mu$P 限制内的零均值高斯分布，因此 ${\varphi }^{\prime }(h^l)$ 近似为 0 或 1，各有一半概率。 这比线性情况更好地解相关 $\delta h^l$。 但当然，这种推理自然会得出这样的结论：${\varphi }^{\prime }=\mathrm{sign}$ 将是 $\delta h^l$ 的最佳解相关器，并且是特征多样性的最大化（其中 $\varphi$正 1-齐次函数的类） - 那么 $\delta h^l$ 和 $\delta h^m$ 对于 $l\ne m$ 是完全去相关的。

事实上，如图图 3所示，将绝对值替换为$\varphi$可以极大地提高深度（块）的训练性能深度1）resnets。

图3： 通过绝对值非线性提高性能，从而最大限度地提高特征多样性。 （网络在 Adam 的 CIFAR-10 上进行训练。）。 有关设置的更多详细信息，请参阅图10。

一般来说，任何非线性都可以代替绝对值。

8.4 特征多样性与分层线性化处于紧张状态

${\varphi }^{\prime }(h^l)$ 能够解相关 $\delta h^l$ 的原因与分层线性化有很大关系。 回想一下，在 Depth-$\mu$P 中，$h^l$ 可以分解为大小为 $\mathrm{\Theta }(1)$ 的零均值高斯部分 ${\widehat{h}}^l$ 和修正项 ${\dot{h}}^l$ 大小为 $\mathrm{\Theta }(L^{-1/2})$（对应于分解 $⫿h^l⟩=⫿h{}^l\widehat{⟩}+⫿h{}^l\dot{⟩}$)。 对于 $m\ne l$,${\widehat{h}}^l$ 独立于 ${\widehat{h}}^m$，但 ${\dot{h}}^l$ 可以与所有其他 ${\dot{h}}^m$ 非常强地相关。 因此，${\varphi }^{\prime }(h^l)$可以去相关$\delta h^l$，正是因为${\widehat{h}}^l$支配${\dot{h}}^l$，这也正是我们进行分层线性化的原因。

在$1/L$缩放$(\alpha ,\gamma )=(1,0)$时，${\widehat{h}}^l$与${\dot{h}}^l$同阶，不会发生分层线性化，但${\varphi }^{\prime }(h^l)$ 无法再有效地解相关 $\delta h^l$。

我们再次提醒读者，这种情况下的分层线性化并不是有害的（在块深度为 1 的情况下），因为 ${\widehat{h}}^l$ 实际上累积了所有先前块的学习特征的贡献，因此强烈依赖于学习轨迹（与（横向）NTK 情况相反，其中 ${\widehat{h}}^l$ 在初始化时已确定）。

9 块深度2及以上

符号备注： 在这里和下一节中，所有大 O 表示法仅在 $L$ 中；假设宽度缩放在$\mu$P 中。

在这项工作的大部分内容中，我们考虑了 eq. 1 中 $g^l$ 的深度 1 MLP，很简单导出并分类每个块中较大深度的无限宽度然后无限深度的限制。 特别是，以下 $1/\sqrt{L}$ 缩放在具有块深度 $k$ 的更一般设置中仍然有意义，并导致明确定义的限制：

$x^l$ $=x^{l-1}+{\displaystyle \frac{a}{\sqrt{L}}}\cdot g^l(x^{l-1};W^{l1},\mathrm{\dots },W^{lk}),\mathrm{\Theta }(1)\text{initialization scale,}\mathrm{\Theta }(1/\sqrt{L})\text{learning rate}$ (6)

这就是我们在块深度为 1 的情况下所说的 Depth-$\mu$P，但我们不会在一般块深度的情况下使用这个名称，因为此参数化不再是最佳的。

9.1 块深度$\ge 2$有缺陷

一个非常明显的症状是，在匹配参数计数时，块深度 2 的 resnet 的性能比块深度 1 的网络差，尽管它们可以（但并不总是）捕获长时间训练后（无花果。 4 和5)。

图4： 块深度 2 < 块深度 1，Relu。 在没有 LN 的 ReLU resnet 中，当匹配总层数（以及参数计数）时，块深度 2 的表现比块深度 1 差。 然而，更长的训练（38000 步，右）有助于它赶上（与 11000 步相比，左）。 y 轴是所有块乘数和学习率的最小对数损失

图5： 块深度 2 < 块深度 1，绝对值。 在具有 LN 的ABS resnet 中，当匹配总层数（以及参数计数）时，块深度 2 的表现明显比块深度 1 差。 更长的训练（38000 步，右）并不能缩小性能差距（与 11000 步相比，左）。 y 轴是所有块乘数和学习率的最小对数损失

同时，随着块总数的增加，我们看到超参数发生了不平凡甚至显着的变化(图 6)。

图6： 不带 LN 的 relu resnet（左）和带 LN 的 abs resnet（右）中的块深度 2 超参数偏移。

9.2 $1/\sqrt{L}$块深度2缩放的缺陷

在块深度 $\ge 2$ 情况下 $1/\sqrt{L}$ 缩放不再精细的原因是块中各层之间的乘法交互的线性化。 事实上，就像块深度为 1 的情况一样，$1/\sqrt{L}$ 缩放会强制每个权重矩阵的权重更新 $\mathrm{\Delta }W$ $\mathrm{\Theta }(\sqrt{L})$ 小于初始化 $W_0$。 因此，在块内，深度$L$较大时的训练动态处于内核状态，其中对块输出$g(x;W^{\bullet })$的贡献仅是求和，而不是每层权重更新的单独贡献的产品。

当在所有 $L$ 块上聚合时，结果是块之间仅存在 $\mathrm{\Delta }W$ 的乘法交互，而层内则没有。 换句话说，网络输出由 $M^L\mathrm{\cdots }{M}^1$ 形式的贡献主导，例如在线性情况下，其中每个 $M^l$ 可以是 $I,W_0^{l2}{W}_0^{l1},W_0^{l2}\mathrm{\Delta }{W}^{l1},$ 之一或 $\mathrm{\Delta }{W}^{l2}{W}_0^{l1}$，但不是 $\mathrm{\Delta }{W}^{l2}\mathrm{\Delta }{W}^{l1}$。 所有其他贡献（都涉及块内交互，如 $\mathrm{\Delta }{W}^{l2}\mathrm{\Delta }{W}^{l1}$)都是副标题。 在一般非线性情况下，替换块

$$\varphi (W^{l2}\varphi (W^{l1}{x}^{l-1}))$$

与线性化版本

$$\varphi (h_{\wedge }^l)+{\varphi }^{\prime }(h_{\wedge }^l)\odot [\mathrm{\Delta }{W}^{l2}\varphi (h_{\vee }^l)]+{\varphi }^{\prime }(h_{\wedge }^l)\odot [W_0^{l2}({\varphi }^{\prime }(h_{\vee }^l)\odot [\mathrm{\Delta }{W}^{l1}{x}^{l-1}])]$$

将实现与深度 $L\to \mathrm{\infty }$ 相同的性能，其中 $h_{\wedge }^l=W_0^{l2}\varphi (h_{\vee }^l)$ 和 $h_{\vee }^l=W_0^{l1}{x}^{l-1}$。

当块深度$k=1$（我们在这项工作中的主要研究对象）时，所有交互都被包括在内，但当$k>1$时，情况不再如此。

在图 7中，损失热图作为块乘数和学习率的函数，生动地证明了块深度2的这一点。

深度小

当块数为$2^1$时，（学习率，块乘数）的最佳子级别集具有斜率$\approx -2$。 换句话说，在最佳值附近，将学习率加倍同时将块乘数除以 4 具有类似的性能。 这是因为$\mathrm{\Delta }{W}^{l1}$和$\mathrm{\Delta }{W}^{l2}$以乘法方式交互，因此它们的大小加倍会导致它们对块输出的贡献增加四倍。 块乘数同时减少 4，则大致保持其贡献大小不变。

大深度

另一方面，当深度为 $2^{10}$ 时，最佳子级别集具有斜率 $\approx -1$：将学习率加倍，同时将块乘数减半具有类似的性能。 这反映了 $\mathrm{\Delta }{W}^{l1}$ 和 $\mathrm{\Delta }{W}^{l2}$ 现在相加地交互这一事实。

中间深度插入了这种现象，如深度 $2^5$ 图中所示。

图7： 随着深度从 $2^1$ 到 $2^{10}$，（学习率、区块乘数）空间中的最优子级集的 "斜率 "会从 $-2$ 变为 $-1$。 在这里，我们使用绝对值非线性和层归一化、块深度 2，并使用 Adam 在 CIFAR-10 上对网络进行 50 轮训练。

在相同的热图中，我们可以看到随着深度从 $2^5$ 变化，最优（学习率、块乘数）（在 $1/\sqrt{L}$ 参数化中）从网格中部移动到左上角> 到 $2^{10}$，证明缺乏超参数传输。

这种斜率的变化在 ReLU 网络中也可以看到，无论有没有层范数。

最后，我们注意到，$1/\sqrt{L}$ 缩放仍然会产生 $L\to \mathrm{\infty }$ 限制，其中网络仍然学习整体特征，即使在每个块中这不再是正确的。 因此，这再次提醒我们，单纯的“特征学习”并不意味着“超参数迁移”！

9.3 参数化的分类

这些热图已经证明，没有参数化（全局学习率中，块乘法器）可以稳健地传输超参数，因为任何此类参数化只能移动热图，但不能拉伸它们，所以无法将一个斜坡的子标高组“转移”到另一斜坡的子标高组中。

但是，即使我们允许块中各层之间的学习率有所不同，也没有稳定、忠实、重要的参数化可以避免上述线性化问题。

为了简单起见，固定正齐次非线性和块深度 2。我们考虑由块中每一层的学习率以及块乘数（每个块一个）组成的超参数空间; WLOG 所有权重均已初始化$\mathrm{\Theta }(1)$。 这会产生一个维度为$\mathrm{blockdepth}+1=3$

事实上，要发生这种情况，对于某些$i$，权重更新$\mathrm{\Delta }{W}^{li}$必须至少为$\mathrm{\Omega }(1)$（初始化大小）。 但这会给块输出 $g^l=g^l(x^{l-1};W^{\bullet })$ 带来一个与噪声项一样大的漂移项。 这意味着参数化不稳定（如果块乘数 $L^{-\alpha }$ 为 $\mathrm{\Omega }(1/L)$)或缺乏特征多样性（如果块乘数 $L^{-\alpha }$ 为 $O(1/L)$)。

例如，在线性模型中，

$$L^{\alpha }⫿g^l⟩=⫿W^{l2}{W}^{l1}{x}^{l-1}⟩=⫿W_0^{l2}{W}^{l1}{x}^{l-1}\widehat{⟩}+⫿W_0^{l2}{W}^{l1}{x}^{l-1}\dot{⟩}+⫿\mathrm{\Delta }{W}^{l2}{W}^{l1}{x}^{l-1}⟩.$$

$⫿W_0^{l2}{W}^{l1}{x}^{l-1}\widehat{⟩}$ 在 $l$（噪声项）上是独立且零均值的，而 $⫿W_0^{l2}{W}^{l1}{x}^{l-1}\dot{⟩}+⫿\mathrm{\Delta }{W}^{l2}{W}^{l1}{x}^{l-1}⟩$ 在 $l$（漂移项）上是相关的。 $⫿W_0^{l2}{W}^{l1}{x}^{l-1}\widehat{⟩}$ 始终是 $\mathrm{\Theta }(1)$，因为 $W_0^{l2},W_0^{l1}$ 是。 如果$\mathrm{\Delta }{W}^{l2}$是$\mathrm{\Omega }(1)$，则$⫿\mathrm{\Delta }{W}^{l2}{W}^{l1}{x}^{l-1}⟩=\mathrm{\Omega }(1)$也是如此，使得漂移项与噪声项一样大。 如果$\mathrm{\Delta }{W}^{l1}$是$\mathrm{\Omega }(1)$，那么$⫿W_0^{l2}\mathrm{\Delta }{W}^{l1}{x}^{l-1}\dot{⟩}=\mathrm{\Omega }(1)$，导致$⫿W_0^{l2}{W}^{l1}{x}^{l-1}\dot{⟩}=⫿W_0^{l2}{W}_0^{l1}{x}^{l-1}\dot{⟩}+⫿W_0^{l2}\mathrm{\Delta }{W}^{l1}{x}^{l-1}\dot{⟩}$是$\mathrm{\Omega }(1)$。

相同的论点可以直接适用于非线性 MLP（均值减法）和任意块深度 $\ge 2$，以及不一定是正齐次的一般非线性，超参数空间扩大以包括初始化。

9.4 那么什么是最佳参数化？

所有上述考虑因素都表明，在增加每个块的复杂性时，我们在考虑中缺少关键的超参数。 我们现在的研究类似于对 SP 中全局学习率的一维超参数空间的简单研究。 发现这些缺失的超参数将是未来工作的一个重要问题。

图8： 经过训练的线性网络收敛到其无限宽度限制，该限制是基于 $\mathrm{\Gamma }$ 和 $C$ 递归计算的。深度固定为64，宽度在$2^7,2^8,\mathrm{\dots },2^{13}$之间变化。 网络使用 SGD 进行 10 个步骤的训练。 第 1、5 和 10 步的均方根统计数据($y$ 轴）使用实线绘制，其中 $x$ 轴是宽度。 均方根值是根据某些层（包括输入层、输出层和每个季度的隐藏层）的输出计算的。 无限宽度的相应值用虚线表示。

图9： 在Depth-$\mu$P训练下，无限宽的线性网络随着深度的增加而收敛。 基于$\mathrm{\Gamma }$和$C$递归计算深度$2^4,2^5,\mathrm{\dots },2^9$的无限宽线性网络。第 1、5 和 10 步的均方根统计数据($y$ 轴）在深度($x$ 轴）上绘制。

10实验

10.1 在线性情况下验证理论

在部分4中，我们展示了线性网络训练动态的完整描述可以用$\mathrm{\Gamma }$来表示> 和$C$。在本节中，我们提供了支持我们的理论发现的实证结果。 我们首先验证 Lemma 中 $\mathrm{\Gamma }$ 的有限深度递归公式 4.3 是当宽度达到时的正确限制无穷大，然后继续证明无限深度极限是正确的。

无限宽度限制。

在图 8中，我们训练了一系列宽度为$2^7,2^8,\mathrm{\dots },2^{13}$的$64$层线性网络在 MNIST 上使用 $1,5,10$ 步骤，并绘制均方根 使用实线的层输出。 我们还使用 $\mathrm{\Gamma }$ 的递归公式计算相应统计量的无限宽度限制，并将它们绘制为水平虚线。 为了使图形清晰，我们仅绘制索引 16、32、48 和 64 的输入层、输出层和隐藏层的统计数据。 很明显，随着宽度的增加，实线在整个训练台阶上一致地汇聚到虚线。 这表明我们对无限宽度限制的计算是正确的。

无限深度限制。

我们验证当深度增长时，上面的无限宽度限制收敛。 我们考虑相同架构的线性网络，但深度从 $2^4$ 到 $2^9$ 不同。 我们再次使用$\mathrm{\Gamma }$的递归公式计算层输出的均方根值，并将它们绘制在图 9中t1>，深度为$x$轴。 为了使图更清晰，我们只绘制了输入层、输出层和隐藏层的统计数据，其索引分别为 $L/4$、$L/2$、$3L/4$ 和 $L$。我们可以观察到，当深度从 $2^4$ 增长到 $2^9$ 时，层输出的统计量迅速收敛，这验证了我们的收敛结果。

图10： 训练宽度 $n=256$ 和不同深度的对数损失与学习率。 该网络由 MLP 块（块深度为 1）组成，使用 Adam 在 CIFAR10 数据集上训练 50 个 epoch。 批量大小固定为$64$。 我们调整深度$2^3$网络以获得最佳$({\log }_2(a),{\log }_2(\eta /1e-3))=(1,0)$，并使用$2^3$作为基础深度缩放所有更深的网络。 读者可以检查每列中的$L=2^3$曲线是否相同。 我们展示了三个参数化的对数损失与隐藏层（输入/输出层固定）的学习率：深度-$\mu$P(Top)，仅缩放块（无LR 缩放），即 $\gamma =0$(中)，以及无任何缩放的标准参数化($\alpha =\gamma =0$)(底部)。 每条曲线代表 $k\in \{1,2,\mathrm{\dots },10\}$ 深度 $2^k$ 的 1000 步时间片内的平均训练损失。 置信区间基于 5 个种子。 结果表明，Depth-$\mu$P 保留了最佳学习率，同时随着深度的增加持续改善损失。 如果我们在使用 Adam 进行训练时仅缩放块而不缩放 LR ($\alpha =1/2,\gamma =0$)，则最佳学习率会随深度发生显着变化。 通过没有任何深度缩放的标准参数化（常见做法），结果显示最佳学习率也发生了显着变化。 对于 SP，我们将日志损失限制为 1，这就是为什么对于深度 $2^9,2^{10}$，我们在 $LogLoss=1$ 处有一条黑色水平线。

10.2 超参数传输

在本节中，我们提供经验证据来证明 Depth-$\mu$P 缩放的最优性以及某些量在深度上的可转移性。 我们使用 Adam 优化器在 CIFAR-10 数据集上训练块深度为 1（每个残差块中有 1 个 MLP 层）的普通残差网络，批量大小为 $64$，对于 $50$ epoch（输入和输出层数是固定的）。 网络参数化如下

$$x^l=x^{l-1}+a\times L^{-\alpha }\text{MS}(\varphi (W^l{x}^{l-1})),$$

权重按照规则进行训练

$$W^l\leftarrow W^l-\eta \times n^{-1}{L}^{-\gamma }{Q}_t^l(n{L}^{\delta }{g}_0,\mathrm{\dots },n{L}^{\delta }{g}_t),$$

其中学习率$\eta$和块乘数$a$是超参数。 $\alpha ,\gamma$ 的值取决于选择的参数化。 对于 Depth-$\mu$P，我们有 $\alpha =\gamma =1/2$，对于标准参数化，我们有 $\alpha =0,\gamma =1$。 在我们的实验中，我们假设基础深度 $8$，这意味着我们在上面的参数化中将 $L$ 替换为 $L/8$。

学习率迁移 ($\eta$)。

在图10中，我们显示了深度$2^k$、$k\in \{3,4\mathrm{\dots },10\}$的训练损失与学习率>。 对于 Depth-$\mu$P，随着深度的增长，可以观察到最佳学习率的收敛模式。 小深度（例如 $L=2^3$)的最佳学习率表现出轻微的变化，这是应该预料到的，因为我们的理论表明在大深度限制下会收敛。 然而，从深度$L=2^6$开始，最佳学习率集中在${10}^{-3}$附近。 对于仅缩放乘数而不缩放 LR 的参数化($\alpha =1/2$、$\gamma =0$)，我们观察到最佳学习率发生显着变化。 对于没有任何深度缩放 ($\alpha =\gamma =0$) 的标准参数化，随着深度的增长，最佳学习率会出现更显着的变化。 此外，即使为每个深度选择最佳学习率，当深度非常大时，性能仍然会下降，这表明标准参数化不适合深度缩放。 附录G中提供了具有多个时间片的其他图。

特征学习足以进行 HP 迁移吗？

在部分5中，我们解释了超参数传输发生的时间和原因。 准确地说，为了获得 HP 传递，需要对所有特征学习限制进行分类并选择最佳的一个。 我们引入了特征多样性的概念，并表明 Depth-$\mu$P 在最大化特征多样性的意义上是最优的。 为了表明 HP 传输需要最优性，我们训练了一个带有 $(\alpha ,\gamma )=(1,0)$ 的 resnet，这也是一个特征学习限制。 图 11显示，在这种情况下，学习率随深度呈现显着变化。 有趣的是，在这种情况下，常数 $\eta$ 似乎随着深度的增加而增加，这表明网络正在尝试突破 ODE 限制，这是次优的。 请注意，在 Figure 10 中，与 Figure 11 中的 ODE 参数化相比，使用深度-$\mu$P 可以获得更好的训练损失。

图11： 参数化 $(\alpha ,\gamma )=(1,0)$（ODE 极限）的设置与图 10 相同。

我们还有与 LayerNorm (LN) 的传输吗？

我们的理论仅考虑均值减法（MS），图10显示了MS的结果。为了查看 LN 是否影响 HP 传输，我们使用与图 10相同的设置来训练 resnet，其中绝对值非线性和 LN 应用于 $x^{l-1}$ 在与 $W^l$ 进行矩阵乘法之前（preLN）。 我们在非线性之后保留 MS，尽管它可以被删除，因为 LN 在下一层中应用。 图12中报告的结果表明，Depth-$\mu$P 也保证了 LN 的学习率迁移。

图 12： 与 图 10的设置相同，在与 $W^l$ 进行矩阵乘法之前，对 $x^{l-1}$ 应用 Abs 非线性而不是 ReLU 和 LayerNorm。 我们展示了两种参数化的对数损失与隐藏层（输入/输出层固定）的学习率：深度-$\mu$P(Left)和仅缩放没有 LR 的块缩放 ($(\alpha ,\gamma )=(1/2,0)$)(右)。 结果表明，Depth-$\mu$P 保留了最佳学习率，同时随着深度的增加持续改善损失。 如果我们在使用 Adam 进行训练时仅缩放块而不缩放 LR ($\alpha =1/2,\gamma =0$)，则最佳学习率会随深度发生显着变化。

块乘数传输 ($a$)。

在图13中，我们研究了超参数$a$在Depth-$\mu$P中的稳定性随着深度的增加。 结果表明，该常数的最佳值随着深度的增长而收敛，这表明可转移性。 附录G中提供了使用多个时间片的其他实验。

图 13： 训练不同深度的对数损失与块乘数$a$。 与图 10中的训练设置相同。 结果表明，随着深度的增加，Depth-$\mu$P 可以稳定超参数 $a$。

10.3 Transformer 中会发生什么？

图 14： 现代 Transformer 对块乘法器$a$不敏感。

图 15： 在接受 Common Crawl 训练的（威震天）Transformer 中，深度越深，最初表现越差（左），但最终表现得更好（右）。

图 16： 在 (Megatron) Transformer 训练的中间，最佳学习率近似不变（左），而在训练结束时，它大约按 $1/\sqrt{L}$ 缩放。 然而，在任何一种情况下，$1/\sqrt{L}$ 缩放都能更好地传递最大可行学习率。

因为 Transformer 的块深度为 2，如部分 9中讨论的，我们有足够的理由怀疑（学习率，块multiplier）将能够在 Transformer 的深度上稳健地传输超参数。

在这里，我们使用受过 Common Crawl 训练的威震天进行了大规模实验，并对我们的观察结果进行了分类。 总之，在我们的特定设置（应该接近大多数大型语言模型预训练）中，我们看到 $1/\sqrt{L}$ 缩放似乎在 (LABEL:{fig :megatron-scaling-shifts}（右））。 然而，我们也看到 1) 深度在初始训练中表现更差 (LABEL:{fig:megatron-deeper-worse}(左))，以及 2) 最佳超参数规模如 $\mathrm{\Theta }(1)$ 训练中间(图 16（左））。 结合 Section 9 的理论见解，这使我们得出结论，虽然 $1/\sqrt{L}$ 缩放实际上可能是可行的它在 Transformer 训练中很有用，但它可能对架构和算法的变化，甚至像训练时间这样的简单事情很脆弱。

事实上，我们观察到 Transformer 对块乘数 $a$ 不敏感(图 14)，因此唯一的相关的超参数实际上只是学习率。 因此，如现代大规模预训练中所做的那样，凭经验测量最佳学习率的缩放趋势实际上可能是一种更稳健的传输超参数的方法。

这里$L$是Transformer层的数量，每个层由一个注意力层和一个MLP层组成（每个层的深度为2）。

10.4功能多样性

在本节中，我们将根据经验验证我们关于特征多样性指数的主张(Claims 7.4 和 7.5)。 我们使用与上一节相同的设置，即，我们使用 Adam 和批量大小 $64$ 在 CIFAR-10 数据集上训练宽度 $n=256$ 的深度残差网络。 在图17中，我们比较了两个参数化，Depth-$\mu$P ($\alpha =\gamma =1/2$)和ODE 参数化$(\alpha ,\gamma )=(1,0)$。 我们在 $t=1000$ 处测量 $\Vert {𝒙}_t^{\lfloor (\lambda +ϵ)L\rfloor }-{𝒙}_t^{\lfloor \lambda L\rfloor }\Vert \stackrel{\text{def}}{=}d(ϵ)$ 的两个参数化和变化的深度。 对于每个参数化和深度$L$，我们通过乘以常数$c$来重新调整函数$d$，使得$c\cdot d(1/256)=1$，然后绘制重新调整后的函数$c\cdot d$ 干净的演示。 我们可以清楚地观察到，对于任何 $L$，Depth-$\mu$P 的特征多样性指数（几乎）$1/2$，而当 $L$ 增长时，ODE 参数化的曲线会从 ${ϵ}^{1/2}$ 变为 $ϵ$。 这完全符合我们的理论，即 Depth-$\mu$P 最大化特征多样性，而其他参数化（即使使用特征学习）具有较小的特征多样性指数，应该在无限深度中达到 $0$限制。

与$L$和$t$一起增长。

在 图 18中，我们在 $t=100,500,1000$ 处测量 $d(ϵ)$，并通过 除法 附加 ${ϵ}^{0.5}$和常数 $c$ 使 $\frac{d(1/256)}{c\cdot {ϵ}^{0.5}}=1$ 对其进行重新缩放、然后绘制重新缩放的函数 $d/(c\cdot {ϵ}^{0.5})$ 以对 $d$ 和 ${ϵ}^{0.5}$ 进行简洁的比较。 我们观察到，对于 Depth-$\mu$P 和 ODE 参数化，曲线的斜率随着 $L$ 和 $t$ 一起增长。沿$t$的增长可以通过层之间的累积相关性来解释。 ODE 参数化沿 $L$ 的增长是因为当 $L$ 增长时，附近层之间的独立分量减少。 我们对 Depth-$\mu$P 沿 $L$ 的增长没有清晰的理解，我们将其留作未来的工作。

绝对值激活增加了特征多样性。

在图19中，我们绘制了与图18相同的曲线> 但比较 Depth-$\mu$P 下的 ReLU 激活和绝对值激活。我们观察到绝对值激活的曲线斜率小于 ReLU 激活。 它符合我们的理论，即绝对值激活会增加特征多样性。

图 17： $\lfloor \lambda L\rfloor$ 层要素与 $\lfloor (\lambda +ϵ)L\rfloor$ 层要素之间的差异，以宽度 $n=256$ 和变化深度的 $ϵ$ 曲线表示。 为了清晰的呈现，每条曲线都按常数缩放，因此它始终通过 $(1/256,1)$。 特征多样性指数$\kappa$取决于$L\to \mathrm{\infty }$时曲线的增长。 对于 Depth-$\mu$P（左），曲线始终接近 ${ϵ}^{1/2}$，即 $\kappa =1/2$。 对于 ODE 参数化（右），当 $L$ 增长时，曲线从 ${ϵ}^{1/2}$ 移动到 $ϵ$，表明其 $\kappa$ 变为 $0$ 在无限深度限制中。

图 18： 与图17相同的设置，但在步骤$t=100,500,1000$，并且每条曲线通过除以常数和来缩放附加 ${ϵ}^{1/2}$，因此它总是通过$(1/256,1)$。 恰好指示特征多样性指数$\kappa$的曲线$1/2$应该是$1$处的水平线。 对于深度-$\mu$P ($\alpha =0.5$)，曲线几乎是水平的。 对于 ODE 参数化 ($\alpha =1$)，$L$ 越大，$t$ 越大，曲线的斜率越大。

图 19： 与图 18设置相同，但将 Depth-$\mu$P 与 ReLU 激活和绝对值激活进行比较。 每条曲线都通过除以常数和 ${ϵ}^{1/2}$ 进行缩放，因此它始终通过 $(1/256,1)$。 恰好指示特征多样性指数$\kappa$的曲线$1/2$应该是$1$处的水平线。 对于这两种激活，曲线的斜率都很小，但随着 $L$ 和 $t$ 一起增长。绝对值激活的斜率 ($\varphi =\mathrm{Abs}$) 比 ReLU 激活的斜率 ($\varphi =\mathrm{ReLU}$) 慢，表明绝对值激活的特征多样性更高。

致谢

我们感谢张辉帅、杰里米·伯恩斯坦、爱德华·胡、迈克尔·桑塔克罗斯、卢卡斯·刘的有益评论和讨论。 D. Yu 得到了 NSF 和 ONR 的支持。 部分工作是D. Yu在微软实习期间完成的。

作者贡献

GY在探索阶段的早期开发了核心理论并进行了实验，大部分实验都在最终草案中进行。 DY 研究并证明了线性 resnet 的关键主张（包括极限方程、收敛性和参数化分类），起草了论文的第一个版本，并进行了实验验证理论主张（包括线性情况的收敛性和特征多样性）分离）。 CZ在探索阶段的后期进行了实验。 与一般块深度情况相比，他们揭示了 Depth-$\mu$P 在块深度 1 情况下的可行性。 CZ 还在论文的最终版本中进行了威震天实验。 SH 从项目一开始就致力于头脑风暴，编写了线性网络的热身部分，形式化了特征多样性指数的概念，并帮助将实验结果转化为图表和可视化。

附录A符号

本节介绍 [24] 中的新 TP 表示法。 在本文中我们只需要内积和外积的定义。

平均 $n$

当$x\in {ℝ}^n$时，我们总是使用希腊下标$\alpha ,\beta ,\mathrm{\dots }\in [n]$来索引其条目。 那么${⟨x_{\alpha }⟩}_{\alpha }$表示其平均条目。 此表示法仅用于对 $n$ 维度进行平均，但不适用于恒定维度。

A.1 张量程序 Ansatz：通过随机变量表示向量

从张量程序框架[25]中，我们知道随着宽度变大，（预）激活向量的条目及其梯度将在初始化和训练时变得大致独立同分布。 因此，任何此类向量的行为都可以通过反映其条目分布的随机变量来跟踪。 虽然我们称之为“张量程序 Ansatz”，但它是一种完全严格的微积分。

A.1.1 Ket 表示法

具体来说，如果 $x\in {ℝ}^n$ 是这样一个向量，那么我们为这样一个随机变量写 $⫿x⟩\in ℝ$ （称为 ket)，这样 $x$ 的条目看起来像来自 $⫿x⟩$ 的 iid 样本。对于任何两个这样的向量 $x,y\in {ℝ}^n$，每个 $\alpha$ 的 $(x_{\alpha },y_{\alpha })\in {ℝ}^2$ 将看起来像iid 从随机向量 $(⫿x⟩,⫿y⟩)$ 中采样，例如 ${lim}_{n\to \mathrm{\infty }}\frac{x^{\top }y}{n}=𝔼⫿x⟩\cdot ⫿y⟩$，我们将其简洁地写为 $⟨x⫿y⟩$ 这里 $⟨x⫿$ 被称为 bra，被解释为一种对 $⫿x⟩$ 的“转置”。 在我们的约定中，$⫿x⟩$ 始终是独立于 $n$ 的随机变量，$x$ 始终具有 $\mathrm{\Theta }(1)$ 典型条目大小。。

该表示法可以推广到 $𝒙\in {ℝ}^{n\times k},𝒚\in {ℝ}^{n\times j}$ 的情况。 在这种情况下，我们可以将 $⟨𝒙⫿𝒚⟩$ 视为由 ${(⟨x_a⫿y_b⟩)}_{\begin{array}{c}1\le a\le k\\ 1\le b\le j\end{array}}$ 给出的 $k\times j$ 矩阵。

因为我们经常需要将 ket 与对角矩阵相乘，所以我们引入一个简写：

$${⫿𝒙⟩}_{𝝌}=⫿𝒙⟩\mathrm{Diag}(𝝌),$$ (7)

如果 $𝒙$ 是 $n\times k$ 并且 $𝝌$ 是 $k$ 维向量。

A.1.2 外积

同样，如果 $𝒙$ 和 $𝒚$ 都具有形状 $n\times k$，则表达式

$$⫿𝒙⟩⟨𝒚⫿\text{represents the limit of}𝒙{𝒚}^{\top }\in {ℝ}^{n\times n}\text{.}$$

更正式地说，$⫿𝒙⟩⟨𝒚⫿$ 被定义为一个运算符，它接受 ket $⫿𝒛⟩\in ℝ{}^j$ 并返回 ket

$$(⫿𝒙⟩⟨𝒚⫿)⫿𝒛⟩=⫿𝒙⟩(⟨𝒚⫿𝒛⟩)\in ℝ{}^j$$

即，它返回随机向量 $⫿𝒙⟩\in ℝ{}^k$ 乘以右侧的确定性矩阵 $⟨𝒚⫿𝒛⟩\in {ℝ}^{k\times j}$。 这对应于$𝒙{𝒚}^{\top }𝒛/n$的限制。 同样，$⫿𝒙⟩⟨𝒚⫿$ 通过以下方式作用于胸罩 $⟨𝒘⫿\in {ℝ}^j$：

$$⟨𝒘⫿(⫿𝒙⟩⟨𝒚⫿)=(⟨𝒘⫿𝒙⟩)⟨𝒚⫿\in {ℝ}^j.$$

对应于$\frac{1}{n}{𝒘}^{\top }𝒙{𝒚}^{\top }$的限制。 $⫿𝒙⟩⟨𝒚⫿$ 的这个定义使得表达式

$$⫿𝒙⟩⟨𝒚⫿𝒛⟩,⟨𝒘⫿𝒙⟩⟨𝒚⫿,⟨𝒘⫿𝒙⟩⟨𝒚⫿𝒛⟩$$

明确（因为任何对操作进行排序的方式都会给出相同的答案）。

Remark A.1 （潜在混乱）。

人们不应该不将$⫿𝒙⟩⟨𝒚⫿$解释为标量随机变量$⫿𝒙⟩\cdot ⫿𝒚⟩={\sum }_{i=1}^k⫿x^i⟩⫿y^i⟩$，它会作用于ket $⫿𝒛⟩$以产生$(⟨𝒙⫿\cdot ⟨𝒚⫿)⫿𝒛⟩=𝔼(⫿𝒙⟩\cdot ⫿𝒚⟩)⫿𝒛⟩$，这是确定性的。 另一方面，$⫿𝒙⟩⟨𝒚⫿𝒛⟩$ 始终是 $⫿𝒙⟩$ 的线性组合，通常是非确定性随机变量。 特别是，$⫿𝒙⟩$和$⫿𝒚⟩$之间的任何相关性并不直接在它们的外积$⫿𝒙⟩⟨𝒚⫿$中发挥作用：我们总是有$⫿𝒙⟩⟨𝒚⫿𝒛⟩=⫿𝒙⟩⟨𝒚{⫿}^{\mathrm{1}}⫿𝒛⟩{}^{\mathrm{1}}$，其中 ${{(⫿𝒚⟩}^{\mathrm{1}},⫿𝒛⟩}^{\mathrm{1}})$ 是独立于 $⫿𝒙⟩$ 的 $(⫿𝒚⟩,⫿𝒛⟩)$ 的 iid 副本。

对角插入的外积

最后，如果 $𝝌\in {ℝ}^k$ 是确定性的，那么（与 eq. 7 一致）我们定义 $⫿𝒙⟩{}_{𝝌}⟨𝒚⫿$ 作为作用于 kets $⫿𝒛⟩\in ℝ{}^j$ 的运算符

$$(⫿𝒙⟩{}_{𝝌}{}^{}⟨𝒚⫿)⫿𝒛⟩=⫿𝒙⟩{}_{𝝌}{}^{}⟨𝒚⫿𝒛⟩=⫿𝒙⟩\mathrm{Diag}(𝝌)(⟨𝒚⫿𝒛⟩)\in ℝ{}^j.$$

从道德上讲，$⫿𝒙⟩{}_{𝝌}⟨𝒚⫿$只是$⫿𝒙⟩\mathrm{Diag}(𝝌)⟨𝒚⫿$的一种更短的写法，代表了$𝒙\mathrm{Diag}(𝝌){𝒚}^{\top }$的极限。 特别是$⫿𝒙⟩{}_{\mathrm{𝟏}}⟨𝒚⫿=⫿𝒙⟩⟨𝒚⫿$。

A.1.3 非线性外积

如果 $x{y}^{\top }\in {ℝ}^{n\times n}$ 是两个向量 $x\in {ℝ}^n$ 和 $y\in {ℝ}^n$ 的（线性）外积，则 $\varphi (x{y}^{\top })$ 是非线性 $\varphi :ℝ\to ℝ$ 到 $x{y}^{\top }$，是一种非线性外积。传递到 ket 表示法，一般我们将 $\varphi (⫿𝒙⟩⟨𝒚⫿)$ 定义为运算符作用于 ket 为

$${\varphi (⫿𝒙⟩⟨𝒚⫿)⫿𝒛⟩\stackrel{\text{def}}{=}\underset{\mathrm{1}}{𝔼}\varphi (\sum _{i=1}^k⫿x^i⟩⫿y^i⟩}^{\mathrm{1}})⫿𝒛⟩{}^{\mathrm{1}}$$

其中 ${{{(⫿y^1⟩}^{\mathrm{1}},\mathrm{\dots },⫿y^k⟩}^{\mathrm{1}},⫿𝒛⟩}^{\mathrm{1}})$ 是独立于 $⫿𝒙⟩$ 的 $(⫿y^1⟩,\mathrm{\dots },⫿y^k⟩,⫿𝒛⟩)$ 的 iid 副本，并且期望仅针对前者。 这就像在有限的 $n$ 情况下，

$$\varphi \left(𝒙{𝒚}^{\top }\right)𝒛/n=\varphi \left(\sum _{i=1}^k{x}^i{y}^{i\top }\right)𝒛/n.$$

此外，如果$⫿𝒘⟩\in {ℝ}^j,⫿𝒛⟩\in ℝ{}^k$，那么

$⟨𝒘⫿\varphi (⫿𝒙⟩⟨𝒚⫿)⫿𝒛⟩$ $={⟨𝒘⫿\varphi (⫿𝒙⟩⟨𝒚{⫿}^{\mathrm{1}})⫿𝒛⟩}^{\mathrm{1}}\in {ℝ}^{j\times k}$

${{=𝔼\varphi ({\displaystyle \sum _{i=1}^k}⫿x^i⟩⫿y^i⟩}^{\mathrm{1}})(⫿𝒘⟩\otimes ⫿𝒛⟩}^{\mathrm{1}})$

其中 $\otimes$ 表示向量的外积，并且期望涵盖所有内容。

更一般地，如果 $\varphi :{ℝ}^t\to ℝ$，则 $\varphi (⫿{𝒙}_1⟩⟨{𝒚}_1⫿,\mathrm{\dots },⫿{𝒙}_t⟩⟨{𝒚}_t⫿)$ 是一个将 kets 带到 kets 的运算符，定义为

${{\varphi (⫿{𝒙}_1⟩⟨{𝒚}_1⫿,\mathrm{\dots },⫿{𝒙}_t⟩⟨{𝒚}_t⫿)⫿𝒛⟩\stackrel{\text{def}}{=}\underset{\mathrm{1}}{𝔼}\varphi ({\displaystyle \sum _{i=1}^k}⫿x_1^i⟩⫿y_1^i⟩}^{\mathrm{1}},\mathrm{\dots },{\displaystyle \sum _{i=1}^k}⫿x_t^i⟩⫿y_t^i⟩}^{\mathrm{1}})⫿𝒛⟩{}^{\mathrm{1}}$

Remark A.2 （潜在混乱）。

注意，$\varphi (⫿𝒙⟩⟨𝒚⫿)$并不是算子连续函数演算中算子$⫿𝒙⟩⟨𝒚⫿$在$\varphi$下的镜像，而是$\varphi$ 例如，如果 $\varphi (t)=t^2$，则 $\varphi (⫿x⟩⟨y⫿)$ 不是 $⫿x⟩⟨y⫿x⟩⟨y⫿$，后者通常是“对运算符求平方”的含义，但是而是$⫿x⟩{}^2⟨y{⫿}^2=⫿x\odot x⟩⟨y\odot y⫿$。

A.1.4 与之前的$Z^{\bullet }$表示法的比较

对于熟悉张量程序论文的读者来说，这种新的“bra-ket”表示法（又名狄拉克表示法）与旧的$Z^{\bullet }$表示法相关

$$⫿x⟩=Z{}^x,⟨x⫿y⟩=𝔼Z{}^{x}Z{}^y.$$

新符号的期望内积的简洁性应该已经很明显了。 此外，旧的表示法与多向量不太兼容，而 $⫿x⟩$ 清楚地表明 $⟩$ 表示恒定维度边。 因此，（非线性）外积很难用它来表达，特别是当它与随机变量的收缩需要显式期望符号 $𝔼$ 时。

附录 B 带 Bra-ket 表示法的无限宽度限制

和之前一样，当程序的宽度 $n$ 趋于无穷大时，我们可以通过随机变量的演算来推断程序的行为。 下面我们通过新的 ket 表示法而不是之前的 $Z$ 表示法来定义它们。

凯特建筑。

我们为程序中的每个向量 $x$ 和每个标量 $\theta$ 递归定义随机变量 $⫿x⟩$（称为 ket）和确定性数 $\mathring{\theta }$。 对于程序中的向量$Wx$，我们还定义了随机变量$⫿Wx\widehat{⟩}$和$⫿Wx\dot{⟩}$（称为hat-ket和分别为 dot-ket)，使得 $⫿Wx⟩=⫿Wx\widehat{⟩}+⫿Wx\dot{⟩}$。 这些与旧 TP 表示法 [25] 中的 $\widehat{Z}$ 和 $\dot{Z}$ 相同，并且满足

• 所有帽子都是具有零均值和协方差的联合高斯分布

  $\mathrm{Cov}(⫿Wx\widehat{⟩},⫿Uy\widehat{⟩})$ $=𝕀(W=U)⟨x⫿y⟩$ (8)

• 每个 dot-ket 都是之前 ket 的线性组合，由以下等式表示

  $$⫿Wx\dot{⟩}\stackrel{\text{def}}{=}\sum _{y\in 𝒙}⫿y⟩𝔼\frac{\partial ⫿x⟩}{\partial ⫿W^{\top }y\widehat{⟩}}$$ (9)

eq. 9 与 [25, Zdot] 中的方程相同，但在胸罩中的表述更加简洁-ket 表示法：

$\text{<cite class="ltx\_cite ltx\_citemacro\_citep">[25, Zdot]</cite>},{\dot{Z}}^{Wx}$ $={\displaystyle \sum _{y\in 𝒙}}{Z}^y𝔼{\displaystyle \frac{\partial Z^x}{\partial {\widehat{Z}}^{W^{\top }y}}}.$

Yang 和 Littwin [24] 中的 $⫿Wx\dot{⟩}$ 有一个替代概念，即

$$⫿Wx\dot{⟩}=⫿𝒙⟩\check{⟨}{W}^{\top }𝒙⫿x⟩.$$

由于我们引入了操作符视图，这样写起来就更方便了。

我们可以将 ket $⫿Wx⟩$ 视为运算符对 ket $⫿x⟩$ 执行操作的结果。

Definition B.1.

令 $W$ 为张量程序中的初始矩阵。 我们将 $⫿W⫿,\widehat{⫿}W\widehat{⫿},\dot{⫿}W\dot{⫿}$ 定义为 ket 上的线性运算符 其行为由

$\widehat{⫿}W\widehat{⫿}x⟩$ $\stackrel{\text{def}}{=}⫿Wx\widehat{⟩}$

$\dot{⫿}W\dot{⫿}x⟩$ $\stackrel{\text{def}}{=}⫿Wx\dot{⟩}$

$⫿W⫿x⟩$ $\stackrel{\text{def}}{=}\widehat{⫿}W\widehat{⫿}x⟩+\dot{⫿}W\dot{⫿}x⟩.$

任何等于的线性运算符 $$⫿W⫿ 对于某些初始矩阵$W$称为初始运算符。

我们还定义了运算符之间的伴随关系：

$\widehat{⫿}W{\widehat{⫿}}^{†}$ $=\dot{⫿}{W}^{\top }\dot{⫿},$

$\dot{⫿}W{\dot{⫿}}^{†}$ $=\widehat{⫿}{W}^{\top }\widehat{⫿},$

$⫿W{⫿}^{†}$ $=⫿W^{\top }⫿.$

参数更新

在SGD情况下，$W^l$的参数更新很简单。 利用运算符符号和外积符号，我们可以写出

$$⫿W_{t+1}^l⫿=⫿W_t^l⫿-\eta ⫿\tilde{\delta }{h}_t^l⟩{}_{{\chi }_t}⟨x_t^{l-1}⫿.$$

在这项工作中，$\mathrm{\Delta }$表示一步的变化，即

$$⫿\mathrm{\Delta }{W}_{t+1}^l⫿=-\eta ⫿\tilde{\delta }{h}_t^l⟩{}_{{\chi }_t}⟨x_t^{l-1}⫿;$$

$\overline{\mathrm{\Delta }}$ 表示总变化，即

$$⫿\overline{\mathrm{\Delta }}{W}_t^l⫿=-\sum _{\tau =0}^{t-1}\eta ⫿\tilde{\delta }{h}_{\tau }^l⟩{}_{{\chi }_{\tau }}⟨x_{\tau }^{l-1}⫿,$$

我们简洁地写成。 （与Yang和Littwin[24]相比，$\mathrm{\Delta }$和$\overline{\mathrm{\Delta }}$分别由$\delta$和$\mathrm{\Delta }$改变因为我们想使用 $\delta$ 进行渐变，而不是 $d$，后者现在用于深度微分）。

注意一般情况下，

$$⫿\mathrm{\Delta }{W}_{t+1}^l⫿=-\eta \overline{⫿\tilde{\delta }{𝒉}_{\le t}^l⟩{}_{{𝝌}_{\le t}}⟨{𝒙}_{\le t}^{l-1}⫿}$$

在哪里

$$\overline{⫿\tilde{\delta }{𝒉}_{\le t}^l⟩{}_{{𝝌}_{\le t}}⟨{𝒙}_{\le t}^{l-1}⫿}\stackrel{\text{def}}{=}{Q}_t^l(⫿\tilde{\delta }{h}_0^l⟩{}_{{\chi }_0}{}^{}⟨x_0^{l-1}⫿,\mathrm{\dots },⫿\tilde{\delta }{h}_t^l⟩{}_{{\chi }_t}{}^{}⟨x_t^{l-1}⫿).$$

所以

$$⫿\overline{\mathrm{\Delta }}{W}_t^l⫿=-\eta \sum _{\tau =0}^{t-1}\overline{⫿\tilde{\delta }{𝒉}_{\le \tau }^l⟩{}_{{𝝌}_{\le \tau }}⟨{𝒙}_{\le \tau }^{l-1}⫿}.$$ (10)

为了方便起见，在本文的其余部分中，我们编写 。 eq. 10 的推广遵循 Yang 和 Littwin [24]。

附录C线性情况的详细信息

C.1 4.2

这里我们提供了4.2的证明草图，形式证明是由无限深度限制中$\mathrm{\Gamma }$和$C$的存在来暗示的。

证明草图。

这些声明可以通过对 $t$ 和 $l$ 进行归纳来推理。让我们以$⫿x_t^l⟩$为例，因为$⫿\tilde{\delta }{x}_t^{l-1}⟩$与$⫿x_t^l⟩$对称。 通过扩展$⫿x_t^l⟩$的定义，我们有

$$⫿x_t^l⟩=⫿x_t^{l-1}⟩+\frac{1}{\sqrt{L}}⫿W_0^l{x}_t^{l-1}\widehat{⟩}+\frac{1}{\sqrt{L}}\sum _{s=1}^{t-1}⫿\tilde{\delta }{x}_s^l⟩(\frac{\partial ⫿x_t^{l-1}⟩}{\partial ⫿W_0^{l\top }\tilde{\delta }{x}_s^l\widehat{⟩}}-\frac{1}{\sqrt{L}}⟨x_s^{l-1}⫿x_t^{l-1}⟩).$$

通过归纳法注意到，$⟨x_s^{l-1}⫿x_t^{l-1}⟩=𝒪(1)$和$\frac{\partial x_t^{l-1}}{\partial ⫿W_0^{l\top }\tilde{\delta }{x}_s^l\widehat{⟩}}=𝒪(1/\sqrt{L})$，所以

$⫿x_t^l⟩$ $=⫿x_t^{l-1}⟩+{\displaystyle \frac{1}{\sqrt{L}}}⫿W_0^l{x}_t^{l-1}\widehat{⟩}+𝒪\left({\displaystyle \frac{1}{L}}\right){\displaystyle \sum _{s=1}^{t-1}}⫿\tilde{\delta }{x}_s^l⟩$

$={\xi }_t⫿U⟩+{\displaystyle \sum _{m=1}^l}{\displaystyle \frac{1}{\sqrt{L}}}⫿W_0^m{x}_t^{m-1}\widehat{⟩}+𝒪\left({\displaystyle \frac{1}{L}}\right){\displaystyle \sum _{m^{\prime }=1}^l}{\displaystyle \sum _{s^{\prime }=1}^{t-1}}⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩.$

然后通过展开 $⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩$ 并注意通过归纳，、$\frac{\partial ⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩}{\partial ⫿W_0^m{x}_s^{m-1}\widehat{⟩}}=𝒪\left(\frac{1}{\sqrt{L}}\right)$、$\frac{\partial ⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩}{\partial ⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}}=𝒪\left(\frac{1}{\sqrt{L}}\right)$、$\frac{\partial ⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩}{\partial ⫿U⟩}=𝒪\left(1\right)$、$\frac{\partial ⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩}{\partial ⫿nV⟩}=𝒪\left(1\right)$，我们有

$$\frac{\partial ⫿x_t^l⟩}{\partial ⫿W_0^m{x}_s^{m-1}\widehat{⟩}}=𝒪\left(\frac{1}{\sqrt{L}}\right),\frac{\partial ⫿x_t^l⟩}{\partial ⫿W_0^{m\top }\tilde{\delta }{x}_s^m\widehat{⟩}}=𝒪\left(\frac{1}{\sqrt{L}}\right),\frac{\partial ⫿x_t^l⟩}{\partial ⫿U⟩}=𝒪\left(1\right),\frac{\partial ⫿x_t^l⟩}{\partial ⫿nV⟩}=𝒪\left(1\right).$$

同样通过展开，$\forall ⫿y⟩\in \{⫿x_s^m⟩,⫿\tilde{\delta }{x}_s^m⟩\}$，

$⟨y⫿x_t^l⟩=$ ${\displaystyle \sum _{m^{\prime }}}{\displaystyle \sum _{s^{\prime }}}{\displaystyle \sum _{t^{\prime }}}{\displaystyle \frac{\partial ⫿x_t^l⟩}{\partial ⫿W_0^{m^{\prime }}{x}_{t^{\prime }}^{m^{\prime }-1}\widehat{⟩}}}\cdot {\displaystyle \frac{\partial ⫿y⟩}{\partial ⫿W_0^{m^{\prime }}{x}_{s^{\prime }}^{m^{\prime }-1}\widehat{⟩}}}\cdot ⟨x_{t^{\prime }}^{m^{\prime }-1}⫿x_{s^{\prime }}^{m^{\prime }-1}⟩$

$+{\displaystyle \sum _{m^{\prime }}}{\displaystyle \sum _{s^{\prime }}}{\displaystyle \sum _{t^{\prime }}}{\displaystyle \frac{\partial ⫿x_t^l⟩}{\partial ⫿W_0^{m^{\prime }\top }\tilde{\delta }{x}_{t^{\prime }}^{m^{\prime }}\widehat{⟩}}}\cdot {\displaystyle \frac{\partial ⫿y⟩}{\partial ⫿W_0^{m^{\prime }\top }\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}\widehat{⟩}}}\cdot ⟨\tilde{\delta }{x}_{t^{\prime }}^{m^{\prime }}⫿\tilde{\delta }{x}_{s^{\prime }}^{m^{\prime }}⟩$

$+{\displaystyle \frac{\partial ⫿x_t^l⟩}{\partial ⫿U⟩}}\cdot {\displaystyle \frac{\partial ⫿y⟩}{\partial ⫿U⟩}}+{\displaystyle \frac{\partial ⫿x_t^l⟩}{\partial ⫿nV⟩}}{\displaystyle \frac{\partial ⫿y⟩}{\partial ⫿nV⟩}}$

$=$ $𝒪(1).\mathit{∎}$

C.2 $\mathrm{\Gamma }$和$C$的形式化递归公式

以同样的方式对$⫿x_t^l⟩$和$⟨y⫿x_t^l⟩$进行展开，我们正式推导出下面$\mathrm{\Gamma }$和$C$的递归公式。

Lemma C.1 ($\mathrm{\Gamma }$和$C$的有限深度递归公式）。

$\mathrm{\Gamma }$ 可以递归计算如下：

对于$t=0,\mathrm{\dots },T-1$，

• $\forall q\in (0,1],{\mathrm{\Gamma }}_{t,-1,0,q}(0,q)={\xi }_t$,

• 对于 $l=1,\mathrm{\dots },L$、$\forall r\le t$、$\forall p\in (\frac{l-1}{L},\frac{l}{L}]$、$\forall q\in (0,1]$、$\forall b\in \{0,1\}$、0>

  $C_{t,s,0}(p)=$ ${\displaystyle \sum _{t^{\prime }=-1}^t}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },0,b}({\displaystyle \frac{l-1}{L}},q)C_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },0,b}({\displaystyle \frac{l-1}{L}},q)dq;$

  ${\mathrm{\Gamma }}_{t,r,0,b}(p,q)=$ ${\mathrm{\Gamma }}_{t,r,0,b}({\displaystyle \frac{l-1}{L}},q)+{𝕀}_{[(t=r)\wedge (b=0)\wedge (l=\lceil Lq\rceil )]}$

  $+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}({\displaystyle \frac{l}{L}},q)\left({\mathrm{\Gamma }}_{t,s,0,1}({\displaystyle \frac{l-1}{L}},{\displaystyle \frac{l}{L}})-C_{t,s,0}\left({\displaystyle \frac{l}{L}}\right)\right).$

• ${\mathring{f}}_t={\mathrm{\Gamma }}_{t,-1,0,1}(1,1)$,

• ${\mathring{\chi }}_t={\mathrm{\ell }}_t^{\prime }({\mathring{f}}_t)$,

• $\forall q\in (0,1],{\mathrm{\Gamma }}_{t,-1,1,1}(1,q)={\mathring{\chi }}_t$,

• 对于 $l=L,\mathrm{\dots },1$、$\forall r\le t$、$\forall p\in (\frac{l-2}{L},\frac{l-1}{L}]$、$\forall q\in (0,1]$、$\forall b\in \{0,1\}$、0>

  $C_{t,s,1}\left(p+{\displaystyle \frac{1}{L}}\right)=$ ${\displaystyle \sum _{t^{\prime }=-1}^t}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },1,b}(l/L,q)C_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },1,b}(l/L,q)dq;$

  ${\mathrm{\Gamma }}_{t,r,1,b}(p,q)=$ ${\mathrm{\Gamma }}_{t,r,1,b}({\displaystyle \frac{l}{L}},q)+{𝕀}_{[(t=r)\wedge (b=1)\wedge (l=\lceil Lq\rceil )]}$

  $+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,0,b}({\displaystyle \frac{l-1}{L}},q)\left({\mathrm{\Gamma }}_{t,s,1,0}({\displaystyle \frac{l}{L}},{\displaystyle \frac{l}{L}})-C_{t,s,1}\left({\displaystyle \frac{l}{L}}\right)\right).$

程序 1 的证明很简单。 $\mathrm{\Gamma }$ 和 $C$ 的递归性质产生以下无限深度行为。

Proposition C.2 ($\mathrm{\Gamma }$和$C$的无限深度限制）。

在极限$L\to \mathrm{\infty }$中，我们有$\forall p\in [0,1],q\in (0,1],b\in \{0,1\}$：

${\mathrm{\Gamma }}_{t,-1,0,0}(0,q)={\xi }_t;$

${\mathrm{\Gamma }}_{t,r,0,b}(p,q)={𝕀}_{[(t=r)\wedge (b=0)\wedge (p\ge q)]}+{\displaystyle {\int }_0^p}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}(p^{\prime },q)\cdot ({\mathrm{\Gamma }}_{t,s,0,1}(p^{\prime },p^{\prime })-C_{t,s,0}(p^{\prime }))\mathrm{d}{p}^{\prime };$

${\mathring{f}}_t={\mathrm{\Gamma }}_{t,-1,0,1}(1,1);$

${\mathring{\chi }}_t={\mathrm{\ell }}_t^{\prime }({\mathring{f}}_t);$

${\mathrm{\Gamma }}_{t,-1,1,1}(1,q)={\mathring{\chi }}_t;$

${\mathrm{\Gamma }}_{t,r,1,b}(p,q)={𝕀}_{[(t=r)\wedge (b=1)\wedge (p\le q)]}+{\displaystyle {\int }_p^1}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,0,b}(p^{\prime },q)\cdot ({\mathrm{\Gamma }}_{t,s,1,0}(p^{\prime },p^{\prime })-C_{t,s,1}(p^{\prime }))\mathrm{d}{p}^{\prime };$

$C_{t,s,a}(p)={\displaystyle \sum _{t^{\prime }=-1}^t}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },a,b}(p,q)C_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },a,b}(p,q)dq.$

C.3 当$L=2^k$时$\mathrm{\Gamma }$和$C$收敛

在本节中，我们证明当$L\to \mathrm{\infty }$时$\mathrm{\Gamma }$和$C$将收敛。 为了方便起见，我们只考虑$L=2^k$为某个整数$k$时的情况。为了区分不同$L$对应的$\mathrm{\Gamma }$和$C$，我们添加深度作为上标，即${\mathrm{\Gamma }}^L$和$C^L$.

Theorem C.3.

、$\forall p\in [0,1],q\in (0,1]$、

• ${\{{\mathrm{\Gamma }}_{t,s,a,b}^{2^k}(p,q)\}}_{k\in \mathbb{N}}$是柯西序列，

• ${\{C_{t,s,a}^{2^k}(p)\}}_{k\in \mathbb{N}}$ 是柯西序列。

证明是通过$t$ 归纳得出的。如果任何 都得到满足，我们将在 $t>0$ 上证明以下声明 (A) (B) (C) (D)。对于$t=0$，(A) (B) (C) (D) 是微不足道的。

关于的假设

假设 $\exists c>1$ 使得 $\forall L>L^{\prime }$ 和 $L=2^k$ 对于 $k\in \mathbb{N}$、、，

1. $\forall p\in \{0,\frac{1}{L},\mathrm{\dots },1\},q\in (0,1]$，

   $$|{\mathrm{\Gamma }}_{s,r,a,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{s,r,a,b}^L(p,q)|\le c/L,|C_{s,r,a}^{L/2}(p,q)-C_{s,r,a}^L(p,q)|\le c/L.$$

2. $|{\mathrm{\Gamma }}_{s,r,a,b}^L(p,q)|\le c$,$|C_{s,r,a}^L(p)|\le c$。

3. $C_{s,r,a}^L(p)$ 是 $c$-Lipschitz w.r.t。 $p$,${\mathrm{\Gamma }}_{s,r,a,b}^L(p,q)$ 是 $c$-Lipschitz w.r.t。 $p$。

4. $|{\mathrm{\Gamma }}_{s,r,0,1}^L(p-\frac{1}{L},p+\frac{1}{L})-{\mathrm{\Gamma }}_{s,r,0,1}^L(p-\frac{1}{L},p)|\le c/L$,$|{\mathrm{\Gamma }}_{s,r,1,0}^L(p,p)-{\mathrm{\Gamma }}_{s,r,1,0}^L(p,p-\frac{1}{L})|\le c/L$。

评论

(A) 表明${\{{\mathrm{\Gamma }}_{s,r,a,b}^{2^k}\}}_k$ 和${\{C_{s,r,a}^{2^k}\}}_k$ 收敛。 我们只关心 ，因为 $C_{s,s,a}^L$ 永远不会被使用，并且 ${\mathrm{\Gamma }}_{s,s,a,b}^L$ 是已知的：对于 $p\in \{0,\frac{1}{L},\mathrm{\dots },1\}$，

$${\mathrm{\Gamma }}_{s,s,a,b}^L(p,q)=𝕀[(a=0)\wedge (b=0)\wedge (p\ge q)]+𝕀[(a=1)\wedge (b=1)\wedge (p+1/L\le q)].$$

第 $t$ 步的证明（前向传播）

在下面的小节中，我们将归纳证明所有 $L>L^{\prime }$ 和 $L=2^k$ 的升序，以及 $p\in \{0,1/L,\mathrm{\dots },1\}$ 的升序 ，

1. $|{\mathrm{\Gamma }}_{t,s,0,1}^L(p,p+\frac{2}{L})-{\mathrm{\Gamma }}_{t,s,0,1}^L(p,p+\frac{1}{L})|\le c_2\exp (c_{1}p)/L$；

2. 对于,$|{\mathrm{\Gamma }}_{t,s,0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,s,0,b}^L(p-\frac{1}{L},q)|\le tc{c}_2\exp (c_1(p-\frac{1}{L}))/L$；

3. $|{\mathrm{\Gamma }}_{t,s,0,b}^L(p,q)|\le c_2\exp (c_1(p-\frac{1}{2L}))$；

4. $|{\mathrm{\Gamma }}_{t,s,0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{t,s,0,b}^L(p,q)|\le c_3{c}_2\exp (c_1(p-\frac{1}{2L}))/L$；

5. $|C_{t,s,0}^L(p+\frac{1}{L})-C_{t,s,0}^L(p)|\le c_4{c}_2\exp (c_1(p-\frac{1}{L}))/L$；

6. $|C_{t,s,0}^L(p+\frac{1}{L})|\le c_2\exp (c_{1}p)$;

其中$c_2=\max \{{\xi }_t^2,|{\xi }_t|\}\exp (c_1/2L^{\prime })$、$c_3=3ct$、$c_4=4t(t+1)c^2+2tc$、$c_5=c_4+1$、$c_1=c^{3}t(4ct+2c_4+29)+tc(3c_4+14)+c(2c_4+2c)$。

第 $t$ 步的证明（向后传递）

通过对 $p$ 的降序进行归纳，类似的界限也适用于 ${\mathrm{\Gamma }}_{t,s,1,b}$ 和 $C_{t,s,1}$。

结论

结合时间 $t$ 时的后向传递和前向传递，可以看出 (A)(B)(C)(D) 在 $s=t$ 时也成立，且 $c$ 更大（但恒定）。因此，通过对训练步数的归纳，(A)(B)(C)(D) 对任何常数 $s$ 都成立。

前向传递中的 C.3.1 ${\mathrm{\Gamma }}_{t,s,0,b}^L(p,q)$（D0、C0、B0、A0 的证明）

我们首先考虑

${\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)=$ ${\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{1}{L}},q)+𝕀[(t=r)\wedge (b=0)\wedge (Lp=\lceil Lq\rceil )]$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)\left({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{1}{L}},p)-C_{t,s,0}^L\left(p\right)\right).$

(D0) ${\mathrm{\Gamma }}_{t,s,0,1}^L(p,p+\frac{2}{L})$ 和 ${\mathrm{\Gamma }}_{t,s,0,1}^L(p,p+\frac{1}{L})$ 之间的差异

假设$p\ge 1/L$($p=0$是微不足道的），让$q=p+1/L,q^{\prime }=p+2/L$，注意${\mathrm{\Gamma }}_{s,s,1,b}^L(p,q)={\mathrm{\Gamma }}_{s,s,1,b}^L(p,q^{\prime })$自$p+1/L\le q\le q^{\prime }$以来，所以对于,

$|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q^{\prime })|$

$\le$ $|{\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{1}{L}},q)-{\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{1}{L}},q^{\prime })|$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}|{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)-{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q^{\prime })|\left|{\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{1}{L}},p)-C_{t,s,0}^L\left(p\right)\right|$

$\le$ $c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L+{\displaystyle \frac{1}{L}}\cdot t\cdot c/L\cdot 2c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))$

$=$ $(1+2ct/L)c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L\le c_2\exp (c_{1}p)/L,$

如$c_1\ge 2ct$。

(C0) 利普希茨 w.r.t. $p$

对于，

$|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{1}{L}},q)|$

$=$ $|{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)\left({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{1}{L}},p)-C_{t,s,0}^L\left(p\right)\right)|$

$\le$ ${\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}c\left(c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))+c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\right)$

$=$ $ct{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L.$

(B0) 有界

再次假设 $p\ge 1/L$ ($p=0$ 是微不足道的，因为 $c_2\ge |{\xi }_t|\exp (c_1/2L)$)，因为 $|{\mathrm{\Gamma }}_{t,r,0,b}^L(p-\frac{1}{L},q)|\le c_2\exp (c_1(p-\frac{1}{L}))$，我们可以绑定 $|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)|$：

$|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)|\le$ $c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))+ct{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L$

$=$ $c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))(1+ct/L)$

$\le$ $c_2\exp (c_1(p-{\displaystyle \frac{1}{2L}})),$

只要$c_1\ge 2ct$。

(A0) $L$ 和 $L/2$ 之间的差异有界

当 $p=0$ 时，这是微不足道的。 当 $p=1/L$ 时，Lipschitz w.r.t 也是微不足道的。 $p$，结果

$$|{\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)|\le 3ct{c}_2/L\le c_3{c}_2\exp (c_1/2L)/L.$$

当$p\ge 2/L$时，由于

${\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p,q)={\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p-{\displaystyle \frac{2}{L}},q)+{\displaystyle \frac{2}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}^{L/2}(p,q)\left({\mathrm{\Gamma }}_{t,s,0,1}^{L/2}(p-{\displaystyle \frac{2}{L}},p)-C_{t,s,0}^{L/2}(p)\right),$

我们将其与基于前两个步骤扩展的 ${\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)$ 进行比较

${\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)=$ ${\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{2}{L}},q)+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)\left({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{1}{L}},p)-C_{t,s,0}^L\left(p\right)\right)$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}^L(p-{\displaystyle \frac{1}{L}},q)\left({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p-{\displaystyle \frac{1}{L}})-C_{t,s,0}^L\left(p-{\displaystyle \frac{1}{L}}\right)\right).$

为了桥接上述两者，即匹配 $\mathrm{\Gamma }$ 和 $C$ 的输入，我们需要一个中间项

${\tilde{\mathrm{\Gamma }}}_{t,r,0,b}^L(p,q)=$ ${\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{2}{L}},q)+{\displaystyle \frac{2}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)\left({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p)-C_{t,s,0}^L\left(p\right)\right).$

现在我们可以分别绑定$|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)-{\tilde{\mathrm{\Gamma }}}_{t,r,0,b}^L(p,q)|$和$|{\tilde{\mathrm{\Gamma }}}_{t,r,0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p,q)|$，它们加起来就是$|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p,q)|$的绑定。

$|{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)-{\tilde{\mathrm{\Gamma }}}_{t,r,0,b}^L(p,q)|$

$\le$ ${\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}|{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)|\left|{\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{1}{L}},p)-{\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p)\right|$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}|{\mathrm{\Gamma }}_{s,r,1,b}^L(p-{\displaystyle \frac{1}{L}},q)\left({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p-{\displaystyle \frac{1}{L}})-C_{t,s,0}^L\left(p-{\displaystyle \frac{1}{L}}\right)\right)$

$-{\mathrm{\Gamma }}_{s,r,1,b}^L(p,q)({\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p)-C_{t,s,0}^L\left(p\right))|$

$\le$ ${\displaystyle \frac{1}{L}}\cdot ct\cdot ct{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))/L+{\displaystyle \frac{1}{L}}\cdot 2t\cdot c/L\cdot c_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))$

$+{\displaystyle \frac{1}{L}}\cdot ct\cdot c_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))/L+{\displaystyle \frac{1}{L}}\cdot ct\cdot c_4{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))/L$

$=$ ${\displaystyle \frac{c^2{t}^2+3ct+c_{4}ct}{L^2}}\cdot c_2\exp (c_1(p-{\displaystyle \frac{2}{L}})).$

和

$|{\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p,q)-{\tilde{\mathrm{\Gamma }}}_{t,r,0,b}^L(p,q)|$

$\le$ $|{\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p-{\displaystyle \frac{2}{L}},q)-{\mathrm{\Gamma }}_{t,r,0,b}^L(p-{\displaystyle \frac{2}{L}},q)|$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}c\left|{\mathrm{\Gamma }}_{t,s,0,1}^{L/2}(p-{\displaystyle \frac{2}{L}},p)-{\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p)-C_{t,s,0}^{L/2}\left(p\right)+C_{t,s,0}^L\left(p\right)\right|$

$+{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\displaystyle \frac{c}{L}}\left(|{\mathrm{\Gamma }}_{t,s,0,1}^L(p-{\displaystyle \frac{2}{L}},p)|+|C_{t,s,0}^L\left(p\right)|\right)$

$\le$ ${\displaystyle \frac{1}{L}}\cdot (c_3{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))+ct(c_3+c_5)c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L+2t\cdot {\displaystyle \frac{c}{L}}\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}})))$

$\le$ ${\displaystyle \frac{c_3+ct(c_3+c_5+2)/L}{L}}\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}})).$

总而言之，如$c_1\ge \frac{2(c_3+c_5+ct+c_4+5)}{3}$，

$|{\mathrm{\Gamma }}_{t,r,0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{t,r,0,b}^L(p,q)|\le$ ${\displaystyle \frac{c_3+ct(c_3+c_5+ct+c_4+5)/L}{L}}{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))$

$\le$ $c_2\exp (c_1(p-{\displaystyle \frac{1}{2L}}))/L.$

前向传播中的 C.3.2 $C_{t,s,0}(p+\frac{1}{L})$ （C1、B1、A1 的证明）

现在考虑$C_{t,s,0}^L$。 通过扩展

$$C_{t,s,0}^L(p+\frac{1}{L})=\sum _{t^{\prime }=-1}^t\sum _{s^{\prime }=-1}^s\sum _{b\in \{0,1\}}{\int }_0^1{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p,q)C_{t^{\prime },s^{\prime },b}^L(q){\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p,q)dq,$$

我们将有

$C_{t,s,0}^L(p+{\displaystyle \frac{1}{L}})=$ ${\displaystyle \sum _{t^{\prime }=-1}^{t-1}}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p,q)C_{t^{\prime },s^{\prime },b}^L(q){\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p,q)dq$

$+{\displaystyle \sum _{s^{\prime }=0}^s}{\displaystyle {\int }_0^p}{C}_{t,s^{\prime },0}^L(q){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,q)dq.$

(C1) 利普希茨

由于 $C_{t^{\prime },s^{\prime },b}^L$ 和 ${\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L$ 有界且 Lipschitz，

$|C_{t,s,0}^L(p+{\displaystyle \frac{1}{L}})-C_{t,s,0}^L(p)|$

$\le$ ${\displaystyle \sum _{t^{\prime }=-1}^{t-1}}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}|{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p-{\displaystyle \frac{1}{L}},q)|\cdot c^{2}dq$

$+{\displaystyle \sum _{t^{\prime }=-1}^{t-1}}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}|{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p-{\displaystyle \frac{1}{L}},q)|\cdot c\cdot {\displaystyle \frac{c}{L}}dq$

$+{\displaystyle \sum _{s^{\prime }=0}^s}{\displaystyle \frac{1}{L}}\cdot |C_{t,s^{\prime },0}^L(p){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,p)|$

$+{\displaystyle \sum _{s^{\prime }=0}^s}{\displaystyle {\int }_0^{p-\frac{1}{L}}}|C_{t,s^{\prime },0}^L(q)|\cdot {\displaystyle \frac{c}{L}}dq.$

$\le$ $1/L\cdot (2t(s+1)\cdot ct{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\cdot c^2+2t(s+1)c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\cdot c^2$

$+s\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\cdot c+s\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\cdot c)$

$=$ $(4t(s+1)c^2+2sc)/L\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))$

$\le$ $c_4{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L.$

(B1) 有界

从$|C_{t,s,0}^L(p)|\le c_2\exp (c_1(p-\frac{1}{L}))$开始，我们将$C_{t,s,0}^L(p+\frac{1}{L})$绑定为：

$$|C_{t,s,0}^L(p+\frac{1}{L})|\le c_2\exp (c_1(p-\frac{1}{L}))\cdot (1+c_4/L)\le c_2\exp (c_{1}p),$$

只要$c_1\ge c_4$。

(A1) $L$ 和 $L/2$ 之间的差异有界

很容易看出对于$p=0$，

$$C_{t,s,0}^L(p+\frac{1}{L})-C_{t,s,0}^{L/2}(p+\frac{1}{L})=0,$$

我们将证明对于$p\in \{2/L,4/L,\mathrm{\dots },1\}$，

$$|C_{t,s,0}^L(p+\frac{1}{L})-C_{t,s,0}^{L/2}(p+\frac{1}{L})|\le c_2\exp (c_{1}p)/L.$$

然后通过(C1)，对于$p\in \{1/L,3/L,\mathrm{\dots },1-1/L\}$，

$|C_{t,s,0}^L(p+{\displaystyle \frac{1}{L}})-C_{t,s,0}^{L/2}(p+{\displaystyle \frac{1}{L}})|\le$ $c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L+c_4{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L$

$\le$ $(c_4+1)c_2\exp (c_{1}p)/L$

$=$ $c_5{c}_2\exp (c_{1}p)/L.$

假设$p\in \{2/L,4/L,\mathrm{\dots },1\}$，我们比较$C_{t,s,0}^L(p+\frac{1}{L})-C_{t,s,0}^L(p-\frac{1}{L})$和$C_{t,s,0}^{L/2}(p+\frac{1}{L})-C_{t,s,0}^{L/2}(p-\frac{1}{L})$。 直观上来说，两者都是$𝒪(1/L)$，他们的区别是$𝒪(1/L^2)$。 具体来说，两者都可以写成四个部分：

$C_{t,s,0}^L(p+{\displaystyle \frac{1}{L}})-C_{t,s,0}^L(p-{\displaystyle \frac{1}{L}})$

$=$ ${\displaystyle \sum _{t^{\prime }=-1}^{t-1}}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}\left({\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p-{\displaystyle \frac{2}{L}},q)\right)C_{t^{\prime },s^{\prime },b}^L(q){\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p,q)dq$ $({ℰ}_1^L)$

$+{\displaystyle \sum _{t^{\prime }=-1}^{t-1}}{\displaystyle \sum _{s^{\prime }=-1}^s}{\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p-{\displaystyle \frac{2}{L}},q)C_{t^{\prime },s^{\prime },b}^L(q)\left({\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p-{\displaystyle \frac{2}{L}},q)\right)dq$ $({ℰ}_2^L)$

$+{\displaystyle \sum _{s^{\prime }=0}^s}{\displaystyle {\int }_{p-\frac{2}{L}}^p}{C}_{t,s^{\prime },0}^L(q){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,q)dq$ $({ℰ}_3^L)$

$+{\displaystyle \sum _{s^{\prime }=0}^s}{\displaystyle {\int }_0^{p-\frac{2}{L}}}{C}_{t,s^{\prime },0}^L(q)({\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,q)-{\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p-{\displaystyle \frac{2}{L}},q))dq$ $({ℰ}_4^L)$

和 $C_{t,s,0}^{L/2}(p+\frac{1}{L})-C_{t,s,0}^{L/2}(p-\frac{1}{L})={ℰ}_1^{L/2}+{ℰ}_2^{L/2}+{ℰ}_3^{L/2}+{ℰ}_4^{L/2}$，其中 ${ℰ}_i^{L/2}$ 的定义方式与 ${ℰ}_i^L$ 相同，但使用 $C^{L/2}$ 和 ${\mathrm{\Gamma }}^{L/2}$ 而不是 $C^L$ 和 ${\mathrm{\Gamma }}^L$。 接下来我们一一绑定$|{ℰ}_i^L-{ℰ}_i^{L/2}|$：

1. $|{ℰ}_i^L-{ℰ}_i^{L/2}|$ 中唯一难以绑定的部分是

   $$|{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p-\frac{2}{L},q)-({\mathrm{\Gamma }}_{t,t^{\prime },0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^{L/2}(p-\frac{2}{L},q))|.$$

   通过与(A0)几乎相同的证明，

   $|{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^L(p-{\displaystyle \frac{2}{L}},q)-({\mathrm{\Gamma }}_{t,t^{\prime },0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{t,t^{\prime },0,b}^{L/2}(p-{\displaystyle \frac{2}{L}},q))|$

   $\le$ ${\displaystyle \frac{ct(c_3+c_5+ct+c_4+5)}{L^2}}{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}})).$

   然后我们有

   $|{ℰ}_1^L-{ℰ}_1^{L/2}|/(2t(s+1))$

   $\le$ ${\displaystyle \frac{ct(c_3+c_5+ct+c_4+5)}{L^2}}{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\cdot c\cdot c$

   $+4ct{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L\cdot c/L\cdot c$

   $+4ct{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L\cdot c\cdot c/L$

   $\le$ ${\displaystyle \frac{c^{3}t(c_3+c_5+ct+c_4+13)}{L^2}}{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))$

2. 边界 $|{ℰ}_2^L-{ℰ}_2^{L/2}|$ 与 $|{ℰ}_1^L-{ℰ}_1^{L/2}|$ 类似，我们首先在其中绑定

   $$|{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p-\frac{2}{L},q)-({\mathrm{\Gamma }}_{s,s^{\prime },0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^{L/2}(p-\frac{2}{L},q))|\le 9c^{2}t/L^2.$$

   然后我们有

   $|{ℰ}_2^L-{ℰ}_2^{L/2}|/(2t(s+1))$

   $\le$ $c_3{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))/L\cdot c\cdot 2c/L$

   $+c_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))\cdot c/L\cdot 2c/L$

   $+c_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))\cdot c\cdot 9c^{2}t/L^2$

   $\le$ ${\displaystyle \frac{c^2(2c_3+2+9ct)}{L^2}}{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}})).$

3. 对于$|{ℰ}_3^L-{ℰ}_3^{L/2}|$，我们首先简化

   $${ℰ}_3^{L/2}=\frac{2}{L}\sum _{s^{\prime }=0}^s{C}_{t,s^{\prime },0}^{L/2}(p){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^{L/2}(p,p),$$

   和

   $${ℰ}_3^L=\frac{1}{L}\sum _{s^{\prime }=0}^s{C}_{t,s^{\prime },0}^L(p){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,p)+C_{t,s^{\prime },0}^L(p-\frac{1}{L}){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,p-\frac{1}{L}).$$

   我们再次引入一个中间术语

   $${\widetilde{ℰ}}_3^L=\frac{2}{L}\sum _{s^{\prime }=0}^s{C}_{t,s^{\prime },0}^L(p){\mathrm{\Gamma }}_{s,s^{\prime },0,0}^L(p,p).$$

   然后我们就可以绑定了

   $|{ℰ}_3^L-{ℰ}_3^{L/2}|$

   $\le$ $|{ℰ}_3^L-{\widetilde{ℰ}}_3^L|+|{\widetilde{ℰ}}_3^L-{ℰ}_3^{L/2}|$

   $\le$ ${\displaystyle \frac{t}{L}}(c_4{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))/L\cdot c+c_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))\cdot c/L)$

   $+{\displaystyle \frac{2t}{L}}(c_5{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/Lc+c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))\cdot c/L)$

   $\le$ ${\displaystyle \frac{tc(c_4+1+2c_5+2)}{L^2}}{c}_2\exp (c_1(p-{\displaystyle \frac{1}{L}})).$

4. 对于 $|{ℰ}_4^L-{ℰ}_4^{L/2}|$，我们使用

   $$|{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p,q)-{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^L(p-\frac{2}{L},q)-({\mathrm{\Gamma }}_{s,s^{\prime },0,b}^{L/2}(p,q)-{\mathrm{\Gamma }}_{s,s^{\prime },0,b}^{L/2}(p-\frac{2}{L},q))|\le 9c^{2}t/L^2,$$

   用于$|{ℰ}_2^L-{ℰ}_2^{L/2}|$。 最后，

   $|{ℰ}_4^L-{ℰ}_4^{L/2}|/t$

   $\le$ $c_4{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))/L\cdot 2c/L$

   $+c_2\exp (c_1(p-{\displaystyle \frac{2}{L}}))\cdot 9c^{2}t/L^2$

   $\le$ ${\displaystyle \frac{c(2c_4+9ct)}{L^2}}{c}_2\exp (c_1(p-{\displaystyle \frac{2}{L}})).$

总共，

$|C_{t,s,0}^L(p+{\displaystyle \frac{1}{L}})-C_{t,s,0}^L(p-{\displaystyle \frac{1}{L}})-C_{t,s,0}^{L/2}(p+{\displaystyle \frac{1}{L}})+C_{t,s,0}^{L/2}(p-{\displaystyle \frac{1}{L}})|$

$\le$ ${\displaystyle \frac{c^{3}t(4ct+2c_4+14)+c^2(2+15ct)+tc(3c_4+5)+c(2c_4+9ct)}{L^2}}\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))$

$=$ ${\displaystyle \frac{c^{3}t(4ct+2c_4+29)+tc(3c_4+14)+c(2c_4+2c)}{L^2}}\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}})).$

因此，从$c_1=c^{3}t(4ct+2c_4+29)+tc(3c_4+14)+c(2c_4+2c)$开始，

$|C_{t,s,0}^L(p+{\displaystyle \frac{1}{L}})-C_{t,s,0}^{L/2}(p+{\displaystyle \frac{1}{L}})|$

$\le$ $|C_{t,s,0}^L(p-{\displaystyle \frac{1}{L}})-C_{t,s,0}^{L/2}(p-{\displaystyle \frac{1}{L}})|+c_1/L^2\cdot c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))$

$\le$ $(1+c_1/L)c_2\exp (c_1(p-{\displaystyle \frac{1}{L}}))/L$

$\le$ $c_2\exp (c_{1}p)/L.$

附录D线性情况下深度参数化的分类

我们讨论了带有 SGD 训练的线性残差网络的分类结果，并在这个简化的设置中给出了严格的证明。 回想一下线性残差网络：

$$\forall l\in [L],x^l=x^{l-1}+a{L}^{-\alpha }{h}^l,$$

其中$h^l=W^l{x}^l$,$W^l$的有效学习率为$\eta n^{-1}{L}^{-\gamma }$。 不失一般性，我们假设$\eta =a=1$。

D.1初始化

在初始化时，我们有

$$⫿x_0^l⟩=⫿x_0^{l-1}⟩+L^{-\alpha }⫿h_0^l⟩,$$

在哪里

$$⫿h_0^l⟩=⫿W_0^l{x}_0^{l-1}⟩=⫿W{}_0{}^{l}x{}_0{}^{l-1}\widehat{⟩}.$$

由于 $⫿x_0^{l-1}⟩$ 独立于 $⫿W_0^l{x}_0^{l-1}\widehat{⟩}$，因此我们有

$$⟨x_0^l⫿x_0^l⟩=⟨x_0^{l-1}⫿x_0^{l-1}⟩+L^{-2\alpha }⟨h_0^l⫿h_0^l⟩=⟨x_0^{l-1}⫿x_0^{l-1}⟩+L^{-2\alpha }⟨x_0^{l-1}⫿x_0^{l-1}⟩=(1+L^{-2\alpha })⟨x_0^{l-1}⫿x_0^{l-1}⟩.$$

使用这个递归，我们可以写

$$⟨x_0^l⫿x_0^l⟩={(1+L^{-2\alpha })}^l⟨x_0^0⫿x_0^0⟩.$$

因此，$⟨x_0^L⫿x_0^L⟩=\mathrm{\Theta }(1)$ 当且仅当$\alpha \ge 1/2$，否则${(1+L^{-2\alpha })}^L\approx e^{L^{-2\alpha +1}}$ 会与较大的$L$ 一起爆炸。

类似的论点代表 $h_0^l$ 和 $f_0$。 因此，我们证明了Claim 7.1。

类似地，我们可以得到第一个反向传递的稳定性，即$\tilde{\delta }{x}_0^l=\mathrm{\Theta }(1)$对于$\alpha \ge 1/2$。 给定$\alpha \ge 1/2$，我们还可以确定$\tilde{\delta }{h}_0$的大小

$$\tilde{\delta }{h}_0^l=\mathrm{\Theta }(L^{-\alpha }),$$

这意味着

$$\mathrm{\Delta }{W}_1^l=L^{-\gamma +\alpha }\cdot \tilde{\delta }{h}_0^l\otimes x_0^{l-1}.$$

D.2 第一步梯度更新后

现在我们看第二个前向传递，假设输入相同，即 $⫿x_1^0⟩=⫿x_0^0⟩$，我们有

$$⫿x_1^l⟩=⫿x_1^{l-1}⟩+L^{-\alpha }(⫿W_0^l{x}_1^{l-1}\widehat{⟩}+⫿W_0^l{x}_1^{l-1}\dot{⟩}+⫿\mathrm{\Delta }{W}_1^l⫿x_1^{l-1}⟩)$$

其中 $⫿\mathrm{\Delta }{W}_1^l⫿=-L^{-\gamma }\widetilde{⫿\stackrel{~}{\delta }{h}_0^l⟩}⟨x_0^{l-1}⫿=-L^{-\gamma }⫿\tilde{\delta }{x}_0^l⟩⟨x_0^{l-1}⫿$ 和 $\widetilde{⫿\stackrel{~}{\delta }{h}_0^l⟩}\stackrel{\text{def}}{=}{L}^{\alpha }⫿\tilde{\delta }{h}_0^l⟩$ 是 $⫿\tilde{\delta }{h}_0^l⟩$ 的规范化版本，它恰好等于 $⫿\tilde{\delta }{x}_0^l⟩$。 通过$⫿W_0^l{x}_1^{l-1}\widehat{⟩}$和$⫿W_0^l{x}_1^{l-1}\dot{⟩}$的定义，我们得到与Depth-$\mu$P情况类似的公式：

$$⫿x_1^l⟩=⫿x_1^{l-1}⟩+L^{-\alpha }⫿W_0^l{x}_1^{l-1}\widehat{⟩}+L^{-\alpha }⫿\tilde{\delta }{x}_0^l⟩(\frac{\partial ⫿x_1^{l-1}⟩}{\partial ⫿W_0^{l\top }\tilde{\delta }{x}_0^l\widehat{⟩}}-L^{-\gamma }⟨x_0^{l-1}⫿x_1^{l-1}⟩).$$

现在我们写$b^l=L^{\gamma }\frac{\partial ⫿x_1^{l-1}⟩}{\partial ⫿W_0^{l\top }\tilde{\delta }{x}_0^l\widehat{⟩}}$和$c^l=-⟨x_0^{l-1}⫿x_1^{l-1}⟩$，然后

$$⫿x_1^l⟩=⫿x_1^{l-1}⟩+L^{-\alpha }⫿W_0^l{x}_1^{l-1}\widehat{⟩}+L^{-\alpha -\gamma }(b^l+c^l)⫿\tilde{\delta }{x}_0^l⟩.$$

通过扩展 $⫿\tilde{\delta }{x}_0^{l-1}⟩=⫿\tilde{\delta }{x}_0^l⟩+L^{-\alpha }⫿W_0^{l\top }\tilde{\delta }{x}_t^l\widehat{⟩}=⫿\tilde{\delta }{x}_0^L⟩+\sum {}_{m=l}{}^{L}L{}^{-\alpha }⫿W{}_0{}^{m\top }\tilde{\delta }x{}_t{}^m\widehat{⟩}$，我们有

$⫿x_1^l⟩=$ $⫿x_1^{l-1}⟩+L^{-\alpha }⫿W_0^l{x}_1^{l-1}\widehat{⟩}+L^{-\alpha -\gamma }(b^l+c^l)(⫿\tilde{\delta }{x}_0^L⟩+{\displaystyle \sum _{m=l+1}^L}{L}^{-\alpha }⫿W_0^{m\top }\tilde{\delta }{x}_0^m\widehat{⟩})$

$=$ $⫿x_1^0⟩+{\displaystyle \sum _{m=1}^l}{L}^{-\alpha }⫿W_0^m{x}_1^{m-1}\widehat{⟩}+{\displaystyle \sum _{m=1}^l}{L}^{-\alpha -\gamma }(b^m+c^m)⫿\tilde{\delta }{x}_0^L⟩$

$+{\displaystyle \sum _{m=2}^L}{L}^{-\alpha -\gamma }{\displaystyle \sum _{l^{\prime }=1}^{\min \{m-1,l\}}}(b^{l^{\prime }}+c^{l^{\prime }})L^{-\alpha }⫿W_0^{m\top }\tilde{\delta }{x}_0^m\widehat{⟩}.$ (11)

请注意，eq. 11 中的四项是相互独立的。

现在很容易计算 $c^l$，因为只有 eq. 11 中的前两项与 $x_0^l$：

$$c^l=c^{l-1}(1+L^{-2\alpha })=\mathrm{\Theta }(1)$$

与$\alpha \ge 1/2$。 对于$b^l$，我们有以下递归公式：

$$b^{l+1}=L^{-2\alpha }\sum _{m=1}^l(b^l+c^l)=\mathrm{\Theta }(l\cdot L^{-2\alpha }).$$

训练过程中稳定且不平凡。

最后，我们可以对 ${\mathring{f}}_1$ 进行推理（注意 ${\mathring{f}}_0=0$，因此 $\mathrm{\Delta }{\mathring{f}}_1={\mathring{f}}_1$)，它表明参数化在第一步中是否稳定，以及第一步的参数化是否重要：

$${\mathring{f}}_1=⟨nV⫿x_1^L⟩=\sum _{m=1}^L{L}^{-\alpha -\gamma }(b^m+c^m){\chi }_0=\mathrm{\Theta }(L^{1-\alpha -\gamma }).$$

因此，我们证明了 Claim 7.2 参数化在训练过程中是稳定的 iff $\alpha +\gamma \ge 1$，并且是非平凡的 iff $\alpha +\gamma \le 1$。

忠诚。

虽然线性情况下没有激活，但我们仍然证明 Claim 7.3 来启发一般情况的证明。

在初始化时，$h_0^l$和$x_0^{l-1}$具有相同的大小，因此，忠实性相当于稳定性，这意味着当且仅当$\alpha \ge 1/2$时才会发生。

在训练过程中，我们可以用与 eq. 11 类似的方式扩展 $⫿h_1^l⟩$ 为

$$⫿h_1^l⟩=⫿W_0^l{x}_1^{l-1}\widehat{⟩}+L^{-\gamma }(b^l+c^l)(⫿\tilde{\delta }{x}_0^L⟩+\sum _{m=l+1}^L{L}^{-\alpha }⫿W_0^{m\top }\tilde{\delta }{x}_0^m\widehat{⟩})=\mathrm{\Theta }(1+L^{-\gamma }).$$

因此，它是忠实的当且仅当$\gamma \ge 0$。 它相当于 $\alpha \le 1$，因为我们有 $\alpha +\gamma =1$。

特征多样性指数。

为了简化分析，我们假设$ϵL$始终是整数。 我们首先展开$x_1^{l+ϵL}-x_1^l$

$⫿x_1^{l+ϵL}⟩-⫿x_1^l⟩=$ ${\displaystyle \sum _{m=l+1}^{l+ϵL}}{L}^{-\alpha }⫿W_0^m{x}_1^{m-1}\widehat{⟩}+{\displaystyle \sum _{m=l+1}^{l+ϵL}}{L}^{-\alpha -\gamma }(b^m+c^m)⫿\tilde{\delta }{x}_0^L⟩$

$+{\displaystyle \sum _{m=2}^L}{L}^{-\alpha -\gamma }{\displaystyle \sum _{l^{\prime }=\min \{m-1,l\}+1}^{\min \{m-1,l+ϵL\}}}(b^{l^{\prime }}+c^{l^{\prime }})L^{-\alpha }⫿W_0^{m\top }\tilde{\delta }{x}_0^m\widehat{⟩}.$

对于$\alpha +\gamma =1$，很明显第一项是$\mathrm{\Theta }(L^{-\alpha }\sqrt{ϵL})=\mathrm{\Theta }({ϵ}^{1/2}{L}^{-\alpha +1/2})$，第二项的大小是$\mathrm{\Theta }(ϵ)$，第三项的大小是$\mathrm{\Theta }(\sqrt{L}\cdot ϵL^{-\alpha })=\mathrm{\Theta }(ϵL^{-\alpha +1/2})$。 因此，这里只有两种情况：如果$\alpha =1/2$，则整体大小为$\mathrm{\Theta }({ϵ}^{1/2}+ϵ)=\mathrm{\Theta }({ϵ}^{1/2})$；如果$\alpha >1/2$，第一项和第三项消失为$L\to \mathrm{\infty }$，因此整体大小为$\mathrm{\Theta }(ϵ)$。 总之，我们证明了Claims7.4和7.5。

分层线性化。

声明 7.6 在这种简化的设置中是微不足道的，因为分层线性化对于线性网络始终成立。 为了启发一般情况的证明，我们回顾一下$⫿\mathrm{\Delta }{W}_1^l⫿x_1^{l-1}⟩=L^{-\gamma }{c}^l⫿\tilde{\delta }{x}_0^l⟩=\mathrm{\Theta }(L^{-\gamma })$，当$\gamma >0$时它比$⫿W_0^l{x}_1^{l-1}⟩=\mathrm{\Theta }(1)$小得多。 如果有激活函数，线性化会在$h_1^l$中带来$o(L^{-\gamma })$的误差，这意味着$o(L^{-\gamma -\alpha })=o(L^{-1})$到$x_1^l$的误差。

D.3 超越一步

上面的论点一般是跟踪导数和协方差，换句话说，深度-$\mu$P 情况下的$\mathrm{\Gamma }$ 和$C$。

现在我们推广引理 4.3，并获得以下对于$\mathrm{\Gamma }$和$C$的递归

${\mathrm{\Gamma }}_{t,r,0,b}({\displaystyle \frac{l}{L}},q)=$ ${\mathrm{\Gamma }}_{t,r,0,b}({\displaystyle \frac{l-1}{L}},q)+L^{1/2-\alpha }{𝕀}_{[(t=r)\wedge (b=0)\wedge (l=\lceil Lq\rceil )]}$

$+L^{-\alpha -\gamma }{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,1,b}({\displaystyle \frac{l}{L}},q)\left(L^{\gamma -1/2}{\mathrm{\Gamma }}_{t,s,0,1}({\displaystyle \frac{l-1}{L}},{\displaystyle \frac{l}{L}})-C_{t,s,0}\left({\displaystyle \frac{l}{L}}\right)\right).$

${\mathrm{\Gamma }}_{t,r,1,b}({\displaystyle \frac{l-1}{L}},q)=$ ${\mathrm{\Gamma }}_{t,r,1,b}({\displaystyle \frac{l}{L}},q)+L^{1/2-\alpha }{𝕀}_{[(t=r)\wedge (b=1)\wedge (l=\lceil Lq\rceil )]}$

$+L^{-\alpha -\gamma }{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,0,b}({\displaystyle \frac{l-1}{L}},q)\left(L^{\gamma -1/2}{\mathrm{\Gamma }}_{t,s,1,0}({\displaystyle \frac{l}{L}},{\displaystyle \frac{l}{L}})-C_{t,s,1}\left({\displaystyle \frac{l}{L}}\right)\right).$

$$C_{t,s,a}(p)=\sum _{t^{\prime }=-1}^t\sum _{s^{\prime }=-1}^s\sum _{b\in \{0,1\}}{\int }_0^1{\mathrm{\Gamma }}_{t,t^{\prime },a,b}(l/L,q)C_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },a,b}(l/L,q)dq,$$

其中如果 $a=0$ 则为 $l=\lceil Lp\rceil -1$，如果 $a=1$ 则为 $l=\lceil Lp\rceil$。

然后可以通过跟踪 $\mathrm{\Gamma }$ 和 $C$ 的顺序来推理所有声明。

使用 $\alpha +\gamma =1$ 和 $\alpha \le 1$ 区分参数化。

$\alpha +\gamma =1$ 和 $\alpha \le 1$ 的参数化都是重要的、稳定的和忠实的。 然而，$\alpha =1/2$（Depth-$\mu$P）与$\alpha >1/2$在跟踪$\mathrm{\Gamma }$的难度和$C$。对于$\alpha >1/2$，我们可以看到$s\ge 0$的$C_{t,s,a}=\mathrm{\Theta }(1)$、${\mathrm{\Gamma }}_{t,-1,a,b}=\mathrm{\Theta }(1)$和${\mathrm{\Gamma }}_{t,s,a,b}=o(1)$。 在这种情况下，我们可以通过用 $s\ge 0$ 忽略 ${\mathrm{\Gamma }}_{t,s,a,b}$ 来简化递归：

${\mathrm{\Gamma }}_{t,-1,0,b}\left({\displaystyle \frac{l}{L}}\right)\approx$ ${\mathrm{\Gamma }}_{t,-1,0,b}\left({\displaystyle \frac{l-1}{L}}\right)-{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,-1,1,b}\left({\displaystyle \frac{l}{L}}\right)C_{t,s,0}\left({\displaystyle \frac{l}{L}}\right).$

${\mathrm{\Gamma }}_{t,-1,1,b}\left({\displaystyle \frac{l-1}{L}}\right)\approx$ ${\mathrm{\Gamma }}_{t,-1,1,b}\left({\displaystyle \frac{l}{L}}\right)-{\displaystyle \frac{1}{L}}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,-1,0,b}\left({\displaystyle \frac{l-1}{L}}\right)C_{t,s,1}\left({\displaystyle \frac{l}{L}}\right).$

$$C_{t,s,a}(p)\approx \sum _{b\in \{0,1\}}{\mathrm{\Gamma }}_{t,-1,a,b}(l/L){\mathrm{\Gamma }}_{s,-1,a,b}(l/L),$$

其中如果 $a=0$ 则为 $l=\lceil Lp\rceil -1$，如果 $a=1$ 则为 $l=\lceil Lp\rceil$。 注意 ${\mathrm{\Gamma }}_{t,-1,a,b}(p,q)$ 被简化为仅依赖于 $p$ 的函数，因为固定 $p$ 时 ${\mathrm{\Gamma }}_{t,-1,a,b}(p,q)$ 是常数。

这种简化意味着任何 $W_0^l$ 中的随机性不会对无限深度限制中的动力学产生影响 - 4.4 中 $\alpha =1/2$ 的复杂函数积分为当 $\alpha >1/2$ 时简化为 ODE。 这种 ODE 动态还直接意味着 $\alpha >1/2$ 的特征多样性指数为 0。

附录 E 非线性深度 -$\mu$P 限制

当非线性 $\varphi$ 并非微不足道时，由于 $\varphi$ 和 ${\varphi }^{\prime }$ 的复杂构成，最终表示 $x_s^L$ 的分布可能高度非高斯，这一点可以从已知的大宽度极限实例中推测出来。 对于有限深度 $L$ 确实是这种情况。但事实上，当$L\to \mathrm{\infty }$时，${\{x_s^L\}}_{s\ge 0}$又变成了高斯过程！

限制 GP 的核可以用与线性情况类似的方式计算：

Definition E.1。

递归地定义 $\mathrm{\Gamma }$ 和 $C$

${\mathrm{\Gamma }}_{t,r,0,b}(p,q)$ $={𝕀}_{[(t=r)\wedge (b=0)\wedge (p\ge q)]}$

$+{\displaystyle {\int }_0^p}{\displaystyle \sum _{s=0}^{t-1}}{V}_{{\varphi }^{\prime }}{[C]}_{t,s,0}(p^{\prime }){\mathrm{\Gamma }}_{s,r,1,b}(p^{\prime },q)\cdot ({\mathrm{\Gamma }}_{t,s,0,1}(p^{\prime },p^{\prime })-C_{t,s,0}(p^{\prime }))\mathrm{d}{p}^{\prime };$

${\mathrm{\Gamma }}_{t,r,1,b}(p,q)$ $={𝕀}_{[(t=r)\wedge (b=1)\wedge (p\le q)]}$

$+{\displaystyle {\int }_p^1}{\displaystyle \sum _{s=0}^{t-1}}{\mathrm{\Gamma }}_{s,r,0,b}(p^{\prime },q)\cdot (V_{{\varphi }_c|{\varphi }^{\prime }}{[C]}_{t,s,0}{\mathrm{\Gamma }}_{t,s,1,0}(p^{\prime },p^{\prime })-V_{{\varphi }^{\prime }}{[C]}_{t,s,0}(p^{\prime })C_{t,s,1}(p^{\prime }))\mathrm{d}{p}^{\prime };$

$C_{t,s,a}(p)$ $={\displaystyle \sum _{b\in \{0,1\}}}{\displaystyle {\int }_0^1}{\mathrm{\Gamma }}_{t,t^{\prime },a,b}(p,q)V_{{\varphi }_c}{[C]}_{t^{\prime },s^{\prime },b}(q){\mathrm{\Gamma }}_{s,s^{\prime },a,b}(p,q)dq.$

这里

$V_{{\varphi }_c}{[C]}_{t,s,b}(p)$ $\stackrel{\text{def}}{=}𝔼\mathrm{MS}(\varphi (z))\mathrm{MS}(\varphi (y))$

$V_{{\varphi }^{\prime }}{[C]}_{t,s,b}(p)$ $\stackrel{\text{def}}{=}𝔼{\varphi }^{\prime }(z){\varphi }^{\prime }(y)$

$V_{{\varphi }_c|{\varphi }^{\prime }}{[C]}_{t,s,b}(p)$ $\stackrel{\text{def}}{=}𝔼\mathrm{MS}({\varphi }^{\prime }(z)){\varphi }^{\prime }(y)$

其中$(z,y)\sim 𝒩(0,{C^b(p)|}_{\{t,s\}})$。

然后

Claim E.1。

对于足够平滑的非线性 $\varphi$，在 $L\to \mathrm{\infty }$ 极限内，kets $⫿x_s^L⟩,s=0,1,\mathrm{\dots },$ 在分布上收敛为具有核的零均值高斯过程

$$⟨x_s^L⫿x_t^L⟩=C_{t,s,1}(1).$$

如定义E.1中所定义。 因此，对于每个固定的神经元索引 $\alpha$，集合 ${\{x_{\alpha s}^L\}}_{s\ge 0}$ 在 $n\to \mathrm{\infty }$ 和 $L\to \mathrm{\infty }$ 的极限中，其分布趋近于核 $C_{t,s,1}(1)$ 的零均值高斯过程。

我们将其视为一个主张，因为我们不想详细了解“足够平滑的非线性”在这里的含义，也不想给出证明。 相反，我们给出了直观的理由。

声明 E.1的启发式论证。

首先，在Depth-$\mu$P中，我们可以对每个块进行泰勒展开

$$⫿\varphi (W_t^l{x}_t^{l-1})⟩=\varphi (⫿W_0^l{x}_t^{l-1}\widehat{⟩})+{\varphi }^{\prime }(⫿W_0^l{x}_t^{l-1}\widehat{⟩})[⫿\overline{\mathrm{\Delta }}{W}_t^l{x}_t^{l-1}⟩+⫿W_0^l{x}_t^{l-1}\dot{⟩}]+𝒪(L^{-1}).$$

因此，在考虑了$L^{-1/2}$块乘数之后，余项贡献了$𝒪(L^{-3/2})$。 对深度 $l\in [0,L]$ 求和，根据 Gronwall 引理，所有层的余数总和为 $𝒪(L^{-1/2})$，因此我们可以忽略它们。 从这里开始，我们研究线性化块$x\mapsto \mathrm{MS}(\varphi (W_0^{l}x)+{\varphi }^{\prime }(W_0^{l}x)\odot \overline{\mathrm{\Delta }}{W}_t^{l}x)$。

现在关键的观察是 $⫿x_t^l⟩$ 或 $⫿\delta x_t^l⟩$ 中的每一个始终等于 $𝒪(L^{-1/2})$ 因子，与 ${\{\mathrm{MS}\varphi (⫿W_0^l{x}_s^{l-1}\widehat{⟩}),⫿W_0^{l\top }\delta h_s^l\widehat{⟩}\}}_{l,s}$ 的线性组合，其中该线性组合中的每个系数都是 $𝒪(L^{-1/2})$ 且是确定性的。 我们将这样的线性组合称为良好的线性组合。 我们可以通过 $t$ 上的归纳论证看出这一点。事实上，在初始化$t=0$时，这个说法是非常正确的。 假设此声明对于 $t$ 成立，那么很容易看出对于向后传递 kets $⫿\delta x_t^l⟩$ 它在 $t+1$ 处仍然成立。 唯一重要的部分是显示 $t+1$ 的前向传播。 通过上面的泰勒展开，我们只需要证明 ${\varphi }^{\prime }(⫿W_0^l{x}_t^{l-1}\widehat{⟩})[⫿\overline{\mathrm{\Delta }}{W}_t^l{x}_t^{l-1}⟩+⫿W_0^l{x}_t^{l-1}\dot{⟩}]$ 是通过良好的线性组合“很好地近似”的。 通过归纳，$⫿\overline{\mathrm{\Delta }}{W}_t^l{x}_t^{l-1}⟩$ 和 $⫿W_0^l{x}_t^{l-1}\dot{⟩}$ 都是良好线性组合与某些 $s\le t$ 的 ${\varphi }^{\prime }(⫿W_0^m{x}_s^{m-1}\widehat{⟩})$ 形式项之间的乘积。 因此 ${\varphi }^{\prime }(⫿W_0^l{x}_t^{l-1}\widehat{⟩})[⫿\overline{\mathrm{\Delta }}{W}_t^l{x}_t^{l-1}⟩+⫿W_0^l{x}_t^{l-1}\dot{⟩}]$ 的形式是 ${\varphi }^{\prime }(⫿W_0^l{x}_t^{l-1}\widehat{⟩}){\varphi }^{\prime }(⫿W_0^m{x}_s^{m-1}\widehat{⟩})$ 乘以良好的线性组合。 但${\varphi }^{\prime }(⫿W_0^l{x}_t^{l-1}\widehat{⟩}){\varphi }^{\prime }(⫿W_0^m{x}_s^{m-1}\widehat{⟩})$仅与该线性组合中的单个分量相关，并且与所有其他分量无关。 因此，在深度求和时，不相关的分量会经历大数定律，可以将 ${\varphi }^{\prime }(⫿W_0^l{x}_t^{l-1}\widehat{⟩}){\varphi }^{\prime }(⫿W_0^m{x}_s^{m-1}\widehat{⟩})$ 替换为其期望值；相关分量只是每个大小为 $𝒪(L^{-3/2})$ 的 $𝒪(L)$ 个元素的总和，因此总共为 $o(1)$。 这样就完成了归纳。

这样推理，好的线性组合的系数就对应于DefinitionE.1中的$\mathrm{\Gamma }$，填入归纳的细节产生了定义E.1中的递归公式。

最后，由于良好的线性组合是独立项的大和，因此中心极限定理告诉我们$\{⫿x_t^l⟩,⫿\delta x_t^l⟩\}{}_{l,t}$分布收敛于高斯过程。 ∎

声明 E.1对于理论家来说是个好消息，我们有一个如此简单的基本架构形式。 同时，人们可能会担心这种高斯形式缺乏表现力。 但事实上，一些常见的架构或算法选择会使极限变得非高斯分布。 例如，使用 Adam 或 SignSGD 等自适应优化器。 或者在矩阵乘法之前添加非线性，即“prenonlin”（除了后面的“postnonlin”）。

一般来说，我们可以得到一个带有 McKean-Vlasov 元素的随机微分方程，描述 $x_t^l$ 随着深度和时间的演变。 然而，所涉及的随机积分不是通常的伊藤或斯特拉托诺维奇积分，因为深度演化需要对布朗运动的非适应过程进行积分。 相反，我们需要使用 Skorohod 积分，并且 SDE 仅在 Malliavin 微积分意义上定义。 这不仅仅是数学上的挑剔；相反，假设伊藤微积分（相当于假设某些量之间不正确的独立性）将导致错误的预测和计算。 Malliavin 微积分与张量程序密切相关，我们将在未来的工作中发展它们的关系以及一般无限深度极限的理论。

附录F一般情况下证明的启发式

本节中的符号主要在附录A中定义。 完整的符号在[24]中定义。

F.1 深度-$\mu$P

让 $\mathrm{MS}(x)=x-⟨x,1⟩/n=Gx$ 位于 $G=I-{11}^{\top }/n$ 处，其中 $x\in {ℝ}^n$ 处。 回想一下网络的定义和归一化梯度

$x^1$ $=U\xi$

$h^l$ $=W^l{x}^{l-1}$

$x^l$ $=x^{l-1}+{\displaystyle \frac{1}{\sqrt{L}}}G\varphi (h^l)$

$f(\xi )$ $=V^{\top }{x}^L$

$\tilde{\delta }{x}^L$ $=nV$

$\tilde{\delta }{h}^l$ $={\varphi }^{\prime }(h^l)\odot (G\tilde{\delta }{x}^l)$

$\tilde{\delta }{x}^{l-1}$ $=\tilde{\delta }{x}^l+{\displaystyle \frac{1}{\sqrt{L}}}{W}^{l\top }\tilde{\delta }{h}^l$

其中 $V=\mathrm{\Theta }(1/n)$ 坐标、$\tilde{\delta }{x}^l=\mathrm{\Theta }(1)$ 坐标和 $W^l=\mathrm{\Theta }(\frac{1}{\sqrt{n}})$ 坐标。

我们还滥用了 $G$ 符号，并将其用作 ket 上的运算符：$G⫿x⟩\stackrel{\text{def}}{=}⫿x⟩-𝔼⫿x⟩$。

向前。

与线性情况类似，可以证明在技术条件下（主要是在激活函数上）TP 的无限深度极限遵循动态

$d⫿x_t^{\lambda }⟩$ $=\sqrt{d\lambda }G\varphi (⫿W_0^{\lambda }⫿x_t^{\lambda }⟩+\sqrt{d\lambda }⫿\widetilde{\overline{\mathrm{\Delta }}{W}_t^{\lambda }}⫿x_t^{\lambda }⟩)$

$=\sqrt{d\lambda }G\varphi (⫿W_0^{\lambda }⫿x_t^{\lambda }⟩)+d\lambda G{\varphi }^{\prime }(⫿W_0^{\lambda }⫿x_t^{\lambda }⟩)⫿\widetilde{\overline{\mathrm{\Delta }}{W}_t^{\lambda }}⫿x_t^{\lambda }⟩$

$=\sqrt{d\lambda }G\varphi (\widehat{⫿}{W}_0^{\lambda }\widehat{⫿}{x}_t^{\lambda }⟩+\dot{⫿}{W}_0^{\lambda }\dot{⫿}{x}_t^{\lambda }⟩)+d\lambda G{\varphi }^{\prime }(⫿W_0^{\lambda }⫿x_t^{\lambda }⟩)⫿\widetilde{\overline{\mathrm{\Delta }}{W}_t^{\lambda }}⫿x_t^{\lambda }⟩$

$=\sqrt{d\lambda }G\varphi (\widehat{⫿}{W}_0^{\lambda }\widehat{⫿}{x}_t^{\lambda }⟩)+d\lambda G{\varphi }^{\prime }(⫿W_0^{\lambda }⫿x_t^{\lambda }⟩)(\widetilde{\dot{⫿}{W}_0^{\lambda }\dot{⫿}{x}_t^{\lambda }⟩}+⫿\widetilde{\overline{\mathrm{\Delta }}{W}_t^{\lambda }}⫿x_t^{\lambda }⟩)$

其中 $\lambda \in [0,1]$ 指分数图层索引($\lambda$ 表示图层索引 $\lfloor \lambda L\rfloor$ 为 $L\to \mathrm{\infty }$)，$t$ 指到训练步骤， $$⫿W0λ⫿ 矩阵运算符（在附录 B中定义），波浪线符号指的是对象的“标准化”版本，即乘以ket 与 ${(d\lambda )}^c$ 对于某些 $c$ ，使得乘法（归一化 ket）为 $\mathrm{\Theta }(1)$ w.r.t。 $L$，对于规范化运算符也是如此。 如果 $\tilde{\delta }$ 已经位于更宽的波浪号符号下，我们还将其简化为 $\delta$。 第一项代表高斯噪声。

在线性情况下，我们有

$$d⫿x_t^{\lambda }⟩=\sqrt{d\lambda }(\widehat{⫿}{W}_0^{\lambda }\widehat{⫿}{x}_t^{\lambda }⟩)+d\lambda (\widetilde{\dot{⫿}{W}_0^{\lambda }\dot{⫿}{x}_t^{\lambda }⟩}+⫿\widetilde{\overline{\mathrm{\Delta }}{W}_t^{\lambda }}⫿x_t^{\lambda }⟩)$$

笔记

使用多向量符号，我们写

$⫿\widetilde{\overline{\mathrm{\Delta }}{W}_t^{\lambda }}⫿x_t^{\lambda }⟩$

$⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿x_t^{\lambda }⟩$

落后。

与前向传播类似，我们获得无限深度 TP 的以下动态

$-d⫿\tilde{\delta }{x}_{\tau }^{\lambda }⟩$ $=\sqrt{d\lambda }⫿W_{\tau }^{\lambda \top }⫿{\varphi }^{\prime }(W_{\tau }^{\lambda }{x}_{\tau }^{\lambda })\odot (G\tilde{\delta }{x}_{\tau }^{\lambda })⟩$

$=\sqrt{d\lambda }(\widehat{⫿}{W}_0^{\lambda \top }\widehat{⫿}+\dot{⫿}{W}_0^{\lambda \top }\dot{⫿}+\sqrt{d\lambda }⫿\overline{\mathrm{\Delta }}\widetilde{W_{\tau }^{\lambda }}{⫿}^{†})\left[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩}+\sqrt{d\lambda }⫿\widetilde{W_0^{\lambda }{x}_{\tau }^{\lambda }}\dot{⟩}+\sqrt{d\lambda }⫿\widetilde{\overline{\mathrm{\Delta }}{W}_{\tau }^{\lambda }}⫿x_{\tau }^{\lambda }⟩\right)⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩]$

$=\sqrt{d\lambda }\widehat{⫿}{W}_0^{\lambda \top }\widehat{⫿}[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩]+\sqrt{d\lambda }\dot{⫿}{W}_0^{\lambda \top }\dot{⫿}[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩]+d\lambda ⫿\overline{\mathrm{\Delta }}\widetilde{W_{\tau }^{\lambda }}{⫿}^{†}[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩]$

$+d\lambda \dot{⫿}{W}_0^{\lambda \top }\dot{⫿}\left[{\varphi }^{\prime \prime }\left(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩}\right)\{⫿\widetilde{W_0^{\lambda }{x}_{\tau }^{\lambda }}\dot{⟩}+⫿\widetilde{\overline{\mathrm{\Delta }}{W}_{\tau }^{\lambda }}⫿x_{\tau }^{\lambda }⟩\right\}⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩]$

这里 ${(d\lambda )}^{3/2}$ 术语被删除了。 各个术语可以简化如下

$\dot{⫿}{W}_0^{\lambda \top }\dot{⫿}[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩]$

$=\mathrm{\Theta }(\sqrt{d\lambda })$

产品规则中的其他条款被删除，因为

F.2 $1/L$分支

F.2.1转发：

$d⫿x_t^{\lambda }⟩$ $=d\lambda G𝔼[\varphi (⫿W_0^{\lambda }⫿x_t^{\lambda }⟩+⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿x_t^{\lambda }⟩)\mid ⫿U_0,V_0⟩]$

$=d\lambda G𝔼[\varphi (\widehat{⫿}{W}_0^{\lambda }\widehat{⫿}{x}_t^{\lambda }⟩+⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿x_t^{\lambda }⟩)\mid ⫿U_0,V_0⟩]$

其中等式如下，因为 $⫿x_t^{\lambda }⟩$ 包含 $⫿U_0,V_0⟩,$ 的 $\sigma$ 代数，因此 $\dot{⫿}{W}_0^{\lambda }\dot{⫿}{x}_t^{\lambda }⟩=0$ 。 从$⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿\in \sigma (⫿U_0,V_0⟩)\otimes \sigma (⫿U_0,V_0⟩)$开始，$⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿x_t^{\lambda }⟩\in \sigma (⫿U_0,V_0⟩)$，期望值实际上刚刚超过$\widehat{⫿}{W}_0^{\lambda }\widehat{⫿}{x}_t^{\lambda }⟩$。

F.2.2 向后

$-d⫿\tilde{\delta }{x}_{\tau }^{\lambda }⟩$ $=d\lambda 𝔼[⫿W_{\tau }^{\lambda \top }⫿{\varphi }^{\prime }(W_{\tau }^{\lambda }{x}_{\tau }^{\lambda })\odot (G\tilde{\delta }{x}_{\tau }^{\lambda })⟩\mid ⫿U_0,V_0⟩]$

$=d\lambda 𝔼[⫿\overline{\mathrm{\Delta }}{W}_{\tau }^{\lambda \top }⫿{\varphi }^{\prime }(W_{\tau }^{\lambda }{x}_{\tau }^{\lambda })\odot (G\tilde{\delta }{x}_{\tau }^{\lambda })⟩\mid ⫿U_0,V_0⟩]$

这里 $\widehat{⫿}{W}_0^{\lambda \top }\widehat{⫿}$ 和 $\dot{⫿}{W}_0^{\lambda \top }\dot{⫿}$ 被丢弃，因为前者是零均值且独立于 $⫿U_0,V_0⟩$，后者被丢弃是因为 $⫿x_t^{\lambda }⟩$ 是包含 $⫿U_0,V_0⟩$ 的 $\sigma$ 代数。

F.3 $1/L^{\alpha }$分支，$\alpha \in (1/2,1]$

F.3.1转发

$d⫿x_t^{\lambda }⟩$ $={(d\lambda )}^{\alpha }G𝔼[\varphi (⫿W_0^{\lambda }⫿x_t^{\lambda }⟩+{(d\lambda )}^{1-\alpha }\widetilde{⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿}{x}_t^{\lambda }⟩)\mid ⫿U_0,V_0⟩]$

$=d\lambda 𝔼\left[{\varphi }^{\prime }(\widehat{⫿}{W}_0^{\lambda }\widehat{⫿}{x}_t^{\lambda }⟩\right)]G⫿\overline{\mathrm{\Delta }}{W}_t^{\lambda }⫿x_t^{\lambda }⟩$

因为和上面的理由是一样的。

F.3.2 向后

$-d⫿\tilde{\delta }{x}_{\tau }^{\lambda }⟩$ $=d\lambda 𝔼[⫿W_{\tau }^{\lambda \top }⫿{\varphi }^{\prime }(W_{\tau }^{\lambda }{x}_{\tau }^{\lambda })\odot (G\tilde{\delta }{x}_{\tau }^{\lambda })⟩\mid ⫿U_0,V_0⟩]$

$=d\lambda 𝔼[⫿\overline{\mathrm{\Delta }}{W}_{\tau }^{\lambda \top }⫿{\varphi }^{\prime }(W_{\tau }^{\lambda }{x}_{\tau }^{\lambda })\odot (G\tilde{\delta }{x}_{\tau }^{\lambda })⟩\mid ⫿U_0,V_0⟩]$

$=d\lambda 𝔼\left[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})\right]⫿\overline{\mathrm{\Delta }}{W}_{\tau }^{\lambda \top }⫿G\tilde{\delta }{x}_{\tau }^{\lambda }⟩$

这里，

$$⫿{\varphi }^{\prime }(W_{\tau }^{\lambda }{x}_{\tau }^{\lambda })\odot (G\tilde{\delta }{x}_{\tau }^{\lambda })⟩\equiv 𝔼\left[{\varphi }^{\prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})\right]G⫿\tilde{\delta }{x}_{\tau }^{\lambda }⟩+{(d\lambda )}^{1-\alpha }𝔼\left[{\varphi }^{\prime \prime }(⫿W_0^{\lambda }{x}_{\tau }^{\lambda }\widehat{⟩})\right]G⫿\overline{\mathrm{\Delta }}{W}_{\tau }^{\lambda \top }⫿\tilde{\delta }{x}_{\tau }^{\lambda }⟩$$

F.4索赔的理由

声称7.2。 当$\alpha +\gamma \ge 1$很简单时训练期间的稳定性（需要一些激活函数的技术条件）。 这是因为权重更新的阶数为 $L^{-\alpha -\gamma }$，而特征更新涉及的大小不超过 $L$ 项，大小为 $L^{-\alpha -\gamma }$（加上不有助于大深度限制中的更新）。 当$\alpha +\gamma >1$时，最多$L$个阶$L^{-\alpha -\gamma }$项之和的贡献将减小到零，网络输出$f_t$在这种情况下将收敛到 $f_0$，产生一个微不足道的极限。 然而，当 $\alpha +\gamma =1$ 时，更新在无限深度限制中仍然很重要，从而产生了一个不平凡的限制。

声称7.3。 考虑稳定且重要的参数化（即 $\alpha +\gamma =1$)。 仅当 $\alpha \ge 1/2$ 时才能实现初始化的忠实性。 这在 [7] 中通过更通用的设置得到了证明。 只要$\alpha \le 1$，就可以确保训练期间的忠实度，因为功能更新始终是$\mathrm{\Theta }(1)$深度。 在这种情况下，对于 $\alpha >1$、 和权重更新，随着深度的增加而爆炸，这会产生 $𝒉$ 的爆炸行为。

声明7.4当$\alpha \in (1/2,1]$时，我们在$L\to \mathrm{\infty }$时获得平滑的极限动力学，如部分所示t6> F.3。 这个限制过程是一个平滑的过程（没有布朗跳跃），满足所需的冗余定义。

声称7.5。 仍有待证明Depth-$\mu$P是非冗余的。 这是本例中动态限制的结果 (Section F.1)。 使用 Depth-$\mu$P，隐藏层初始化的随机性在整个训练过程中始终存在，从而产生一个打破冗余的类布朗项。

声称7.6。 在Depth-$\mu$P中，$W_t^l-W_0^l$是$\mathrm{\Theta }(1/\sqrt{L})$，它比$W_0^l$小得多。 因此，$\varphi (W_t^l{𝒙}_t^{l-1})-\varphi (W_0^l{𝒙}_t^{l-1})-{\varphi }^{\prime }(W_0^l{𝒙}_t^{l-1})\odot ((W_t^l-W_0^l){𝒙}_t^{l-1})=o(1/\sqrt{L})$满足7.7。 与深度$\mu$P情况类似，对于$\alpha \in [1/2,1)$，前向传递中的激活可以线性化，这表明$\alpha +\gamma =1$时的分层线性化。

附录 G其他实验

G.1 大深度标准参数化失败

图 20： 由于数值问题，使用标准参数化的训练在大深度时失败。

G.2 块深度为 2 的实验

目前，我们的理论涵盖了块深度为 1 的 resnet，并且我们的实验证实了理论结果。 我们对时钟深度 2（即残差块由 2 个全连接层组成）进行了类似的实验，看看学习率是否随 Depth-$\mu$P 变化。结果报告于图21中。 结果显示学习率发生显着变化，这可能表明随着块深度的增加，需要进行调整以稳定超参数随深度的变化。

图 21： 设置与图 10相同，但块深度为2。

G.3其他实验

图 22： 与图相同。 10(Up，Depth-$\mu$P），具有多个时间切片。

图 23： 与图相同。 10(中，使用$\gamma =1$进行标准参数化），具有多个时间切片。

图 24： 与图相同。 10(底部，无缩放的标准参数化，$\alpha =0,\gamma =0$)具有多个时间片。

图 25： 与图 13相同，具有多个时间片。