训练稳健且可推广的量子模型

摘要

对抗性鲁棒性和泛化性都是可靠机器学习模型的关键属性。 在本文中，我们在基于 Lipschitz 界限的量子机器学习背景下研究这些属性。 我们为具有可训练编码的量子模型推导了定制的、参数相关的 Lipschitz 界限，表明数据编码的范数对输入数据扰动的鲁棒性具有至关重要的影响。 此外，我们得出了泛化误差的界限，该界限明确取决于数据编码的参数。 我们的理论研究结果提出了一种实用策略，通过规范成本中的 Lipschitz 界限来训练稳健且可推广的量子模型。 此外，我们表明，对于量子机器学习中经常使用的固定和不可训练的编码，Lipschitz 界限不能通过调整参数来影响。 因此，可训练的编码对于在训练过程中系统地调整训练的鲁棒性和泛化性至关重要。 通过数值结果，我们证明，利普希茨约束正则化确实会带来更加稳健和可推广的量子模型。

机器学习 (ML) 模型的稳健性是一个越来越重要的属性，尤其是在处理受扰动的现实世界数据时。 在实践中，存在各种可能的扰动来源，例如噪声数据采集或对抗性攻击。 后者是微小但精心选择的数据操作，它们可能会导致神经网络[1, 2]中出现严重的错误分类。 因此，许多研究致力于更好地理解和提高对抗鲁棒性[3,4,5]。 众所周知，鲁棒性与泛化[1,2,6,7,8]密切相关，即模型推断训练数据之外的能力。 直观上，如果模型是稳健的，那么小的输入变化只会导致小的输出变化，从而抵消了过度拟合的风险。

模型 $f$ 的 Lipschitz 约束是满足以下条件的任意 $L>0$

$\parallel f(x_1)-f(x_2)\parallel \le L\parallel x-y\parallel$ (1)

对于所有$x_1,x_2\in 𝒟\subseteq {ℝ}^d$。 根据定义，Lipschitz 界限量化了数据扰动可能引起的最坏情况输出变化，因此，它们提供了对抗鲁棒性的有用度量。 因此，它们是表征机器学习模型的鲁棒性和泛化属性的成熟工具[2,6,9,10,11,12,13,14,15]。 Lipschitz 界限不仅可以用于更好地理解这两个属性，还可以通过在训练 [2, 6, 16, 17, 18] 期间规范 Lipschitz 界限来改进它们。

在本文中，我们研究了量子机器学习（QML）中鲁棒性和泛化性的相互作用。 变分量子电路是一类经过充分研究的量子模型[19,20,21]，它们在可训练性、表达性和泛化性能等各个方面都优于经典机器学习[22， 23]。 数据重新上传电路通过将数据编码和参数化量子电路不仅连接一次而且重复连接，从而在数据相关门和参数相关门[24]之间进行迭代，从而概括了经典变分电路。 这种交替极大地提高了表达能力，即使在单量子位情况下也能实现通用量子分类器[24, 25]。

正如在经典情况下一样，鲁棒性对于量子模型至关重要。 首先，如果 QML 要提供优于经典 ML 的优势，则有必要实现稳健的 QML 电路。 在嘈杂的中尺度量子（NISQ）时代，由于硬件不完善而发生量子错误[26]。 量子模型针对此类硬件错误的鲁棒性问题已经被研究，例如，在[27, 28]中。 Lipschitz 界限可用于研究量子算法针对某些类型的硬件错误（例如相干控制错误[29])的鲁棒性。

然而，针对硬件错误的鲁棒性完全不同于并且独立于量子模型针对数据扰动的鲁棒性，这将是本文的主题。 后一种鲁棒性已在量子对抗机器学习的背景下进行了研究[30, 31]。 毫不奇怪，就像经典模型一样，量子模型也容易受到对抗性攻击，无论是基于经典数据 [32, 33] 还是量子数据 [34, 32, 35, 36、37、38、39]。 为了减轻这些攻击，需要设计训练方案来鼓励所得量子模型的对抗鲁棒性。 这个方向的现有方法包括在训练[32]期间解决（对抗性）最小-最大优化问题或向训练数据集[40]添加对抗性示例。 我们的研究结果通过利普希茨界限研究量子模型的鲁棒性，为量子对抗机器学习做出了贡献，从而形成了基于利普希茨界限正则化的鲁棒量子模型的训练方案。 我们用数值结果证明了所提出的正则化的鲁棒性优势。

图1： 本研究中针对示例性时尚 MNIST 数据集[41]考虑的量子模型和训练设置的示意图。 数据 $x$ 通过可训练编码进入量子电路，即通过仿射函数 $w_j^{\top }x+{\theta }_j$ 针对可训练参数 $w_j$、${\theta }_j$ 将数据编码为单元算子 $U_{j,{\mathrm{\Theta }}_j}(x)$。 在训练过程中，我们最小化由经验损失以及惩罚参数$w_j$规范的附加正则化项组成的成本函数。 这种正则化减少了量子模型的 Lipschitz 界限。 数据扰动。 我们通过理论和数值结果表明，在所提出的正则化的鼓励下，较小的 $\parallel w_j\parallel$ 值会导致更稳健和更通用的量子模型。

除了鲁棒性之外，任何量子模型的另一个重要方面是其泛化到未见数据的能力[42, 43]。 特别是，各种工作已经显示了泛化界限[22,44,45,46,47]，即模型预期风险的界限取决于其在训练数据上的表现。 虽然这些界限为构建泛化良好的量子模型的可能性提供了见解，但由于其统一性质，它们也面临着固有的局限性[48]。

在本文中，我们推导了一种新颖的泛化界限，它明确依赖于量子模型的参数，突出了数据编码对于泛化性的作用。 我们用数值结果表明，正则化 Lipschitz 界限确实会导致泛化性能的显着提高。 最后，考虑到导出的 Lipschitz 界限主要取决于数据编码的范数，我们的结果显示了可训练编码相对于具有先验固定编码的量子电路的重要性和优势，如变分 QML [49, 19, 20、21、22、25]。

结果

量子模型及其利普希茨界限。 我们考虑以下形式的参数化酉算子

$U_{j,{\mathrm{\Theta }}_j}(x)=e^{-i(w_j^{\top }x+{\theta }_j)H_j},j=,1\mathrm{\dots },N$ (2)

具有输入数据$x\in {ℝ}^d$、可训练参数${\mathrm{\Theta }}_j=\{w_j,{\theta }_j\}$、$w_j\in {ℝ}^d,{\theta }_j\in ℝ$和埃尔米特生成器$H_j=H_j^{†}$。

根据 $H_j$ 的选择，运算符 $U_{j,{\mathrm{\Theta }}_j}$ 作用于一个或多个量子位。 运算符 $U_{j,{\mathrm{\Theta }}_j}$ 产生参数化量子电路

$U_{\mathrm{\Theta }}(x)=U_{N,{\mathrm{\Theta }}_N}(x)\mathrm{\cdots }{U}_{1,{\mathrm{\Theta }}_1}(x),$ (3)

其中 $\mathrm{\Theta }={\{{\mathrm{\Theta }}_j\}}_{j=1}^N$ 包含可训练参数集。 本文考虑的量子模型由应用于 $|0⟩$ 的 $U_{\mathrm{\Theta }}(x)$ 和随后的测量 w.r.t 组成。 可观察的 $ℳ$，即

$f_{\mathrm{\Theta }}(x)=⟨0|U_{\mathrm{\Theta }}{(x)}^{†}ℳU_{\mathrm{\Theta }}(x)|0⟩,$ (4)

比较图1。 请注意，每个酉运算符$U_{j,{\mathrm{\Theta }}_j}(x)$都涉及完整的数据向量$x$，即数据被重复加载到电路中，这种策略通常称为数据重新上传[24]。 将数据$x$编码到每个$U_{j,{\mathrm{\Theta }}_j}(x)$中是通过仿射函数$w_j^{\top }x+{\theta }_j$实现的，其中$w_j$和${\theta }_j$ 是可训练参数。 因此，我们将 (4) 称为具有可训练编码的量子模型。 这种可训练编码是常见量子模型 [49, 19, 20, 21, 22, 25] 的泛化，其中 $w_j$ 是固定的（通常是单位向量）并且只有 ${\theta }_j$ 被训练。 特别是，我们的分析结果同样适用于这些固定编码量子模型。 在本文的后面，我们通过理论和数值结果证明，与固定（即不可训练）编码相比，可训练编码可以产生显着的鲁棒性和泛化性改进。

我们的结果利用 (1) 中定义的 Lipschitz 边界。 Lipschitz 界限量化了输入变化可能引起的 $f$ 的最大扰动。 对于量子模型 $f_{\mathrm{\Theta }}$，我们可以陈述以下 Lipschitz 界

$L_{\mathrm{\Theta }}=2\parallel ℳ\parallel {\displaystyle \sum _{j=1}^N}\parallel w_j\parallel \parallel H_j\parallel .$ (5)

正式推导可以在补充部分1-B中找到。

对于给定的一组参数 $w_j$，(5) 允许计算相应量子模型的 Lipschitz 界限。 请注意，$L_{\mathrm{\Theta }}$ 仅取决于 $w_j$，但独立于 ${\theta }_j$。 这一事实对于可训练编码的潜在优势起着重要作用，因为参数 $w_j$ 在固定编码电路的训练过程中并未优化。

量子模型的稳健性。 假设我们想在$x$处评估量子模型$f_{\mathrm{\Theta }}$，即我们对值$f_{\mathrm{\Theta }}(x)$感兴趣，但我们只能访问$f_{\mathrm{\Theta }}$ 在一些扰动输入$x^{\prime }=x+\epsilon$与未知的$\epsilon$。 这种设置可能由于各种原因而出现，例如 $x$ 可能是某些物理过程的输出，只能通过嘈杂的传感器访问。 扰动 $\epsilon$ 也可能是对抗性攻击的结果，即，旨在通过选择 $\epsilon$ 来导致错误分类的扰动，使得

$\parallel f_{\mathrm{\Theta }}(x+\epsilon )-f_{\mathrm{\Theta }}(x)\parallel$ (6)

被最大化。 无论哪种情况，为了在存在扰动的情况下正确分类 $x$，我们要求 $f_{\mathrm{\Theta }}(x+\epsilon )$ 接近 $f_{\mathrm{\Theta }}(x)$，这意味着 (6 ） 是小。 根据 (1)，$f_{\mathrm{\Theta }}$ 的 Lipschitz 界限 $L$ 精确地量化了此差异，这意味着 $f_{\mathrm{\Theta }}(x+\epsilon )$ 的最大可能偏差从 $f_{\mathrm{\Theta }}(x)$ 的边界为

$\parallel f_{\mathrm{\Theta }}(x+\epsilon )-f_{\mathrm{\Theta }}(x)\parallel \le L\parallel \epsilon \parallel .$ (7)

这表明较小的 Lipschitz 界限 $L$ 意味着模型针对数据扰动的鲁棒性更好（最坏情况）。 因此，利用 (5)，量子模型 $f_{\mathrm{\Theta }}$ 的鲁棒性主要受数据编码参数 $w_j$、$H_j$ 和可观测参数 $ℳ$ 的影响。 特别是，${\sum }_{j=1}^N\parallel w_j\parallel \parallel H_j\parallel$ 和 $\parallel ℳ\parallel$ 的值越小，模型就越稳健。

现在，我们将这种理论见解应用到使用 Lipschitz 边界正则化来训练稳健的量子模型。 更准确地说，我们考虑一个具有损失 $\mathrm{\ell }$ 和大小为 $n$ 的训练数据集 $(x_k,y_k)\in 𝒳\times 𝒴$ 的监督学习设置。因此，以下优化问题可用于训练量子模型$f_{\mathrm{\Theta }}$

$\underset{\mathrm{\Theta }}{\min }{\displaystyle \frac{1}{n}}{\displaystyle \sum _{k=1}^n}\mathrm{\ell }(f_{\mathrm{\Theta }}(x_k),y_k).$ (8)

为了确保$f_{\mathrm{\Theta }}$不仅训练损失小，而且具有鲁棒性和泛化性好，我们添加了正则化项，从而得到正则化优化问题

$\underset{\mathrm{\Theta }}{\min }{\displaystyle \frac{1}{n}}{\displaystyle \sum _{k=1}^n}\mathrm{\ell }(f_{\mathrm{\Theta }}(x_k),y_k)+\lambda {\displaystyle \sum _{j=1}^N}{\parallel w_j\parallel }^2{\parallel H_j\parallel }^2.$ (9)

规范化参数 $w_j$ 鼓励数据编码的小规范，从而鼓励 Lipschitz 边界 $L_{\mathrm{\Theta }}$ 的小值。 超参数$\lambda >0$允许在训练损失小和成本函数的鲁棒性/泛化这两个目标之间进行权衡。 请注意，正则化不涉及 ${\theta }_j$，因为它们不影响 Lipschitz 界限 (5)，我们将在本文后面更详细地讨论这个问题。 此外，我们没有引入正则化对 $ℳ$ 的显式依赖，因为我们在本文中没有对可观察值进行优化。 我们注意到，与所提出的正则化类似的惩罚项可用于通过量子近似优化算法[50, 51]处理二元优化中的硬约束。 事实上，上述正则化可以解释为相应约束训练问题的基于惩罚的松弛，即训练 Lipschitz 限制在特定值以下的量子模型。

图2： 圆分类问题的鲁棒性模拟结果。 我们比较了根据 (9) 针对不同正则化参数 $\lambda \in \{0,0.2,0.5\}$ 进行训练时形式为 (4) 的量子模型以及具有固定值的量子模型。编码如(16)。 根据训练集，我们随机均匀地绘制$n=200$点$x_i\in 𝒳$并确定它们的真实标签$y_i\in \{-1,+1\}$。 我们通过解决不同超参数$\lambda$的正则化问题(9)来确定量子模型。 对于测试集，我们随机均匀地绘制 $1,000$ 点。 为了研究噪声的影响，我们通过从 ${[-\overline{\epsilon },+\overline{\epsilon }]}^d(d=2)$ 中均匀抽取的随机噪声实例来扰乱每个 $1,000$ 测试数据点。 图中的测试精度是对每个数据点 $200$ 不同噪声样本重复此过程时的最坏情况值。

我们现在基于 2D 分类问题评估我们的理论结果，我们将其称为圆分类问题 [52]：在 $𝒳=[-1,+1]\times [-1,+1]$ 域内，画一个半径为$\sqrt{2/\pi }$的圆，圆内所有数据点用$y=+1$标记，圆外点用$y=-1$标记，见图6 在补充部分 3 中。 对于具有可训练编码的量子模型，我们使用通用 SU(2) 算子并将 $w_j^{\top }x+{\theta }_j$ 编码为前两个旋转角度。 我们对每个考虑的 $3$ 量子位重复此编码，然后是基于 CNOT 的最近邻纠缠门。 然后将这样的层重复$3$次。 可以看出，我们使用 $ℳ=Z\otimes Z\otimes Z$。 由此产生的电路如图4所示。

鲁棒性模拟的数值结果如图2所示，其中我们比较了具有不同正则化参数$\lambda \in \{0,0.2,0.5\}$的三个训练模型的最坏情况测试精度和Lipschitz界限。 此外，该图还显示了针对相同数量的量子位和层采用固定编码的量子模型的准确性（有关详细信息，请参阅 (16) 和补充部分 3)。 所有模型的最坏情况测试精度是通过从 $[-\overline{\epsilon },+\overline{\epsilon }]$ 中采样不同的噪声样本 $\epsilon$ 获得的，从而近似由 $\overline{\epsilon }$。 正如预期的那样，所有四个模型都会随着噪声水平的增加而恶化。 对于零噪声水平$\overline{\epsilon }=0$，具有最大正则化参数$\lambda =0.5$（因此具有最小Lipschitz界限$L_{\mathrm{\Theta }}=3.66$)的模型的测试精度低于具有 $\lambda =0$ 的非正则化模型。 这可以通过额外的成本正则化导致训练准确性下降来解释。 然而，对于增加的噪声水平，增强的鲁棒性超过了训练性能的损失，因此，具有 $\lambda =0.5$ 的模型优于具有 $\lambda =0$ 的模型。 对于小噪声，固定编码模型的性能与具有 $\lambda =0.5$ 的可训练编码模型相当，而对于高噪声，固定编码模型的性能是所有模型中最差的。 这些观察结果可以通过固定编码模型的表达性降低但 Lipschitz 界限较高来解释。 最后，具有 $\lambda =0.2$ 的模型几乎始终优于具有 $\lambda =0$ 的模型，特别是，它对于小噪声水平产生了更高的测试精度。 这可以通过正则化提高泛化性能来解释，我们将在下面更详细地讨论这种效果。

量子模型的推广。 Lipschitz 界 (5) 不仅影响鲁棒性，而且对量子模型 $f_{\mathrm{\Theta }}$ 的泛化特性也有至关重要的影响。 直观上，较小的 Lipschitz 界限意味着 $f_{\mathrm{\Theta }}$ 的变异性较小，因此降低了过度拟合的风险。 这种直觉通过以下泛化界限变得正式。

图3： 圆分类问题的泛化模拟结果。 训练设置与图 2 中所述的鲁棒性模拟相同。 作为测试集，我们随机均匀地抽取$10.000$点，并使用不同的正则化参数$\lambda$评估训练模型。 我们绘制了测试精度和 Lipschitz 界限对超参数 $\lambda$ 的依赖性。

图4： 我们的数值案例研究中采用的可训练编码量子模型使用由三个欧拉角 ${\alpha }_i$、${\beta }_i$、${\gamma }_i$ 参数化的一般 $U_{\mathrm{Rot}}\in \mathrm{SU}(2)$ 酉，每个都有 $w_i^{\top }x+{\theta }_i$ 形式的可训练参数 $w_i$、${\theta }_i$。 我们设置${\gamma }_j=0$,$j=0,\mathrm{\dots },8$，以便与具有固定编码的量子模型进行公平比较（由于数据是二维的，因此只需要两个角度即可通过后者）。

Theorem 1。

（非正式版本） 考虑一个监督学习设置，其中包含根据概率分布 $P$ 绘制的结果 $\mathrm{\ell }$ 和大小为 $n$ 的数据集 $(x_k,y_k)\in 𝒳\times 𝒴$。对于来自 (4) 的量子模型 $f_{\mathrm{\Theta }}$，定义预期风险

$ℛ(f_{\mathrm{\Theta }})={\displaystyle {\int }_{𝒳\times 𝒴}}\mathrm{\ell }(y,f_{\mathrm{\Theta }}(x))dP(x,y)$ (10)

和经验风险

${ℛ}_n(f_{\mathrm{\Theta }})={\displaystyle \frac{1}{n}}{\displaystyle \sum _{k=1}^n}\mathrm{\ell }(y_k,f_{\mathrm{\Theta }}(x_k)).$ (11)

$f_{\mathrm{\Theta }}$ 的泛化误差有界为

$\left|ℛ(f_{\mathrm{\Theta }})-{ℛ}_n(f_{\mathrm{\Theta }})\right|\le$ $C_1\parallel ℳ\parallel {\displaystyle \sum _{j=1}^N}\parallel w_j\parallel \parallel H_j\parallel +{\displaystyle \frac{C_2}{\sqrt{n}}}$ (12)

对于某些$C_1,C_2>0$。

定理1的详细版本和证明在补充部分2中提供。 (12) 中的泛化界限量化了 $f_{\mathrm{\Theta }}$ 泛化到可用数据之外的能力。 界限 (12) 直接取决于通过 ${\sum }_{j=1}^N\parallel w_j\parallel \parallel H_j\parallel$ 的数据编码和通过 $\parallel ℳ\parallel$ 的可观察值。 特别是，如果 的 Lipschitz 边界 $L_{\mathrm{\Theta }}$ 较小并且数据集的大小 $n$ 较大，则 $f_{\theta }$ 会实现较小的泛化误差。 但请注意以下基本权衡：太小的 Lipschitz 边界 $L_{\mathrm{\Theta }}$ 可能会限制 $f_{\mathrm{\Theta }}$ 的表达性，因此导致较高的经验风险 ${ℛ}_n(f_{\mathrm{\Theta }})$，在这种情况下泛化界限(12)是没有意义的。 总之，如果 $n$ 大，$L_{\mathrm{\Theta }}$ 小，且 $f_{\mathrm{\Theta }}$ 的经验风险 ${ℛ}_n(f_{\mathrm{\Theta }})$ 小，则定理 1 意味着预期风险 $ℛ(f_{\mathrm{\Theta }})$ 小。 与现有泛化边界 [22, 44, 45, 46, 47] 相比，边界 (12) 明确涉及 Lipschitz 边界 (5)，即数据编码的范数。

我们再次评估可训练编码在圆分类问题上的泛化性能。 训练设置与鲁棒性模拟相同，数值结果如图 3 所示，其中我们根据正则化参数 $\lambda$ 绘制了测试精度和 Lipschitz 界限。 增加正则化参数 $\lambda$ 会降低训练模型的 Lipschitz 边界 $L_{\mathrm{\Theta }}$。 根据泛化界限 (12)，$L_{\mathrm{\Theta }}$ 的减少提高了泛化性能，并在 $\lambda =0.15$ 处实现了最大测试精度。 超过该值，正则化会导致 Lipschitz 界限太小，限制表达性，从而降低训练准确性。 结果，测试精度也会降低。 这说明了 $\lambda$ 作为超参数的作用：正则化并不总能提高性能，但 $\lambda$ 有一个最佳点，在该点上，比非正则化设置（即，更优越的泛化性和鲁棒性） , $\lambda =0$) 可以得到。 在实践中，超参数 $\lambda$ 可以通过交叉验证等方式进行调整。

可训练编码的好处。 一类流行的量子模型是通过构建在数据相关门和参数相关门之间交替的电路来获得的，即将 (3) 中的 $U_{\mathrm{\Theta }}(x)$ 替换为

$U_{\phi }^{\mathrm{f}}(x)=W({\phi }_L)V(x)\mathrm{\cdots }W({\phi }_1)V(x),$ (13)

比较[49,19,20,21,22,25]。 酉运算符 $V,W$ 由下式给出

$V(x)$ $=e^{-i{x}_D{G}_D}\mathrm{\cdots }{e}^{-i{x}_1{G}_1},$ (14)

$W({\phi }_j)$ $=e^{-i{\phi }_{j,p}{S}_p}\mathrm{\cdots }{e}^{-i{\phi }_{j,1}{S}_1}$ (15)

对于可训练参数 ${\phi }_j$ 和生成器 $G_i=G_i^{†}$、$S_i=S_i^{†}$。 图5描绘了相应量子模型的电路表示

$f_{\phi }^{\mathrm{f}}(x)=⟨0|U_{\phi }^{\mathrm{f}}{(x)}^{†}ℳU_{\phi }^{\mathrm{f}}(x)|0⟩.$ (16)

图5： 具有固定编码的量子模型 (16) 的电路表示。

不难证明(3)中的参数化量子电路$U_{\mathrm{\Theta }}(x)$概括了(13)中的量子电路。 事实上， (2) 中的 $U_{j,{\mathrm{\Theta }}_j}(x)$ 减少为

$e^{-i{x}_j{G}_j}\text{or}{e}^{-i{\phi }_j{S}_j}$ (17)

用于选择合适的 $w_j$、${\theta }_j$ 和 $H_j$。 请注意，量子模型 $f_{\phi }^{\mathrm{f}}(x)$ 的数据编码是通过选择 $w_j$ 预先固定的，特别是，它在训练期间不会受到影响。 因此，我们将$f_{\phi }^{\mathrm{f}}(x)$称为具有固定编码的量子模型，而不是(4)中的$f_{\mathrm{\Theta }}(x)$，其中包含可训练参数$w_j$，因此是可训练的编码。

可训练编码对量子模型表达能力的好处已在 [53, 54, 55] 中以数值方式得到证明，在 [24, 25] 中从理论上得到证明。 下面，我们讨论可训练编码对于鲁棒性和泛化性的重要性。 回想一下，我们证明了 Lipschitz 界限 (5) 是量子模型鲁棒性和泛化的关键量词，它仅取决于可观察的 $ℳ$ 和数据编码 $w_j$、$H_j$，但与参数${\theta }_j$无关。 因此，在具有固定编码的量子模型 $f_{\phi }^{\mathrm{f}}(x)$ 中，Lipschitz 边界 (5) 在训练期间不会受到影响，而是通过选择 Hermitian 生成器先验固定$G_j$。 因此，训练对固定编码量子模型的鲁棒性和泛化特性的影响有限。

当将量子模型表示为傅里叶级数[25]时，可训练数据编码和固定数据编码之间的区别变得更加明显。 在这种情况下，固定编码量子模型在训练之前选择傅立叶基函数的频率，并且仅对其系数进行优化。 相反，可训练编码量子模型同时优化频率和系数，根据 Lipschitz 界限 (5)，这是影响鲁棒性和泛化特性的关键。

这些见解证实了[56,57,58]的观察结果，即固定编码量子模型既对数据扰动也不敏感，也不对过度拟合敏感。 一方面，对这两种现象的恢复能力是一种理想的特性。 然而，上述讨论也意味着 Lipschitz 界限正则化是影响鲁棒性和泛化性的系统且有效的工具[2,6,16,17,18]，不能用于固定编码量子模型以提高鲁棒性和泛化性。 图 2 中的鲁棒性模拟说明了这一事实的不利影响。 在这里，固定编码模型的 Lipschitz 界限比所有考虑的可训练编码模型都要高得多。 这意味着鲁棒性明显较差。 数据扰动，因此导致较大噪声水平的测试精度迅速下降。 此外，按照建议（例如，通过[59])对参数$\phi$进行正则化不会影响Lipschitz界限，因此不能用于提高鲁棒性。 在补充部分3中，我们研究了$\phi$正则化对泛化的影响。 我们发现正则化 ${\phi }_j$ 对测试精度的影响是有限的，并且可能取决于生成数据的特定真实分布和所选电路 ansatz。

总而言之，我们的结果表明，在量子模型中训练编码不仅提高了表达能力，而且还带来了卓越的鲁棒性和泛化特性。

讨论

在本文中，我们研究了基于 Lipschitz 界限的量子模型的鲁棒性和泛化特性。 Lipschitz 界限是经典机器学习文献中一个成熟的工具，它不仅可以量化对抗鲁棒性，而且还与泛化性能密切相关。 我们根据数据编码的大小得出 Lipschitz 界限，然后用它来研究鲁棒性和泛化属性。 鉴于我们的泛化界限明确涉及数据编码的参数，它不是统一界限。 因此，它可以克服统一 QML 泛化边界的一些限制[48]。 此外，我们的理论结果强调了可训练编码与正则化技术相结合对于获得稳健且可概括的量子模型的作用。 数值结果证实了我们的理论发现，表明正则化参数存在最佳点，与非正则化训练方案相比，我们的训练方案提高了鲁棒性和泛化性。 需要强调的是，这些具有特定旋转和纠缠门选择的数值结果主要用于说明，但我们的理论框架适用于所有可以写成 (4) 的量子模型，并且，因此，还允许不同的旋转门、纠缠层，甚至参数化的多量子位门。

虽然我们的结果表明在 QML 中使用 Lipschitz 界限的潜力，但未来的研究还有各种有前途的方向。 首先也是最重要的，将经典 ML 中 Lipschitz 边界的现有研究转移到 QML 设置中，为处理鲁棒性和泛化性提供了一个系统框架，超出了本文提出的第一个结果。 特别是，虽然我们专注于变分量子模型，但我们结果的基本原理可以转移到不同的量子模型，包括量子核方法[20, 21]或线性量子模型[23] 。 此外，虽然我们强调了可训练编码的重要性，但所考虑的量子模型仅采用特定的仿射编码$w_j^{\top }x+{\theta }_j$。 将我们的结果扩展到更一般的、可能是非线性的编码，为设计强大的量子模型提供了一条有前途的途径。 鉴于经典机器学习对其 Lipschitz 属性的广泛研究[2,6,9,10,11,12,13,14,15]，经典神经网络是实现非线性编码的理想候选者。 最后，我们计划在更复杂的分类任务和真实的量子硬件上验证我们的理论发现。

代码可用性

数值案例研究的源代码以及数据生成和分析脚本可通过 https://github.com/daniel-fink-de/training-robust-and-generalized-quantum 在 GitHub 上公开访问-模型。

致谢

这项工作由 Deutsche Forschungsgemeinschaft（DFG，德国研究基金会）根据德国卓越战略 - EXC 2075 - 390740016 资助。 我们感谢斯图加特模拟科学中心 (SimTech) 的支持。 这项工作还得到了德国联邦经济事务和气候行动部通过 AutoQML 项目（拨款号：2017）的支持。 01MQ22002A）。

补充材料

1 量子模型的 Lipschitz 界限

在本节中，我们研究量子模型的 Lipschitz 界限，如 (4) 所示。 我们首先导出一个 Lipschitz 界限，它不如 (5) 紧，但可以使用简单的串联参数来显示（第 1-A 节）。 接下来，在1-B节中，我们证明(5)确实是Lipschitz约束。

1-A 基于串联的简单 Lipschitz 绑定

在陈述结果之前，我们先介绍一下符号

$W=\left(\begin{array}{c}{w}_1^{\top }\\ \mathrm{⋮}\\ w_N^{\top }\end{array}\right),\mathrm{\Omega }=\left(\begin{array}{c}{\theta }_1\\ \mathrm{⋮}\\ {\theta }_N\end{array}\right).$ (18)

Theorem 2.

以下是 $f_{\mathrm{\Theta }}$ 的 Lipschitz 界限：

$L=2\parallel ℳ\parallel \parallel W\parallel {\displaystyle \sum _{j=1}^N}\parallel H_j\parallel .$ (19)

证明。

我们的证明依赖于这样一个事实：可以根据各个 Lipschitz 界限的乘积获得级联函数的 Lipschitz 界限。 准确地说，假设$f$可以写成$f=f_1\circ f_2\circ \mathrm{\cdots }\circ f_h$，其中$\circ$表示串联，每个$f_i$承认一个Lipschitz边界$L_i$,$i=1,\mathrm{\dots },h$。 然后，对于$f$的任意输入参数$x,y$，我们得到

$\parallel f(x)-f(y)\parallel$ $\le L_1\parallel f_2\circ \mathrm{\cdots }\circ f_h(x)-f_2\circ \mathrm{\cdots }\circ f_h(y)\parallel$

$\le \mathrm{\cdots }\le L_1{L}_2\mathrm{\cdots }{L}_h\parallel x-y\parallel .$ (20)

现在，我们通过将 $f_{\mathrm{\Theta }}$ 表示为三个函数的串联来证明 (19) 是 Lipschitz 约束

$g_{\mathrm{meas}}(z_{\mathrm{m}})$ $=⟨z_{\mathrm{m}}|ℳ|z_{\mathrm{m}}⟩,$ (21)

$g_{\mathrm{unitary}}(z_{\mathrm{u}})$ $=e^{-i{z}_{\mathrm{u},N}{H}_N}\mathrm{\cdots }{e}^{-i{z}_{\mathrm{u},1}{H}_1}|0⟩,$ (22)

$g_{\mathrm{affine}}(z_{\mathrm{a}})$ $=W{z}_{\mathrm{a}}+\mathrm{\Omega }.$ (23)

更准确地说，它认为

$f_{\mathrm{\Theta }}(x)=g_{\mathrm{meas}}\circ g_{\mathrm{unitary}}\circ g_{\mathrm{affine}}(x).$ (24)

因此，任何一组 Lipschitz 边界 $L_{\mathrm{meas}}$、$L_{\mathrm{unitary}}$、$L_{\mathrm{affine}}$ 对于三个函数 $g_{\mathrm{meas}}$、$g_{\mathrm{unitary}}$、 $g_{\mathrm{affine}}$ 产生 $f_{\mathrm{\Theta }}$ 的 Lipschitz 界作为它们的乘积：

$L=L_{\mathrm{meas}}{L}_{\mathrm{unitary}}{L}_{\mathrm{affine}}.$ (25)

因此，在下文中，我们将导出各个 Lipschitz 边界 $L_{\mathrm{meas}}$、$L_{\mathrm{unitary}}$ 和 $L_{\mathrm{affine}}$。
$g_{\mathrm{meas}}$ 的利普希茨界限： 注意

${\displaystyle \frac{\mathrm{d}{g}_{\mathrm{meas}}(z_{\mathrm{m}})}{\mathrm{d}{z}_{\mathrm{m}}}}=2⟨z_{\mathrm{m}}|ℳ.$ (26)

使用$\parallel z_{\mathrm{m}}\parallel =1$，我们推断

$\parallel {\displaystyle \frac{\mathrm{d}{g}_{\mathrm{meas}}(z_{\mathrm{m}})}{\mathrm{d}{z}_{\mathrm{m}}}}\parallel \le 2\parallel ℳ\parallel .$ (27)

因此，$L_{\mathrm{meas}}=2\parallel ℳ\parallel$ 是 $g_{\mathrm{meas}}$ 的 Lipschitz 界。
$g_{\mathrm{unitary}}$ 的利普希茨界限： 从 [29，定理 2.2] 可以得出，$L_{\mathrm{unitary}}={\sum }_{j=1}^N\parallel H_j\parallel$ 是 $g_{\mathrm{unitary}}$ 的 Lipschitz 界。
$g_{\mathrm{affine}}$ 的利普希茨界限： 给定$g_{\mathrm{affine}}$的线性形式，我们直接得到$L_{\mathrm{affine}}=\parallel W\parallel$是Lipschitz界限。 ∎

1-B 证明 (5) 是 Lipschitz 界限

我们首先导出参数化酉 $U_{\mathrm{\Theta }}(x)$ 上的 Lipschitz 界。 为此，我们计算其微分

$\mathrm{d}{U}_{\mathrm{\Theta }}(x)=$ $(\mathrm{d}{U}_{N,{\mathrm{\Theta }}_N}(x))U_{N-1,{\mathrm{\Theta }}_{N-1}}(x)\mathrm{\cdots }{U}_{1,{\mathrm{\Theta }}_1}(x)$ (28)

$+\mathrm{\cdots }+U_{N,{\mathrm{\Theta }}_N}(x)\mathrm{\cdots }{U}_{2,{\mathrm{\Theta }}_2}(x)(\mathrm{d}{U}_{1,{\mathrm{\Theta }}_1}(x))$

请注意，每个术语 $U_{j,{\mathrm{\Theta }}_j}(x)$ 都可以写为由以下定义的两个映射 $g_j$ 和 $h_j$ 的串联

$g_j(x)$ $=w_j^{\top }x+{\theta }_j$ (29)

$h_j(z_j)$ $=e^{-i{z}_j{H}_j}.$ (30)

准确的说，是$U_{j,{\mathrm{\Theta }}_j}(x)=h_j\circ g_j(x)$。 两个映射 $g_j$ 和 $h_j$ 的差异由下式给出

$\mathrm{d}{h}_j(z_j)(u)$ $=-i{H}_j{e}^{-i{z}_j{H}_j}u,$ (31)

$\mathrm{d}{g}_j(x)(v)$ $=w_j^{\top }v,$

其中 $h_j(z_j)(u)$ 表示 $h_j$ 在 $z_j$ 处应用于 $u\in ℝ$ 的微分，对于 $g_j(x)(v)$ 也类似。 因此，我们有

$\mathrm{d}{U}_{j,{\mathrm{\Theta }}_j}(x)(v)$ $=(\mathrm{d}{h}_j(g_j(x)))\circ (\mathrm{d}{g}_j(x)(v))$ (32)

$=-i{H}_j{e}^{-i(w_j^{\top }x+{\theta }_j)H_j}{w}_j^{\top }v$

$=-i{H}_j{U}_{j,{\mathrm{\Theta }}_j}(x)w_j^{\top }v.$

将其插入 (28)，我们得到

$\mathrm{d}{U}_{\mathrm{\Theta }}(x)(v)=-i\left(H_N{U}_{\mathrm{\Theta }}(x)w_N^{\top }v+\mathrm{\cdots }+U_{\mathrm{\Theta }}(x)H_1{w}_1^{\top }v\right).$ (33)

因此，我们证明了映射 $U_{\mathrm{\Theta }}(x)|0⟩$ 的雅可比行列式 $J_{\mathrm{\Theta }}(x)$ 由下式给出

$J_{\mathrm{\Theta }}(x)=-i\left(H_N{U}_{\mathrm{\Theta }}(x)|0⟩w_N^{\top }+\mathrm{\cdots }+U_{\mathrm{\Theta }}(x)H_1|0⟩w_1^{\top }\right).$ (34)

利用 $|0⟩$ 有单位范数，$U_{j,{\mathrm{\Theta }}_j}$ 是酉的，以及三角不等式，$J_{\mathrm{\Theta }}(x)$ 的范数有界为

$\parallel J_{\mathrm{\Theta }}(x)\parallel \le {\displaystyle \sum _{j=1}^N}\parallel w_j\parallel \parallel H_j\parallel .$ (35)

因此，${\sum }_{j=1}^N\parallel w_j\parallel \parallel H_j\parallel$ 是 $U_{\mathrm{\Theta }}(x)|0⟩$ [60，p.1] 的 Lipschitz 界限。 356]。

最后，$f_{\mathrm{\Theta }}(x)$ 是 $U_{\mathrm{\Theta }}(x)|0⟩$ 和函数 $z\mapsto ⟨z|ℳ|z⟩$ 的串联，它承认 Lipschitz 边界 $2\parallel ℳ\parallel$，compare (27)。 因此，$f_{\mathrm{\Theta }}$ 的 Lipschitz 界限可以作为这两个单独界限的乘积获得，即如 (5) 中所示。 ∎

2 完整版本和定理证明1

我们首先陈述一般监督学习设置的主要结果，然后将其应用于本文考虑的量子模型。 考虑一个监督学习设置，其中数据样本 ${\{x_k,y_k\}}_{k=1}^n$ 根据某种概率分布 $P$ 从 $𝒵≔𝒳\times 𝒴\subseteq {ℝ}^d\times ℝ$ 独立且相同地分布。我们定义 $𝒵$ 的 $ϵ$ 覆盖数如下。

Definition 2.1。

(adapted from [7, Definition 1]) We say that $\widehat{𝒵}$ is an $ϵ$-cover of $𝒵$, if, for all $z\in 𝒵$, there exists $\widehat{z}\in \widehat{𝒵}$ such that $\parallel z-\widehat{z}\parallel \le ϵ$. $𝒵$的$ϵ$覆盖数为

$𝒩(ϵ,𝒵)=\min \{|\widehat{𝒵}|\mid \widehat{𝒵}\text{is an}ϵ\text{-cover of}𝒵\}.$ (36)

对于通用模型 $f:𝒳\to 𝒴$、损失函数 $\mathrm{\ell }:𝒴\times 𝒴\to ℝ$ 和训练数据 ${\{x_k,y_k\}}_{k=1}^n$，我们定义预期损失和经验损失：

$ℛ(f)={\displaystyle {\int }_{𝒳\times 𝒴}}\mathrm{\ell }(y,f(x))dP(x,y)$ (37)

和

${ℛ}_n(f)={\displaystyle \frac{1}{n}}{\displaystyle \sum _{k=1}^n}\mathrm{\ell }(y_k,f(x_k)),$ (38)

分别。 以下结果说明了 $f$ 的泛化界限。

Lemma 2.1.

认为

1. 损失$\mathrm{\ell }$是非负的并且承认Lipschitz界限$L_{\mathrm{\ell }}>0$,

2. $𝒵$ 是紧凑的，使得 $M≔{sup}_{y,y^{\prime }\in 𝒴}\mathrm{\ell }(y,y^{\prime })$ 是有限的，并且

3. $L_f>0$ 是 $f$ 的 Lipschitz 界限。

那么，对于任何 $\gamma ,\delta >0$,$f$ 的泛化误差至少有 $1-\delta$ 的概率，其界限为

$|ℛ(f)-{ℛ}_n(f)|$ (39)

$\le$ $\gamma L_{\mathrm{\ell }}\max \{1,L_f\}+M\sqrt{{\displaystyle \frac{2𝒩(\frac{\gamma }{2},𝒵)\ln 2+2\ln (\frac{1}{\delta })}{n}}}.$

证明。

在下面的证明中，我们引用了 $(K,ϵ)$-robustness 的概念（改编自 [7, 定义 2]）：分类器 $f$ 对于 $K\in \mathbb{N}$ 和 $ϵ\in ℝ$ 是 $(K,ϵ)$-robust 的，如果 $𝒵$ 可以划分为 $K$ 不相邻的集合（用 ${\{C_i\}}_{i=1}^K$ 表示），且以下条件成立：对于所有 $k=1,\mathrm{\dots },n$、$(x,y)\in 𝒵$、$i=1,\mathrm{\dots },K$，如果 $(x_k,y_k),(x,y)\in C_i$，则

$|\mathrm{\ell }(y_k,f(x_k))-\mathrm{\ell }(y,f(x))|\le ϵ.$ (40)

此属性在以下意义上量化了 $f$ 的鲁棒性：集合 $𝒵$ 可以划分为多个子集，这样，如果新抽取的样本 $(x,y)$ 位于与测试样本 $(x_k,y_k)$ 位于同一子集中，则它们的相关损失值很接近。 现在让我们继续注意，对于任何 $(x_k,y_k)$、$k=1,\mathrm{\dots },n$ 和 $(x,y)\in 𝒵$，它认为

$|\mathrm{\ell }(y_k,f(x_k))-\mathrm{\ell }(y,f(x))|$ (41)

$\le$ $L_{\mathrm{\ell }}\parallel (y_k,f(x_k))-(y,f(x)){\parallel }_2$

$\le$ $L_{\mathrm{\ell }}\left(\parallel y_k-y\parallel +\parallel f(x_k)-f(x)\parallel \right)$

$\le$ $L_{\mathrm{\ell }}\max \{1,L_f\}\parallel (x_k,y_k)-(x,y)\parallel ,$

其中我们分别使用 $\mathrm{\ell }$ 的 Lipschitz 界 $L_{\mathrm{\ell }}$、三角不等式以及 $f$ 的 Lipschitz 界 $L_f$。 使用[7，定理6]，我们推断$f$对于所有$\gamma >0$都是$(𝒩(\frac{\gamma }{2},𝒵),L_{\mathrm{\ell }}\max \{1,L_f\}\gamma )$鲁棒的。 现在从[7，定理1]得出，对于任何$\delta >0$，概率至少为$1-\delta$不等式(39 ) 成立。 ∎

现在让我们结合 Lipschitz 界限 (5) 和引理 2.1 来为所考虑的量子模型类 $f_{\mathrm{\Theta }}$ 声明一个定制的泛化界限，从而证明定理1。

Theorem 2.1.

认为

1. 损失$\mathrm{\ell }$是非负的并且承认Lipschitz界限$L_{\mathrm{\ell }}>0$和

2. $𝒵$ 是紧凑的，使得 $M≔{sup}_{y,y^{\prime }\in 𝒴}\mathrm{\ell }(y,y^{\prime })$ 是有限的。

那么，对于任何 $\gamma ,\delta >0$,$f_{\mathrm{\Theta }}$ 的泛化误差至少有 $1-\delta$ 的概率，其界限为

$|ℛ(f)-{ℛ}_n(f)|\le$ $\gamma L_{\mathrm{\ell }}\max \{1,2\parallel ℳ\parallel {\displaystyle \sum _{j=1}^N}\parallel w_j\parallel \parallel H_j\parallel \}$

$+M\sqrt{{\displaystyle \frac{2𝒩(\frac{\gamma }{2},𝒵)\ln 2+2\ln (\frac{1}{\delta })}{n}}}.$ (42)

定理2.1表明，数据编码和可观察量的大小直接影响量子模型$f_{\mathrm{\Theta }}$的泛化性能。 特别是，对于 ${\sum }_{j=1}^N\parallel w_j\parallel \parallel H_j\parallel$ 和 $\parallel ℳ\parallel$ 的值较小，预期损失更接近经验损失。 (42) 的右边包含两个项：第一个项取决于量子模型的参数 $f_{\mathrm{\Theta }}$，并通过 Lipschitz 约束 (5) 来描述其稳健性，而第二个项则随着数据长度 $n$ 的增加而衰减。虽然 (39) 在 $\gamma >0$ 的任意值下都成立，但 $\gamma$ 的哪一个值会导致最小可能的约束并不直接：$\gamma$ 的较小值会减少第一项，但会增加第二项中的 $𝒩(\frac{\gamma }{2},𝒵)$（反之亦然）。

与现有的 QML 泛化边界 [22, 44, 45, 46, 47] 相比，定理 2.1 明确强调了 Lipschitz 边界的作用。 利用参数$\gamma$的额外灵活性，可以证明当数据长度$n$接近无穷大时，泛化界限(42)收敛到零。 为此，我们使用 [61, Lemma 6.27] 来限制覆盖数

$𝒩({\displaystyle \frac{\gamma }{2}},𝒵)\le {\left({\displaystyle \frac{6R}{\gamma }}\right)}^{D+1},$ (43)

其中 $R$ 是包含 $𝒵$ 的最小球的半径。将(43)插入(42)并根据$n$选择$\gamma$作为$\gamma =n^{-\frac{1}{2D+2}}$，我们推断

$|ℛ(f)-{ℛ}_n(f)|\le$ ${\displaystyle \frac{1}{n^{\frac{1}{2D+2}}}}{L}_{\mathrm{\ell }}\max \{1,2\parallel ℳ\parallel {\displaystyle \sum _{j=1}^N}\parallel w_j\parallel \parallel H_j\parallel \}$

$+M\sqrt{{\displaystyle \frac{2\ln 2{\left(6R\right)}^{D+1}}{\sqrt{n}}}+{\displaystyle \frac{2\ln (\frac{1}{\delta })}{n}}},$ (44)

对于 $n\to \mathrm{\infty }$ 确实收敛到零。

3 数字：设置和进一步结果

在下文中，我们提供了有关数值结果设置的详细信息（第3-A节），并提出了有关具有固定编码的量子模型中的参数正则化的进一步数值结果（第3-B)。

3-A 数值设定

图6： 从左到右：圆分类问题的基本事实图示、未经正则化的最佳训练模型的决策边界以及$\lambda =0.2$的最佳模型的决策边界。 训练期间使用正则化参数显示了训练后更规则的决策边界。

这项工作中的所有数值模拟都是使用 Python QML 库 PennyLane [62] 执行的。 作为设备，我们使用无噪声模拟器“lightning.qubit”以及伴随微分方法，以实现快速且内存高效的梯度计算。 为了解决 (9) 中的优化问题，我们使用学习率 $\eta =0.1$ 和所有其他超参数的建议值 [63] 应用 ADAM 优化器。 此外，我们始终运行 $200$ epoch，并根据不同的初始参数训练 $9$ 模型，以适应不同的正则化参数 $\lambda >0$。 添加正则化不会引入显着的计算开销，因为成本的评估仅涉及项${\Vert w_j\Vert }^2$的加权和。 作为最终模型，我们采用所有运行和历元中成本最小的模型参数集。 此外，使用 Dask [64] 并行化训练以及鲁棒性和泛化分析。

对于可训练的编码模型，经典数据被编码到具有由 3 个欧拉角 $U_{\mathrm{Rot}}({\alpha }_j,{\beta }_j,{\gamma }_j)$ 参数化的通用 $U_{\mathrm{Rot}}\in \mathrm{SU}(2)$ 单位的量子电路中，

${\alpha }_j$ $=w_{j,1}^{\top }x+{\theta }_{j,1},$ (45)

${\beta }_j$ $=w_{j,2}^{\top }x+{\theta }_{j,2},$ (46)

${\gamma }_j$ $=w_{j,3}^{\top }x+{\theta }_{j,3}.$ (47)

PennyLane中的$U_{\mathrm{Rot}}$是通过以下分解实现的

$U_{\mathrm{Rot}}(\alpha ,\beta ,\gamma )$ $=R_Z(\gamma )R_Y(\beta )R_Z(\alpha ),$ (48)

(49)

图7： 使用固定编码量子模型(16)和参数正则化$\phi$时圆分类问题的泛化模拟结果。 训练和测试设置与图 2 和 3 中所示的模拟相同。 我们绘制了测试精度和 Lipschitz 边界对进入正则化训练问题 (50) 的超参数 $\lambda$ 的依赖性。

在我们的数值案例研究中，我们为所有 $j$ 设置 ${\gamma }_j=0$，因为这 1) 仍然允许到达布洛赫球上的任意点，2) 可以更轻松地与固定编码量子模型进行比较。 为了以硬件高效的方式引入纠缠，我们使用 CNOT 环。 图 4 所示的电路涉及三层旋转和纠缠，我们观察到这是表达性和泛化性之间的良好权衡。 更准确地说，在我们的模拟中，较少的层不足以准确地解决分类任务，而更多的层会导致更高程度的过度拟合。 对于 (16) 中的固定编码量子模型，我们使用类似的 $3$ 层 ansatz，将 2D 数据点的两个条目编码为第一和第二角度旋转门的 ${\alpha }_j$、${\beta }_j$，然后是具有三个自由参数的参数化 $\mathrm{SU}(2)$ 旋转。 我们还执行经典的数据预处理，将输入域从 $[-1,+1]$ 缩放到 $[-\pi ,+\pi ]$，以便可以利用旋转角度的全部可能范围。

在图6中，我们绘制了与$\lambda =0.0$和$\lambda =0.2$对应的两个量子模型的基本事实和决策边界。 正如预期的那样，正则化训练产生的决策边界比非正则化训练产生的决策边界明显更平滑，这解释了前者具有卓越的鲁棒性和泛化性。

3-B 具有固定编码的量子模型的正则化

在正文中，我们看到(16)中具有固定编码$f_{\phi }^{\mathrm{f}}(x)$的量子模型的Lipschitz界限不能通过改变参数$\phi$来适应>。 因此，不可能使用 Lipschitz 界限正则化来提高鲁棒性和泛化性。 接下来，我们研究是否可以使用 $\phi$ 的正则化来提高泛化性能。 更准确地说，我们考虑与图 3 中所示的可训练编码的泛化结果相同的数值设置。 主要区别在于我们考虑固定编码量子模型 $f_{\phi }^{\mathrm{f}}(x)$，它通过以下正则化训练问题进行训练

$\underset{\phi }{\min }{\displaystyle \frac{1}{n}}{\displaystyle \sum _{k=1}^n}\mathrm{\ell }(f_{\phi }^{\mathrm{f}}(x_k),y_k)+\lambda {\displaystyle \sum _{j=1}^L}{\parallel {\phi }_j\parallel }^2.$ (50)

使用超参数$\lambda >0$进行正则化旨在保持角度${\phi }_j$的范数较小。 图7描述了不同正则化参数$\lambda$的结果量子模型的测试精度和Lipschitz界限。 首先，请注意，由于固定编码，对于 $\lambda$ 的所有选择，Lipschitz 界限确实是恒定的。 比较图 3 和 7，我们发现可训练编码与固定编码相比具有显着更高的测试精度。 此外，固定编码的正则化参数对测试精度的影响远不如可训练编码那么明显，这证实了我们之前关于可训练编码优点的讨论。 测试精度并不完全独立于 $\lambda$，因为 1) 参数 ${\phi }_j$ 的正则化会影响优化并可以改善或恶化收敛性，2) 使 $\phi$ 偏向如果通过具有小值 $\phi$ 的量子模型更好地近似底层真实分布，那么零可能是有益的。 然而，2) 是否带来实际好处是高度针对特定问题的，因为它取决于生成数据的分布和电路模拟。