Transformer 的最新进展对计算资源提出了巨大的要求，这凸显了开发高效训练技术的重要性，通过有效利用计算和内存资源，使 Transformer 训练速度更快、成本更低、精度更高。本次调查首次系统概述了 Transformers 的高效训练，涵盖了加速算法和硬件方面的最新进展，并重点关注了前者。我们分析和比较了在训练期间节省中间张量的计算和内存成本的方法，以及硬件/算法协同设计的技术 ...
尽管过去几年深度学习模型在许多不同领域取得了巨大成功，但通常需要大量数据，在未见过的样本上表现不佳，并且缺乏可解释性。目标领域中通常存在各种先验知识，它们的使用可以缓解深度学习的缺陷。为了更好地模仿人脑的行为，人们提出了不同的先进方法来识别领域知识并将其集成到深度模型中，以实现数据高效、可泛化和可解释的深度学习，我们将其称为知识增强深度学习（KADL） ...
合成语音检测 (SSD) 方面的大多数研究都集中于提高标准无噪声数据集的性能。然而，在实际情况中，通常存在噪声干扰，导致SSD系统的性能显着下降。为了提高噪声鲁棒性，本文提出了一种双分支知识蒸馏合成语音检测（DKDSSD）方法 ...
解耦式概念开始在语音增强领域点燃，它将原始的复杂频谱估计任务解耦为多个更简单的子任务，即仅幅度恢复和剩余复杂频谱估计）}，从而获得更好的性能和更容易的可解释性 ...
听觉注意力检测（AAD）旨在从多说话人环境中的大脑信号中检测目标说话人。尽管基于 EEG 的 AAD 方法近年来显示出了可喜的结果，但当前的方法主要依赖于为处理图像等欧几里德数据而设计的传统卷积神经网络。这使得处理具有非欧几里得特征的脑电图信号变得具有挑战性 ...
柯尔莫哥洛夫-阿诺德网络（KAN）是一种新型神经网络，由于能够以更高的准确性和互操作性替代人工智能（AI）中的多层感知（MLP），因此最近受到了欢迎和关注。然而，KAN评估仍然有限，无法提供特定领域的深入分析。此外，还没有对 KAN 在硬件设计中的实现进行研究，这可以直接证明 KAN 在实际应用中是否真正优于 MLP ...
大规模视觉语言模型（例如 CLIP）可以学习强大的图像文本表示，这些表示已找到许多应用，从零样本分类到文本到图像生成。尽管如此，它们通过提示解决新颖的判别性任务的能力仍落后于大型语言模型，例如 GPT-3。在这里，我们探索视觉提示工程的想法，通过在图像空间而不是文本中进行编辑来解决分类之外的计算机视觉任务 ...
Parisi-Sourlas (PS) 超对称性已知出现在一些具有随机场类型无序的模型中。当 PS SUSY 存在时，$d$ 维理论允许 $d-2$ 维描述。在本文中，我们研究了反向问题，并提供了新的指示，即任何给定的 CFT$_{d-2}$ 都可以提升为 PS SUSY CFT$_{d}$ ...
使用长序列有效训练 LLM 很重要，但面临大量计算和内存需求的挑战。序列并行性已被提出来解决这些问题，但现有方法存在可扩展性或效率问题。我们提出了 LoongTrain，这是一种新颖的系统，可以有效地大规模训练具有长序列的 LLM ...
自主图形用户界面（GUI）代理旨在通过与用户界面交互而无需人工干预来促进任务自动化。最近的研究调查了大型语言模型（LLM）在不同环境中有效参与的能力。为了满足 LLM 的输入输出要求，大多数现有方法都是在沙箱设置下开发的，它们依赖外部工具和特定于应用程序的 API 将环境解析为文本元素并解释预测的操作 ...