我们提出了一种用于大规模推荐系统中用户表示的新颖框架，旨在以通用方式有效地表示不同的用户品味。我们的方法采用结合表示学习和迁移学习的两阶段方法。表示学习模型使用自动编码器将各种用户特征压缩到表示空间中 ...
Transformer 的最新进展对计算资源提出了巨大的要求，这凸显了开发高效训练技术的重要性，通过有效利用计算和内存资源，使 Transformer 训练速度更快、成本更低、精度更高。本次调查首次系统概述了 Transformers 的高效训练，涵盖了加速算法和硬件方面的最新进展，并重点关注了前者。我们分析和比较了在训练期间节省中间张量的计算和内存成本的方法，以及硬件/算法协同设计的技术 ...
尽管过去几年深度学习模型在许多不同领域取得了巨大成功，但通常需要大量数据，在未见过的样本上表现不佳，并且缺乏可解释性。目标领域中通常存在各种先验知识，它们的使用可以缓解深度学习的缺陷。为了更好地模仿人脑的行为，人们提出了不同的先进方法来识别领域知识并将其集成到深度模型中，以实现数据高效、可泛化和可解释的深度学习，我们将其称为知识增强深度学习（KADL） ...
合成语音检测 (SSD) 方面的大多数研究都集中于提高标准无噪声数据集的性能。然而，在实际情况中，通常存在噪声干扰，导致SSD系统的性能显着下降。为了提高噪声鲁棒性，本文提出了一种双分支知识蒸馏合成语音检测（DKDSSD）方法 ...
解耦式概念开始在语音增强领域点燃，它将原始的复杂频谱估计任务解耦为多个更简单的子任务，即仅幅度恢复和剩余复杂频谱估计）}，从而获得更好的性能和更容易的可解释性 ...
听觉注意力检测（AAD）旨在从多说话人环境中的大脑信号中检测目标说话人。尽管基于 EEG 的 AAD 方法近年来显示出了可喜的结果，但当前的方法主要依赖于为处理图像等欧几里德数据而设计的传统卷积神经网络。这使得处理具有非欧几里得特征的脑电图信号变得具有挑战性 ...
柯尔莫哥洛夫-阿诺德网络（KAN）是一种新型神经网络，由于能够以更高的准确性和互操作性替代人工智能（AI）中的多层感知（MLP），因此最近受到了欢迎和关注。然而，KAN评估仍然有限，无法提供特定领域的深入分析。此外，还没有对 KAN 在硬件设计中的实现进行研究，这可以直接证明 KAN 在实际应用中是否真正优于 MLP ...
大规模视觉语言模型（例如 CLIP）可以学习强大的图像文本表示，这些表示已找到许多应用，从零样本分类到文本到图像生成。尽管如此，它们通过提示解决新颖的判别性任务的能力仍落后于大型语言模型，例如 GPT-3。在这里，我们探索视觉提示工程的想法，通过在图像空间而不是文本中进行编辑来解决分类之外的计算机视觉任务 ...
