A Survey of Transformers

Transformer 在自然语言处理、计算机视觉、音频处理等许多人工智能领域取得了巨大成功。因此，自然引起学术界和工业界研究人员的广泛兴趣。到目前为止，Transformer 的变体种类繁多（a. ...

Large Language Models Understand and Can be Enhanced by Emotional Stimuli

情商显着影响我们的日常行为和互动。尽管大型语言模型（LLM）越来越被视为迈向通用人工智能的一步，在众多任务中表现出令人印象深刻的表现，但 LLM 是否能够真正掌握心理情感刺激仍然不确定。理解和回应情绪暗示使人类在解决问题方面具有明显的优势 ...

PPNet: A Novel Neural Network Structure for End-to-End Near-Optimal Path Planning

经典的路径规划器，例如基于采样的路径规划器，具有对初始解敏感且收敛到最优解缓慢的局限性。然而，在许多应用中，例如功率/燃料有限的自动驾驶汽车，在短时间内找到接近最佳的解决方案具有挑战性。为了实现端到端的近最优路径规划器，我们首先将路径规划问题分为两个子问题，即路径的空间分割和给定路径空间中的路点生成 ...

Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation

这项工作通过学习隐藏单元贡献（LHUC）对神经网络声学模型的适应进行了广泛的研究，这是一种使用少量无监督适应以依赖于说话者或环境的方式线性重新组合隐藏单元的方法数据。我们还将 LHUC 扩展到说话人自适应训练 (SAT) 框架，从而产生适应性更强的 DNN 声学模型，以说话人相关和说话人无关的方式工作，无需维护辅助说话人相关特征提取器或对 DNN 结构引入与说话人相关的重大变化。通过对由 270 名测试说话者组成的四种不同语音识别基准（TED 演讲、Switchboard、AMI 会议和 Aurora4）进行的一系列实验，我们表明 LHUC 在其仅测试变体和 SAT 变体中均能实现一致的单词错误率降低，范围从5% 到 23% 相对，具体取决于任务以及训练和测试数据之间的不匹配程度 ...

PPM : A Pre-trained Plug-in Model for Click-through Rate Prediction

点击率（CTR）预测是推荐系统的核心任务。现有的方法（简称IDRec）依靠唯一的身份来表示不同的用户和项目，这种方法已经流行了几十年。一方面，IDRec经常面临冷启动问题导致的性能显着下降；另一方面，由于迭代效率的限制，IDRec 无法使用更长的训练数据 ...

GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction

广告和 Feed 排名对于 Facebook 等许多互联网公司来说至关重要。在许多现实世界的广告和 Feed 排名系统中，点击率 (CTR) 预测起着核心作用。近年来，许多基于神经网络的CTR模型被提出并取得了成功，例如因子分解机支持的神经网络、DeepFM和xDeepFM ...

Training language models to follow instructions with human feedback

使语言模型变得更大并不意味着它们本身就能更好地遵循用户的意图。例如，大型语言模型可能会生成不真实、有毒或对用户毫无帮助的输出。换句话说，这些模型与其用户不一致 ...

Language Models are Few-Shot Learners

最近的工作已经证明，通过对大量文本进行预训练，然后对特定任务进行微调，在许多 NLP 任务和基准测试中取得了巨大的成果。虽然在架构中通常与任务无关，但该方法仍然需要针对特定​​任务的数千或数万个示例的数据集进行微调。相比之下，人类通常只需几个例子或简单的指令就可以执行新的语言任务，而当前的 NLP 系统在很大程度上仍然难以做到这一点 ...

A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation

受深度学习在计算机视觉和语言理解方面取得巨大成功的影响，推荐研究已转向发明基于神经网络的新推荐模型。近年来，我们见证了神经推荐模型的发展取得了重大进展，由于神经网络强大的表示能力，神经推荐模型泛化并超越了传统的推荐模型。在这篇综述论文中，我们从推荐建模的角度，以准确性为目标，对神经推荐模型进行了系统回顾，旨在总结这一领域，以方便从事推荐系统研究的研究人员和从业者 ...

CTRL: Connect Collaborative and Language Model for CTR Prediction

传统的点击率 (CTR) 预测模型将表格数据转换为单热向量，并利用特征之间的协作关系来推断用户对项目的偏好。这种建模范式丢弃了基本的语义信息。尽管 P5 和 CTR-BERT 等一些作品已经探索了使用预训练语言模型 (PLM) 提取语义信号以进行 CTR 预测的潜力，但它们的计算成本高昂且效率低下 ...