当利用语言模型进行推理任务时，生成明确的思维链 (CoT) 步骤通常对于实现最终输出的高精度至关重要。在本文中，我们研究是否可以训练模型来内化这些 CoT 步骤。为此，我们提出了一种简单而有效的内化 CoT 步骤的方法：从经过显式 CoT 推理训练的模型开始，我们逐渐删除中间步骤并对模型进行微调 ...

嵌入式人工智能（Embodied AI）对于实现通用人工智能（AGI）至关重要，并且是连接网络空间和物理世界的各种应用的基础。最近，多模态大型模型（MLM）和世界模型（WM）的出现因其卓越的感知、交互和推理能力而引起了极大的关注，使它们成为具身智能体大脑的有前途的架构。然而，目前还没有针对传销时代的嵌入式人工智能的全面调查 ...

图神经网络（GNN）推动了图结构数据分析的进步。最近，像 GPT-4 这样的大型语言模型 (LLM) 的兴起预示着深度学习的新时代的到来。然而，由于将图结构翻译成语言的固有困难，它们在图数据上的应用提出了明显的挑战 ...

在大型模型、海量数据集、加速硬件以及最后但并非最不重要的可微分编程的变革力量的推动下，人工智能最近经历了显着的进步。这种新的编程范式可以实现复杂计算机程序（包括具有控制流和数据结构的程序）的端到端区分，从而使基于梯度的程序参数优化成为可能。作为一种新兴的范式，可微分编程建立在计算机科学和应用数学的多个领域之上，包括自动微分、图形模型、优化和统计 ...

自动驾驶有可能彻底改变个人、公共和货运出行。除了感知的巨大挑战之外，即 ...

开放知识图谱（KG）补全的使命是从已知事实中得出新的发现。现有的增强知识图谱补全的工作需要（1）事实三元组来扩大图形推理空间，或者（2）手动设计的提示来从预先训练的语言模型（PLM）中提取知识，但性能有限并且需要专家付出昂贵的努力。为此，我们提出 TAGREAL，它自动生成高质量的查询提示并从大型文本语料库中检索支持信息，以探测 PLM 中的知识以完成 KG ...

在不断发展的自然语言处理 (NLP) 领域，使用 SGD 和 Adam 等一阶 (FO) 优化器微调预训练的大型语言模型 (LLM) 已成为标准。然而，随着 LLM 规模的增长，FO 梯度计算的反向传播 (BP) 产生的大量内存开销提出了重大挑战。解决这个问题至关重要，特别是对于设备上训练等内存效率至关重要的应用程序 ...

我们提出了一种用于大规模推荐系统中用户表示的新颖框架，旨在以通用方式有效地表示不同的用户品味。我们的方法采用结合表示学习和迁移学习的两阶段方法。表示学习模型使用自动编码器将各种用户特征压缩到表示空间中 ...