在写作和说话时，人们有时会停下来思考。尽管以推理为中心的作品通常将推理视为回答问题或完成代理任务的方法，但推理几乎隐含在所有书面文本中。例如，这适用于证明的字里行间未说明的步骤或对话背后的心理理论 ...
在科学研究及其应用中，科学文献分析至关重要，因为它使研究人员能够以他人的工作为基础。然而，科学知识的快速增长导致学术文章大量增加，使得深入的文献分析变得越来越具有挑战性和耗时。大型语言模型（LLM）的出现为应对这一挑战提供了一种新方法 ...
我们提出了一种利用光子在位于量子网络空间分离节点的原子之间实现理想量子传输的方案。该传输协议采用特殊的激光脉冲，激发发送节点光学腔内的原子，使其状态映射到时间对称的光子波包中，该光子波包将进入接收节点的腔体并被接收节点处的原子吸收。可能性。我们的方案的实施将能够实现空间遥远的原子之间纠缠的可靠转移或共享 ...
本文提供了调查传播的新概念视角，这是统计物理学界最近推出的一种迭代算法，即使密度接近可满足性阈值，它在解决随机 k-SAT 问题方面也非常有效。我们首先描述任何 SAT 公式如何与新的马尔可夫随机场 (MRF) 系列相关联，由 [0,1] 中的实数 \rho \ 参数化。然后我们证明，将置信传播（一种用于估计边际概率的众所周知的“消息传递”技术）应用于这一系列 MRF 可以恢复一系列已知的算法，范围从极端的纯调查传播（\rho = 1) 到另一个极端 (\rho = 0) 上 SAT 分配的均匀分布的标准置信传播 ...
在大型文本数据语料库上预训练大型语言模型 (LLM) 现在已成为一种标准范例。当将这些 LLM 用于许多下游应用程序时，通常会额外吸收新知识（例如， ...
基因组 (DNA) 序列编码大量用于基因调控和蛋白质合成的信息。与自然语言模型类似，研究人员提出了基因组学的基础模型，从未标记的基因组数据中学习可概括的特征，然后可以针对下游任务（例如识别调控元件）进行微调。由于注意力的二次缩放，之前基于 Transformer 的基因组模型使用 512 到 4k 个标记作为上下文(<0. ...
UMAP（统一流形逼近和投影）是一种新颖的降维流形学习技术。 UMAP 是根据黎曼几何和代数拓扑的理论框架构建的。结果是一种适用于现实世界数据的实用可扩展算法 ...
用于语音表示学习的自监督方法面临三个独特问题的挑战：（1）每个输入单词都有多个声音单元，（2）在预训练阶段没有输入声音单元的搜索，以及（3）声音单元的长度可变，没有明确的结构。为了解决这三个问题，我们提出了用于自监督语音表示学习的隐藏单元 BERT (HuBERT) 方法，该方法利用背光步骤进行类似 BERT 的预测损失提供瞄准的目标标签。我们方法的一个关键要素是仅在照明区域应用预测损失，该模型在连续输入上学习组合的声学和语言模型... ...
Transformer 已成为最先进的自然语言处理模型的基石，在各种人工智能应用中展示了卓越的性能。然而，Transformers 中的自注意力机制和大型前馈网络带来的内存需求限制了它们处理长序列的能力，从而为涉及多个长序列或长期依赖的任务带来了挑战。我们提出了一种独特的方法，即块式并行 Transformer （BPT），它利用自注意力和前馈网络融合的块式计算来最小化内存成本 ...
我们引入了一种基于价值的 RL 代理，我们称之为 BBF，它在 Atari 100K 基准测试中实现了超人类的性能。 BBF 依赖于缩放用于值估计的神经网络，以及许多其他设计选择，以样本有效的方式实现这种缩放。我们对这些设计选择进行广泛的分析，并为未来的工作提供见解 ...