深度学习提供了强大的方法来从大规模非结构化文本和图像数据集中推断结构化信息。例如，经济学家可能希望检测卫星图像中经济活动的存在，或者衡量社交媒体、国会记录或公司文件中提到的主题或实体。这篇综述介绍了深度神经网络，涵盖了分类器、回归模型、生成式人工智能和嵌入模型等方法 ...
欧几里德几何的持久遗产支撑着经典机器学习，几十年来，经典机器学习主要是针对欧几里德空间中的数据开发的。然而，现代机器学习越来越多地遇到本质上非欧几里德的丰富结构化数据。这些数据可以表现出复杂的几何、拓扑和代数结构：从时空曲率的几何形状，到大脑中神经元之间拓扑复杂的相互作用，再到描述物理系统对称性的代数变换 ...
设备上的大语言模型 (LLM) 正在催生新颖的移动应用程序，例如 UI 任务自动化和个性化电子邮件自动回复，而不会泄露用户的私人数据。然而，由于需要长上下文来生成准确、个性化的内容，以及缺乏移动 CPU 的并行计算能力，设备上的 LLM 仍然存在不可接受的长推理延迟，尤其是第一个 Token 的时间（预填充阶段） /GPU。为了实现实用的设备上 LLM，我们推出了 mllm-NPU，这是首款有效利用设备上神经处理单元 (NPU) 卸载的 LLM 推理系统 ...
我们研究一类优化问题，其动机是自动设计和更新人工智能系统，例如编码助手、机器人和副驾驶。我们提出了一种端到端优化框架 Trace，它将人工智能系统的计算工作流程视为类似于神经网络的图，基于反向传播的推广。计算工作流程的优化通常涉及丰富的反馈（例如 ...
基础模型的开发吸引了迅速扩大的贡献者、科学家和应用程序群体。为了帮助塑造负责任的开发实践，我们引入了基础模型开发速查表：涵盖文本、视觉和语音模式的 250 多种工具和资源，并且不断增长。我们利用大量先前的工作来调查资源（例如， ...
我们针对机器学习的扩散模型和流量匹配提供了一个易于理解的第一门课程，针对没有扩散经验的技术受众。我们尝试尽可能地简化数学细节（有时是启发式的），同时保留足够的精度来导出正确的算法 ...
生成人工智能 (GenAI) 系统越来越多地部署在工业和研究环境的各个部分。开发人员和最终用户通过使用提示或提示工程与这些系统进行交互。虽然提示是一个广泛且经过深入研究的概念，但由于该领域的新生，存在着相互冲突的术语和对提示的构成的本体论理解很差 ...
大型语言模型 (LLM) 的最新进展促进了复杂代理工作流程的发展，提供了对传统单路径、思想链 (CoT) 提示技术的改进。这项调查总结了常见的工作流程，特别关注 LLM 组件 (LMPC) 和对非 LLM 组件的忽略。这种探索背后的原因是为了促进对 LLM 角色的更清晰的理解，并了解 LMPC 的可重用性 ...
快速设计和工程已迅速成为最大限度发挥大型语言模型潜力的关键。在本文中，我们介绍了核心概念、思想链和反射等先进技术，以及构建基于 LLM 的代理背后的原理。最后，我们为即时工程师提供了工具调查 ...
大语言模型 (LLM) 等基础模型因其理解和生成内容（包括具有推理能力的计划）的能力而被广泛认为是变革性的人工智能技术。基于基础模型的代理从基础模型的功能中获得自主权，这使它们能够自主地将给定目标分解为一组可管理的任务，并协调任务执行以实现目标。尽管在构建基于基础模型的代理方面付出了巨大的努力，但代理的架构设计尚未得到系统的探索 ...