越来越大的数据集已成为推进NLP最新技术的标准成分。但是,数据质量可能已经成为解锁进一步增长的瓶颈。鉴于现代数据集的多样性和大小,由于有害数据的多方面性和过滤规则的省力,标准数据过滤并不是直接应用的,这些滤波器的多方面性将跨多个任务概括 ...
时间序列分类(TSC)是时间序列分析中的重要任务。现有的TSC方法主要是分别在每个单个域上训练,当训练样品在某些域中不足时,精度的降解症。预训练和微调范式为解决此问题提供了有希望的方向 ...
模拟围绕任意形状的流体流是解决各种工程问题的关键。但是,在复杂几何形状上模拟流体物理学在数值上仍然具有挑战性和计算资源密集型,尤其是在使用常规的PDE求解器时。机器学习方法为创建快速和适应性的PDE求解器提供了有吸引力的机会 ...
知识蒸馏(KD)是一种有价值但充满挑战的方法,可以通过从高性能但繁琐的教师模型中学习来增强紧凑的学生网络。但是,先前用于图像恢复的KD方法忽略了蒸馏过程中学生的状态,采用了限制KD能力的固定解决方案空间。此外,仅依靠L1型损失努力来利用图像的分布信息 ...
大型语言模型(LLMS)在多个任务上表现出令人印象深刻的性能,并越来越多地部署在现实世界应用程序中。但是,尤其是在高风险设置中,了解LLM的输出何时可能不可靠变得至关重要。根据答案是否值得信赖,系统可以选择将问题路由将问题路由到另一个专家,或者以其他方式依靠安全的默认行为 ...
大型语言模型(LLMS)倾向于在序列中大量参加第一个 Token - 创建了所谓的注意力台。许多作品已经详细研究了这一现象,提出了各种利用或减轻这种现象的方法。注意水槽已与定量困难,安全问题和流媒体关注有关 ...
从人类反馈(RLHF)中学习的强化已成为将大语言模型(LLMS)与人类偏好保持一致的关键技术。为了学习奖励功能,大多数现有的RLHF算法都使用Bradley-Terry模型,该模型依赖于对人类偏好的假设,这些假设可能无法反映现实世界判断的复杂性和可变性。在本文中,我们提出了一种强大的算法,以在此类奖励模型中提高现有方法的性能 ...
灾难性遗忘是持续学习的主要挑战之一。为了解决此问题,一些现有方法对新任务的优化空间施加了限制性限制,以最大程度地减少对旧任务的干扰。但是,这可能会导致新任务的性能不令人满意,尤其是当新任务与旧任务密切相关时 ...