图像自适应查找表(LUTS)由于对颜色变换进行建模的高效率,在实时图像增强任务中取得了巨大的成功。但是,他们以耦合方式将完整的变换嵌入了仅颜色组件独立于颜色的部分和与组件相关的部分,仅以1D或3D的形式嵌入到单一类型的LUT中。由于两个因素,该方案提高了改善模型表现力或效率的困境 ...
来自单眼视频的人类网格重建(HMR)在人类机器人的互动与协作中起着重要作用。但是,现有的基于视频的人网状重建方法在准确的重建和平稳运动之间面临着权衡。这些方法基于RNN或注意机制设计网络,以提取本地时间相关性或全球时间依赖性,但是缺乏互补的长期信息和本地细节会限制其性能 ...
已经提出了许多关键点检测和描述方法用于图像匹配或注册。尽管这些方法证明了单模性图像匹配的有希望的性能,但它们通常在多模式数据上挣扎,因为对单模式数据训练的描述符往往缺乏针对多模式数据中存在的非线性变化的鲁棒性。将这种方法扩展到多模式图像匹配通常需要良好的多模式数据来学习模态不变的描述符 ...
用嘈杂的标签进行深度学习是弱监督学习的一个有趣挑战。尽管具有很高的学习能力,但CNN仍具有在带有嘈杂标签的样品的情况下过度合适的趋势。减轻此问题,众所周知的共同培训框架被用作我们工作的基本基础 ...
文本到歌曲的生成是通过文本输入创建人声和伴奏的任务,由于域的复杂性和数据稀缺而构成了重大挑战。现有方法通常采用多阶段生成程序,从而导致繁琐的培训和推理管道。在本文中,我们提出了Songgen,这是一种完全开源的,单阶段的自动回归 Transformer ,专为可控歌曲的生成而设计 ...
幽默在日常语言交流中起着重要作用。随着大型语言模型(LLM)的快速发展,自然语言处理在理解和生成各种流派的文本方面取得了重大进步。但是,大多数LLM在产生和处理中国幽默方面表现出色 ...
大型语言模型(LLMS)的最新进展已大大提高了文本到SQL任务的性能。但是,先前的方法通常依赖于推理时间提供的静态,预处理的数据库信息,这限制了模型充分理解数据库内容的能力。如果没有动态交互,LLM将被限制为固定的,人为提供的上下文,并且无法自主探索基础数据 ...
在文本到SQL任务的上下文中,表和列描述对于弥合自然语言和数据库架构之间的差距至关重要。本报告提出了一种方法,用于自动生成有效数据库描述时,当显式描述不可用时。所提出的方法采用双处理方法:一种粗到五个过程,然后进行精细到核的过程 ...
视觉语言模型(VLMS)显示出对自动驾驶的希望,但他们与幻觉,效率低下的推理和有限的现实验证的斗争阻碍了准确的感知和稳健的逐步推理。为了克服这一点,我们介绍了AgentThink,这是一个开创性的统一框架,该框架首次将思想链(COT)推理与动态,代理风格的工具调用有关自主驾驶任务。 AgentThink的核心创新包括:(i)结构化数据生成,建立一个自动驾驶工具库,以自动构建结构化的,自我验证的推理数据,以明确合并工具用法,以实现各种驾驶场景; (ii)采用有监督的微调(SFT)的两阶段培训管道,具有相对政策优化(GRPO),以配备VLMS的自主工具调用能力; (iii)代理风格的工具使用评估,引入了一种新型的多工具评估协议,以严格评估模型的工具调用和利用率 ...
幻觉仍然是LLM的持续挑战。抹布旨在通过在上下文中扎根响应来减少幻觉。但是,即使提供上下文,LLMS仍然经常引入不支持的信息或矛盾 ...