多模式大语模型(MLLM)在一般视觉任务中表现出了令人印象深刻的表现。但是,最近的研究暴露了其空间推理能力的关键局限性。空间推理的这种缺乏显着限制了MLLM与物理世界有效互动的能力,从而限制了其更广泛的应用 ...
大型语言模型(LLMS)在各种自然语言处理任务中表现出了出色的表现。但是,如何全面,准确地评估其绩效成为要解决的紧迫问题。本文介绍了Gaokao Bench,这是一种直观的基准,该基准采用了中国Gaokao考试的问题作为测试样本,包括主观和客观问题。为了与人类检查方法保持一致,我们设计了一种基于零摄影设置的方法来评估LLM的性能 ...
检索增强的生成(RAG)系统依靠检索模型来识别相关的上下文和回答生成模型以利用这些上下文。 However, retrievers exhibit imperfect recall and precision, limiting downstream performance.我们介绍了RAG-RL,这是一种答案生成模型,不仅培训了为了产生答案,还可以识别并引用相关信息,从较大的检索到的上下文中,从 ...
近年来,很少有射击对象检测(FSOD)广泛引起人们的关注,并取得了重大进展,因为它可以使用非常有限的注释数据构建具有良好概括能力的模型。基于微调的范式目前正主导该领域,在该领域中,检测器最初是在具有足够样品的基类上进行预训练的,然后对具有很少样本的新颖的探测器进行了微调,但是新颖类的标记样品的稀缺性极大地干扰了它们的数据分布,从而妨碍了性能。为了解决这个问题,我们为FSOD提出了一个新框架,即基于 ...
视频生成模型可以视为世界模拟器,因为它们能够捕获现实世界中固有的动态,连续变化的能力。这些模型在视觉,时间,空间和因果关系上整合了高维信息,从而可以预测各种状态的受试者。自然而有价值的研究方向是探索高维空间中训练有素的视频生成模型是否可以有效地支持较低维度的任务,例如可控的图像生成 ...
手势可以实现非语言人类机器人的交流,尤其是在敏捷生产等嘈杂的环境中。传统的基于深度学习的手势识别依赖于特定于任务的架构,使用图像,视频或骨骼姿势估计作为输入。同时,具有强大概括能力的视觉基础模型(VFM)和视觉语言模型(VLM)通过替换专用特定于任务的模块来降低系统复杂性的潜力 ...
不同的基本语言模型家族,例如骆驼和QWEN,在加强学习后培训期间表现出不同的行为(RL),尤其是在推理密集型任务上。是什么使基本语言模型适合加固学习?深入了解这个问题对于开发下一代的RL尺度基础模型至关重要。在这项工作中,我们研究了中期训练策略如何塑造RL动态,重点是两个代表性的模型家族:Qwen和Llama ...
DeNoising扩散模型在以自然语言描述为条件的人类运动合成中表现出了巨大的希望。然而,尽管对于弥合孤立的人类运动及其周围环境之间的差距至关重要,但整合空间限制(例如预定义的运动轨迹和障碍)仍然是一个挑战。为了解决这个问题,我们提出了指导运动扩散(GMD),该方法将空间约束纳入运动生成过程 ...