大型语言模型(LLMS)的快速进步加剧了由于模型参数缩放和硬件功能之间的差距的扩大而加剧了内存瓶颈。虽然训练后量化(PTQ)技术有效地减少了内存开销,但现有方法主要依赖于静态量化策略,这些策略难以适应动态工作负载。为了解决这个问题,我们提出了Flexquant,这是一个动态的精确开关框架,可优化推理速度和准确性之间的权衡 ...
在交互式闭环交通模拟中实现现实主义和可控性仍然是自主驾驶中的关键挑战。数据驱动的仿真方法重现了逼真的轨迹,但遭受了闭环部署的协变量转移,并通过简化的动态模型复杂化,这些模型进一步降低了可靠性。相反,基于物理的仿真方法增强了可靠且可控的闭环相互作用,但通常缺乏专家演示,损害了现实主义 ...
最近,自我监督的学习吸引了极大的关注,因为它仅需要用于模型培训的未标记数据。对比学习是一种自我监督学习的一种流行方法,并实现了有希望的经验表现。但是,对其概括能力的理论理解仍然有限 ...
实时和高性能3D对象检测在自动驾驶和机器人技术中起着至关重要的作用。最近基于支柱的3D对象探测器由于其紧凑的表示和低计算开销而引起了人们的关注,因此它们适合于车载部署和量化。但是,现有的基于支柱的检测器仍然沿高度尺寸损失信息损失,并且在支柱特征编码(PFE)期间的数值差异很大,这严重限制了其性能和量化潜力 ...
粗颗粒可重构阵列(CGRA)是域 - 不合稳定加速器,可提高资源约束的边缘设备的能效。 CGRA景观是多种多样的,在性能,效率和建筑专业化之间表现出权衡。但是,CGRA通常相对于其适度的计算功能过度提供通信资源 ...
人工智能(AI)的最新进展已经产生了高度强大且可控制的系统。这为结构化推理以及多个AI系统和人类之间的协作创造了前所未有的机会。为了充分发挥这种潜力,必须开发一种设计和研究这种结构化相互作用的原则方法 ...
大语言模型(LLM)应用的激增引起了人们对误导或捏造信息的产生(称为幻觉)的担忧。因此,检测幻觉对于维持对LLM生成的内容的信任至关重要。学习真实分类器的主要挑战是缺乏大量标记的真实和幻觉的数据 ...
本地多模式大型语言模型(MLLM)将单个大语言模型(LLM)重组成能够语音和文本生成的口语模型(SLM)。与模块化和对齐的MLLM相比,本机MLLM保留了更丰富的副语言特征,例如情感和韵律,并直接在主干LLM中产生语音响应,而不是使用单独的语音解码器。这种整合还导致响应潜伏期较低,相互作用更平滑 ...