视觉接地的重点是基于语言表达式从图像中检测对象。最近的大型视觉模型（LVLM）通过使用大型数据集训练大型模型具有显着高级的视觉接地性能。但是，问题仍然具有挑战性，尤其是当输入图像中出现类似对象时 ...

先前关于多模式实体联系（MEL）的研究主要采用对比度学习为主要目标。但是，将其余的批次用作负面样本而无需仔细考虑，这些研究可能会利用简单的功能，并可能忽略使实体独特的基本细节。在这项工作中，我们提出了JD-CCL（基于Jaccard距离的条件对比学习），这是一种新型方法，旨在增强匹配多模式实体链接模型的能力 ...

在本报告中，我们介绍了智力1，这是在全球范围内协作培训的前100亿个参数语言模型，表明大型模型培训不再局限于大型公司，而是可以通过分布式，社区驱动的方法来实现。对1万亿 Token 进行了培训，该 Token 使用了多达14个在3大洲分布的并发节点，其中30个独立的计算提供商的贡献动态加入并离开训练过程，同时保持83-96％的计算利用率和36.2-41 ...

我们提出了 TransNormerLLM，这是第一个基于线性注意力的大语言模型 (LLM)，它在准确性和效率方面都优于传统的基于 softmax 注意力的模型。 TransNormerLLM 从之前的线性注意力架构 TransNormer 发展而来，进行了高级修改，包括位置嵌入、线性注意力加速、门控机制、张量归一化以及推理加速和稳定。具体来说，我们将 LRPE 与指数衰减结合使用，以避免注意力稀释 ...

llm）通常会在数十亿个 Token ，只有在新数据可用时才会重新启动该过程。一个更便宜、更有效的解决方案是对这些模型进行持续的预训练，只有在新数据可用时才会重新启动该过程。一个更便宜、更有效的解决方案是对这些模型进行持续的预训练，即... ...

自我注意力是大语言模型（LLM）的重要组成部分，但是长序列的重要推理潜伏期。在多租户LLM服务方案中，可以通过使用多个LLM请求在前缀中具有共享系统提示的概率来优化自我注意力的计算和内存操作成本。在本文中，我们介绍了bunkattention，这是一种前缀感知的自我发项模块，可以检测到多个请求的匹配及时前缀，并在运行时共享其密钥/值张量，以改善KV CACHE的内存利用率 ...

离线强化学习（RL）旨在使用预先收集的数据集找到接近最优的策略。在现实场景中，数据收集可能成本高昂且存在风险；因此，当域内数据有限时，离线强化学习变得特别具有挑战性。鉴于大型语言模型 (LLM) 的最新进展及其小样本学习能力，本文介绍了用于 $\textbf{Mo}$tion 控制的 $\textbf{La}$nguage 模型 ($\textbf{LaMo}$)，基于决策转换器的通用框架，可有效 ...

实时投标（RTB）是在线展示广告中的重要机制，在此广告中，每个页面视图的适当竞标在良好的营销结果中起着至关重要的作用。预算限制的投标是RTB中的典型情况，广告商希望在预设预算限制下最大化获胜印象的总价值。但是，由于拍卖环境的复杂性和波动性，很难得出最佳的招标策略 ...