与Web3集成的AI代理提供了自主性和开放性,但在与财务协议和不变的智能合约互动时引起了安全问题。本文在现实世界中面临对抗性威胁时,研究了基于区块链的金融生态系统中AI代理的脆弱性。我们介绍了上下文操作的概念 - 一个综合攻击向量,利用未保护的上下文表面,包括输入通道,内存模块和外部数据馈送 ...
通过合并外部的,最新的知识源来提高大语言模型(LLMS)的功能,以提高大型语言模型(LLM)的能力的强大方法出现。但是,这引入了对知识中毒攻击的潜在脆弱性,在这种攻击者中,攻击者可能会损害知识源以误导生成模型。一种这样的攻击是毒药,其中注入的对抗文本引导该模型对目标问题产生攻击者选择的回答 ...
可控性已成为值得信赖的机器学习的关键方面,使学习者能够满足预定义的目标并在测试时间动态适应,而无需随着目标的转移而进行重新训练。我们提供了可控学习(CL)的正式定义,并在信息检索(IR)中讨论了信息需求通常是复杂且动态性的应用。该调查根据可控的内容对CL进行分类(e ...
世界建模已成为AI研究的基石,使代理商能够理解,代表和预测他们所居住的动态环境。尽管先前的工作在很大程度上强调了2D图像和视频数据的生成方法,但它们忽略了利用本机3D和4D表示的快速增长的工作,例如RGB-D图像,占用网格和LIDAR点云用于大规模场景建模。同时,缺乏对``世界模型''的标准化定义和分类法,导致文献中的主张分散,有时甚至不一致 ...
Interactive image synthesis from user-guided input is a challenging task when users wish to control the scene structure of a generated image with this http URL remarkable progress has been made on lay ...
扩散 Transformer (DITS)主导了视频生成,但它们的高计算成本严重限制了现实世界的适用性,通常需要数十分钟即使在高性能GPU上也会生成几秒钟的视频。这种低效率主要来自3D的二次计算复杂性,相对于上下文长度。在本文中,我们提出了一个称为稀疏视频原(SVG)的无训练框架,该框架利用3D的固有稀疏性充分注意提高推理效率 ...
随着最近在学习深度生成模型方面取得的显着进展,开发用于从可重构输入进行可控图像合成的模型变得越来越有趣。本文重点关注最近出现的一项任务,即布局到图像,以学习能够从空间布局(即空间布局)合成照片级真实感图像的生成模型... ...
布局到图像生成是指基于语义布局综合照片真实图像的任务。在本文中,我们提出了LayoutDiffuse,该LayoutDiffuse适用于在大规模图像或文本图像数据集上预测的基础扩散模型,以进行布局至图像生成。通过基于布局的关注和任务意识提示,通过采用新型的神经适配器,我们的方法有效地训练了具有高感知质量和布局对齐的图像,并且需要更少的数据 ...