Backdoor Cleaning without External Guidance in MLLM Fine-tuning

多模式的大语言模型（MLLM）越来越多地部署在微调AS-AS-AS-AS-Service（FTAAS）设置中，其中用户提交的数据集将通用通用模型适应下游任务。但是，这种灵活性引入了严重的安全风险，因为恶意微调可以以最小的努力将后门植入MLLM。在本文中，我们观察到后门通过引起异常注意力集中在非语义区域的异常注意力来系统地破坏跨模式处理 - 这种现象我们称注意力崩溃 ...

Handling Spatial-Temporal Data Heterogeneity for Federated Continual Learning via Tail Anchor

联合持续学习（FCL）允许每个客户从任务流不断更新其知识，从而增强了在现实世界中联合学习的适用性。但是，FCL不仅需要解决客户之间的空间数据异质性，还需要解决任务之间的时间数据异质性。在本文中，经验实验表明，这种输入水平的异质性显着影响模型的内部参数和输出，从而导致严重的时空灾难性遗忘局部和先前的知识 ...

Analytic Federated Learning

在本文中，我们介绍了分析性联合学习（AFL），这是一种新的培训范式，将联邦学习（FL）社区带来分析（即封闭形式）解决方案 ...

Parallel Sequence Modeling via Generalized Spatial Propagation Network

我们提出了广义的空间传播网络（GSPN），这是一种针对固有捕获2D空间结构的视觉任务优化的新注意机制。现有的注意模型，包括 Transformer ，线性注意力和诸如Mamba的状态空间模型，作为1D序列的多维数据，损害空间相干性和效率。 GSPN通过直接在空间相干的图像数据上运行并通过线扫描方法形成密集的成对连接来克服这些局限性 ...

FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition

尽管经过微调后，在各种任务上的表现都出色，但由于对集中式培训方法中数据的隐私问题日益增长，预先培训的语言模型（PLM）仍面临重大挑战。在本文中，我们认为联合学习（FL）对PLM进行了微调。但是，PLM中的大量参数对于通信和计算资源有限的客户设备构成了重大困难 ...

TrojLLM: A Black-box Trojan Prompt Attack on Large Language Models

大型语言模型（LLM）逐渐被用作机器学习服务和用于各种应用程序的接口工具。但是，LLM的安全含义，尤其是与对抗和特洛伊木马攻击有关的，仍未得到充分检查。在本文中，我们提出了Trojllm，这是一种自动和黑盒框架，以有效地产生通用和隐形的触发器 ...

Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift

指令调整增强了大型视觉模型（LVLM），但由于开放设计而增加了他们对后门攻击的脆弱性。与静态环境中的先前研究不同，本文探讨了在不匹配的培训和测试域中调整LVLM指令中的后门攻击。我们介绍了一个新的评估维度，后门域的概括，以评估视觉和文本域移动下的攻击鲁棒性 ...

Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning

联邦学习中的数据异质性，其特征是本地和全球分布之间的严重未对准，导致局部优化方向不同，并阻碍了全球模型培训。现有研究主要集中于优化本地更新或全球聚合，但是这些间接方法在处理高度异构的数据分布时表明了不稳定，尤其是在标签偏斜和域偏斜并存的情况下。为了解决这个问题，我们提出了一种几何学引导的数据生成方法，该方法集中于在本地模拟全局嵌入分布 ...

BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks on Large Language Models

生成的大语言模型（LLM）在各种任务上取得了长足的进步，但它们仍然容易受到后门攻击的影响，在此提示中，特定的触发器会导致LLM产生对手态的响应。尽管大多数后门研究都集中在视觉或文本分类任务上，但文本生成中的后门攻击在很大程度上被忽略了。在这项工作中，我们介绍了\ textit {Backdoorllm}，这是研究对LLMS的后门攻击的第一个全面基准 ...

Lurking in the shadows: Unveiling Stealthy Backdoor Attacks against Personalized Federated Learning

Federated Learning（FL）是一种协作机器学习技术，其中多个客户与Central Server合作训练全球模型而无需共享其私人数据。但是，在非IID客户端数据集上的分布变化对这种单模型拟合的方法提出了一个挑战，该方法阻碍了全局模型有效适应每个客户端的唯一本地数据的能力。为了回应这一挑战，个性化的FL（PFL）旨在允许每个客户创建针对其私人数据量身定制的个性化本地模型 ...