联邦学习是隐私保护协作模型训练的一种有前途的范例。在实践中，不仅需要不断训练模型来获取新知识，而且还要保证旧知识的被遗忘权（即联合遗忘），特别是对于隐私敏感信息或有害知识。然而，当前的联合遗忘方法面临着一些挑战，包括跨客户端知识的无差别遗忘、遗忘的不可逆性以及巨大的遗忘成本。为此，我们提出了一种名为 FUSED 的方法，该方法首先通过分析每一层对知识的敏感性来识别关键层，并为敏感层构建稀疏的不可学习适配器。然后，在不改变原始参数的情况下对适配器进行训练，用剩余的知识覆盖未学习的知识。这种知识覆盖过程使 FUSED 能够减轻不加区别地遗忘的影响。此外，独立适配器的引入使得忘却是可逆的，并显着降低了忘却成本。最后，对不同遗忘场景的三个数据集进行的广泛实验表明，FUSED 的有效性与再训练相当，超越所有其他基线，同时大大降低遗忘成本 ...
随着 CLIP 等强大的预训练视觉语言模型的兴起，研究使这些模型适应下游数据集的方法变得至关重要。最近提出的一种名为上下文优化 (CoOp) 的方法将即时学习的概念（自然语言处理的最新趋势）引入了视觉领域，以适应预先训练的视觉语言模型。具体来说，CoOp 将提示中的上下文单词转换为一组可学习的向量，并且只需少量标记图像即可进行学习，与经过精心调整的手动提示相比，可以实现巨大的改进。在我们的研究中，我们发现了 CoOp 的一个关键问题：学习到的上下文不能推广到同一数据集中更广泛的未见过的类，这表明 CoOp 过度拟合了训练期间观察到的基类。为了解决这个问题，我们提出了条件上下文优化（CoCoOp），它通过进一步学习轻量级神经网络来为每个图像生成输入条件标记（向量）来扩展 CoOp。与 CoOp 的静态提示相比，我们的动态提示会适应每个实例，因此对类别转换不太敏感。大量实验表明，对于未见过的类，CoCoOp 比 CoOp 的泛化能力要好得多，甚至显示出超越单个数据集的可迁移性；并产生更强的领域泛化性能。代码可从此 https URL 获取 ...
联邦学习（FL）虽然是去中心化机器学习的突破，但也面临着重大挑战，例如有限的数据可用性和计算资源的可变性，这些挑战可能会抑制模型的性能和可扩展性。将基础模型 (FM) 集成到 FL 中为这些问题提供了令人信服的解决方案，并有可能通过预训练和数据增强来增强数据丰富性并减少计算需求。然而，这种合并在鲁棒性、隐私性和公平性方面引入了新的问题，这些问题在现有的研究中尚未得到充分解决。我们通过系统地评估 FM-FL 集成在这些维度上的影响，对该领域进行了初步调查。我们分析所涉及的权衡，揭示这种集成带来的威胁和问题，并提出一套应对这些挑战的标准和策略。此外，我们还确定了推进该领域的潜在研究方向，为创建可靠、安全和公平的 FL 系统的未来发展奠定了基础 ...
协作公平是联邦学习中的一个关键挑战。然而，现有的方法常常忽视一种实际而复杂的异质性形式：不平衡的协变量偏移。我们提供了对此设置的理论分析，这激发了 FedAKD（联合异步知识蒸馏）的设计——一种简单而有效的方法，可以平衡准确预测与协作公平性。 FedAKD 由客户端和服务器更新组成。在客户端更新中，我们基于初步分析引入了一种新颖的异步知识蒸馏策略，该策略表明，虽然正确预测的样本在客户端之间表现出相似的特征分布，但错误预测的样本却表现出显着的变异性。这表明不平衡的协变量偏移主要是由错误分类的样本引起的。利用这种洞察力，我们的方法首先应用传统知识蒸馏来更新客户模型，同时保持全局模型固定。接下来，我们选择正确预测的高置信度样本，并使用这些样本更新全局模型，同时保持客户端模型固定。服务器更新只是聚合所有客户端模型。我们进一步提供了 FedAKD 收敛性的理论证明。公共数据集（FashionMNIST 和 CIFAR10）和现实世界电子健康记录 (EHR) 数据集的实验结果表明，即使在高度异构的数据分布下，FedAKD 也能显着改善协作公平性、提高预测准确性并促进客户参与 ...
基于提示的调整已成为大型视觉语言模型中全面微调的轻量级替代方案，通过学习的上下文提示实现有效的适应。这种范例最近已扩展到联合学习设置（例如 PromptFL），其中客户在数据隐私约束下协作训练提示。然而，联合多模态学习中基于提示的聚合的安全影响在很大程度上仍未得到探索，导致关键攻击面尚未得到解决。在本文中，我们介绍了 \textbf{BadPromptFL}，这是第一个针对多模态对比模型中基于提示的联邦学习的后门攻击。在 BadPromptFL 中，受感染的客户端联合优化本地后门触发器和提示嵌入，将中毒提示注入全局聚合过程。然后，这些提示会传播到良性客户端，从而在推理时启用通用后门激活，而无需修改模型参数。利用 CLIP 式架构的上下文学习行为，BadPromptFL 在可见性极低和客户端参与有限的情况下实现了高攻击成功率（例如，\(>90\%\)）。跨多个数据集和聚合协议的广泛实验验证了我们的攻击的有效性、隐蔽性和普遍性，引发了人们对基于提示的联合学习在现实世界部署中的稳健性的严重担忧 ...
生成的大语言模型（LLM）在各种任务上取得了长足的进步，但它们仍然容易受到后门攻击的影响，在此提示中，特定的触发器会导致LLM产生对手态的响应。尽管大多数后门研究都集中在视觉或文本分类任务上，但文本生成中的后门攻击在很大程度上被忽略了。在这项工作中，我们介绍了\ textit {Backdoorllm}，这是研究对LLMS的后门攻击的第一个全面基准 ...
随着 LLM 的快速发展和可及性的不断提高，微调对齐模型已成为使其适应现实世界应用的关键步骤，这使得微调过程的安全性比以往任何时候都更加重要。然而，最近的研究凸显了一个关键挑战：即使使用看似良性的下游数据集进行微调，对齐的 LLM 的安全性也可能受到损害，使它们更容易受到恶意指令的影响。在本文中，我们表明微调数据集通常包含具有安全降级特征的样本，这些特征在表面上不易识别。这些样本会在微调过程中显着降低 LLM 的安全性。为了解决这个问题，我们提出了 LARF，一种层感知表示过滤方法。该方法识别 LLM 中的安全敏感层，并利用其表示来检测训练后数据集中的哪些数据样本包含安全性降低的特征。实验结果表明，LARF 可以有效识别具有安全性降低特征的良性数据。删除此类数据后，可以减轻微调引起的安全对齐退化。请在此 https URL 中查看我们的代码 ...
随着机器学习 (ML) 算法越来越多地用于高风险应用，人们开始担心它们可能会对某些社会群体产生偏见。尽管已经提出了许多方法来使机器学习模型公平，但它们通常依赖于训练和部署中的数据分布相同的假设。不幸的是，这在实践中经常被违反，并且在训练期间公平的模型可能会在部署期间导致意外的结果 ...
参数有效的微调（PEFT）方法（例如低级适应（LORA））通过降低计算和通信成本来优化联合培训。我们建议使用交替优化的联合框架Rolora，以微调Lora适配器。我们的方法强调了向上下投影矩阵学习以增强表现力和鲁棒性的重要性 ...
大型语言模型（LLM）由于其重要的理解和处理文本能力而引起了人们的关注。然而，LLM在很大程度上仍然不透明。缺乏对LLM的了解阻碍了安全至关重要的情况的部署，并阻碍了更好的模型的发展 ...