A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning

基础模型通过在大规模数据集上提供了强大的多功能体系结构来彻底改变人工智能。但是，将这些庞大的模型适应特定的下游任务需要微调，这在计算资源中可能非常昂贵。参数有效的微调（PEFT）方法仅通过选择性更新一小部分参数来应对这一挑战 ...

Backdoor Token Unlearning: Exposing and Defending Backdoors in Pretrained Language Models

监督的微调已成为将大型审慎模型适应下游任务的主要方法。但是，最近的研究表明，这些模型容易受到后门攻击的影响，即使是少数恶意样本也可以成功地将后门触发器嵌入到该模型中。尽管大多数现有的防御方法都集中在训练后的后门防御上，但在训练阶段，有效防御后门攻击仍然在很大程度上没有探索 ...

Reflecting on Design Paradigms of Animated Data Video Tools

近年来，动画数据视频已广受欢迎。但是，由于创建和协调各种组件的复杂性，创作的数据视频仍然具有挑战性（例如 ...

Blades: A Unified Benchmark Suite for Byzantine Attacks and Defenses in Federated Learning

联合学习（FL）促进了跨不同物联网和边缘设备的分布培训，从而保护了数据的隐私。 FL的固有分布结构引入了漏洞，尤其是从旨在使本地更新偏向其优势的对抗设备。尽管大量的研究着重于拜占庭式的FL，但学术界尚未建立一个全面的基准套件，是公正评估和对不同技术的比较的关键 ...

Backdoor Attacks in Federated Learning by Rare Embeddings and Gradient Ensembling

联合学习的最新进展表明了其在分散数据集中学习的有希望的能力。但是，由于参与该框架的对手可能出于对抗目的毒化全球模型的潜在风险，因此引起了大量工作。本文通过NLP模型的稀有单词嵌入来研究模型中毒对后门攻击的可行性 ...

BadFair: Backdoored Fairness Attacks with Group-conditioned Triggers

攻击公平是至关重要的，因为受损的模型可以引入偏见的结果，破坏信任并扩大招聘，医疗保健和执法等敏感应用的不平等现象。这凸显了迫切需要了解如何利用公平机制并开发确保公平和稳健性的防御能力。我们介绍了Badfair，这是一种新型的后式公平攻击方法 ...

FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models

基础模型在处理多种方式和任务方面表现出了非凡的功能，优于传统的人工智能（AI）方法，这些方法是高度特定于任务和模态的。但是，在医疗领域中，综合基础模型的开发受到有限的不同方式和严格的隐私法规的限制。为了解决这些限制，本研究介绍了一种新颖的知识注入方法，FEDKIM旨在扩展联合学习框架内的医学基础模型 ...

Federated Foundation Models on Heterogeneous Time Series

培训从头开始的各种应用程序具有强大的泛化功能的通用时间序列基础模型仍然是一个挑战。努力主要集中于融合跨域时间序列数据集，以提取共同的子序列，作为 Transformer 体系结构的培训模型的 Token 。但是，由于跨域之间的统计异质性很大，这种跨域融合方法与融合文本和图像的有效作用并不相同 ...

Federated Learning in Mobile Networks: A Comprehensive Case Study on Traffic Forecasting

移动网络中对有效资源分配的需求不断增长，促进了对创新解决方案的探索，这些解决方案可以增强实时蜂窝交通预测的任务。在这种情况下，联邦学习（FL）是一种分布式和隐私的解决方案，可以促进不同站点之间的协作，从而实现响应迅速的近距离解决方案。在本文中，我们通过使用来自巴塞罗那基地站（BSS）的现实世界数据（西班牙）的现实世界数据进行的案例研究来全面研究FL在电信中的潜在好处 ...

Unveiling Backdoor Risks Brought by Foundation Models in Heterogeneous Federated Learning

基础模型（FMS）已用于生成合成公共数据集，以解决每个客户使用唯一的模型体系结构的异质联合学习（HFL）问题。但是，在HFL上下文中并未对整合FMS的漏洞，尤其是针对后门攻击的漏洞。在本文中，我们引入了一种新型的HFL后门攻击机制，该机制规避了对客户妥协或持续参与FL过程的需求 ...