联邦学习中的数据异质性,其特征是本地和全球分布之间的严重未对准,导致局部优化方向不同,并阻碍了全球模型培训。现有研究主要集中于优化本地更新或全球聚合,但是这些间接方法在处理高度异构的数据分布时表明了不稳定,尤其是在标签偏斜和域偏斜并存的情况下。为了解决这个问题,我们提出了一种几何学引导的数据生成方法,该方法集中于在本地模拟全局嵌入分布 ...
生成的大语言模型(LLM)在各种任务上取得了长足的进步,但它们仍然容易受到后门攻击的影响,在此提示中,特定的触发器会导致LLM产生对手态的响应。尽管大多数后门研究都集中在视觉或文本分类任务上,但文本生成中的后门攻击在很大程度上被忽略了。在这项工作中,我们介绍了\ textit {Backdoorllm},这是研究对LLMS的后门攻击的第一个全面基准 ...
Federated Learning(FL)是一种协作机器学习技术,其中多个客户与Central Server合作训练全球模型而无需共享其私人数据。但是,在非IID客户端数据集上的分布变化对这种单模型拟合的方法提出了一个挑战,该方法阻碍了全局模型有效适应每个客户端的唯一本地数据的能力。为了回应这一挑战,个性化的FL(PFL)旨在允许每个客户创建针对其私人数据量身定制的个性化本地模型 ...
基础模型通过在大规模数据集上提供了强大的多功能体系结构来彻底改变人工智能。但是,将这些庞大的模型适应特定的下游任务需要微调,这在计算资源中可能非常昂贵。参数有效的微调(PEFT)方法仅通过选择性更新一小部分参数来应对这一挑战 ...
监督的微调已成为将大型审慎模型适应下游任务的主要方法。但是,最近的研究表明,这些模型容易受到后门攻击的影响,即使是少数恶意样本也可以成功地将后门触发器嵌入到该模型中。尽管大多数现有的防御方法都集中在训练后的后门防御上,但在训练阶段,有效防御后门攻击仍然在很大程度上没有探索 ...
近年来,动画数据视频已广受欢迎。但是,由于创建和协调各种组件的复杂性,创作的数据视频仍然具有挑战性(例如 ...
联合学习(FL)促进了跨不同物联网和边缘设备的分布培训,从而保护了数据的隐私。 FL的固有分布结构引入了漏洞,尤其是从旨在使本地更新偏向其优势的对抗设备。尽管大量的研究着重于拜占庭式的FL,但学术界尚未建立一个全面的基准套件,是公正评估和对不同技术的比较的关键 ...
联合学习的最新进展表明了其在分散数据集中学习的有希望的能力。但是,由于参与该框架的对手可能出于对抗目的毒化全球模型的潜在风险,因此引起了大量工作。本文通过NLP模型的稀有单词嵌入来研究模型中毒对后门攻击的可行性 ...
攻击公平是至关重要的,因为受损的模型可以引入偏见的结果,破坏信任并扩大招聘,医疗保健和执法等敏感应用的不平等现象。这凸显了迫切需要了解如何利用公平机制并开发确保公平和稳健性的防御能力。我们介绍了Badfair,这是一种新型的后式公平攻击方法 ...
基础模型在处理多种方式和任务方面表现出了非凡的功能,优于传统的人工智能(AI)方法,这些方法是高度特定于任务和模态的。但是,在医疗领域中,综合基础模型的开发受到有限的不同方式和严格的隐私法规的限制。为了解决这些限制,本研究介绍了一种新颖的知识注入方法,FEDKIM旨在扩展联合学习框架内的医学基础模型 ...