基础模型(FMS),例如Llama,Bert,GPT,VIT和CLIP,在广泛的应用中取得了显着的成功,这是由于其利用大量数据进行预训练的能力所驱动。但是,优化FMS通常需要访问敏感数据,提高隐私问题并限制其在许多域中的适用性。在本文中,我们提出了联合基金会模型(FFMS)范式,该模型结合了FMS和联合学习的好处(FL),以促进多个最终用户的隐私权和协作学习 ...
本文介绍了 FedSecurity,这是一个端到端基准测试,作为 FedML 库的补充组件,用于模拟联邦学习(FL)中的对抗性攻击和相应的防御机制。 FedSecurity 无需实施基本 FL 程序,例如 ...
提示调整尝试更新预训练模型中的一些特定于任务的参数。它在语言理解和生成任务上都取得了与完整参数集微调相当的性能。在这项工作中,我们研究了神经文本检索器的提示调整问题 ...
最近,提示显着提高了预训练大型语言模型(LLM)在各种下游任务上的性能,使其对于各种 LLM 应用场景越来越不可或缺。然而,后门漏洞是一种严重的安全威胁,可以恶意改变受害者模型的正常预测,但对于基于提示的 LLM 来说,尚未得到充分的探索。在本文中,我们提出了 POISONPROMPT,这是一种新颖的后门攻击,能够成功破坏基于硬提示和软提示的 LLM ...
由于其强大的下游任务性能和高效的多任务服务能力,即时调优已成为部署大规模语言模型的一种有吸引力的范例。尽管它被广泛采用,但我们凭经验表明,即时调整很容易受到下游任务无关的后门的影响,这些后门驻留在预训练的模型中,可以影响任意下游任务。最先进的后门检测方法无法防御与任务无关的后门,因为它们在逆转后门触发器方面很难收敛 ...
最近,已经提出并成功实现了应用于语言模型的各种参数高效微调(PEFT)策略。然而,这就提出了一个问题:PEFT 仅更新一组有限的模型参数,在面临重量中毒后门攻击时是否构成安全漏洞。在这项研究中,我们表明,与全参数微调方法相比,PEFT 更容易受到权重中毒后门攻击,即使在微调之后,预定义的触发器仍然可利用,并且预定义的目标仍保持高置信度 ...
基于提示的学习范式最近引起了很多研究关注。它在多项 NLP 任务上实现了最先进的性能,特别是在少数场景中。在引导下游任务时,很少有研究研究基于提示的模型的安全问题 ...
尽管大型语言模型 (LLM) 因其卓越的功能而得到广泛应用,但已被证明容易受到后门攻击。这些攻击通过毒害训练样本和全参数微调,将有针对性的漏洞引入 LLM。然而,这种后门攻击是有限的,因为它们需要大量的计算资源,特别是随着 LLM 规模的增加 ...
联邦学习 (FL) 已被广泛部署,以支持对分布式设备上的敏感数据进行机器学习训练。然而,FL 的去中心化学习范式和异构性进一步扩大了后门攻击的攻击面。现有的 FL 攻击和防御方法通常关注整个模型 ...
语言模型 (LM) 在现实应用中变得越来越流行。将模型训练和数据托管外包给第三方平台已成为降低成本的标准方法。在这种情况下,攻击者可以操纵训练过程或数据,将后门注入模型中 ...