最近，提示显着提高了预训练大型语言模型（LLM）在各种下游任务上的性能，使其对于各种 LLM 应用场景越来越不可或缺。然而，后门漏洞是一种严重的安全威胁，可以恶意改变受害者模型的正常预测，但对于基于提示的 LLM 来说，尚未得到充分的探索。在本文中，我们提出了 POISONPROMPT，这是一种新颖的后门攻击，能够成功破坏基于硬提示和软提示的 LLM ...
由于其强大的下游任务性能和高效的多任务服务能力，即时调优已成为部署大规模语言模型的一种有吸引力的范例。尽管它被广泛采用，但我们凭经验表明，即时调整很容易受到下游任务无关的后门的影响，这些后门驻留在预训练的模型中，可以影响任意下游任务。最先进的后门检测方法无法防御与任务无关的后门，因为它们在逆转后门触发器方面很难收敛 ...
最近，已经提出并成功实现了应用于语言模型的各种参数高效微调（PEFT）策略。然而，这就提出了一个问题：PEFT 仅更新一组有限的模型参数，在面临重量中毒后门攻击时是否构成安全漏洞。在这项研究中，我们表明，与全参数微调方法相比，PEFT 更容易受到权重中毒后门攻击，即使在微调之后，预定义的触发器仍然可利用，并且预定义的目标仍保持高置信度 ...
基于提示的学习范式最近引起了很多研究关注。它在多项 NLP 任务上实现了最先进的性能，特别是在少数场景中。在引导下游任务时，很少有研究研究基于提示的模型的安全问题 ...
尽管大型语言模型 (LLM) 因其卓越的功能而得到广泛应用，但已被证明容易受到后门攻击。这些攻击通过毒害训练样本和全参数微调，将有针对性的漏洞引入 LLM。然而，这种后门攻击是有限的，因为它们需要大量的计算资源，特别是随着 LLM 规模的增加 ...
联邦学习 (FL) 已被广泛部署，以支持对分布式设备上的敏感数据进行机器学习训练。然而，FL 的去中心化学习范式和异构性进一步扩大了后门攻击的攻击面。现有的 FL 攻击和防御方法通常关注整个模型 ...
语言模型 (LM) 在现实应用中变得越来越流行。将模型训练和数据托管外包给第三方平台已成为降低成本的标准方法。在这种情况下，攻击者可以操纵训练过程或数据，将后门注入模型中 ...
基于提示的学习范式弥合了预训练和微调之间的差距，在多项 NLP 任务上实现了最先进的性能，特别是在少数样本设置中。尽管应用广泛，但基于提示的学习很容易受到后门攻击。文本后门攻击旨在通过触发器注入和标签修改来毒害训练样本的子集，从而将目标漏洞引入模型中 ...
大语言模型（LLM）的进步显着增强了有效处理各种下游 NLP 任务并将这些任务统一到生成管道中的能力。一方面，经过海量文本数据训练的强大语言模型为模型和用户带来了无与伦比的可访问性和可用性。另一方面，对这些模型的无限制访问也可能带来潜在的恶意和无意的隐私风险 ...
大型语言模型 (LLM) 正在改变移动智能的格局。联合学习 (FL) 是一种保护用户数据隐私的方法，通常用于对下游移动任务的 LLM 进行微调，这种方法称为 FedLLM。尽管最近的努力已经解决了由巨大模型尺寸引起的网络问题，但它们实际上并没有缓解与移动设备集成相关的重大挑战，例如大量的内存消耗和缓慢的模型收敛 ...