微调已成为利用大型语言模型（LLM）进行特定下游任务的关键过程，使这些模型能够在各个领域实现最新的性能。但是，微调过程通常涉及敏感数据集，引入了利用此阶段独特特征的隐私风险。在本文中，我们对与微调LLM相关的隐私挑战进行了全面的调查，强调了各种隐私攻击的脆弱性，包括会员推理，数据提取和后门攻击 ...
联合学习是培训机器学习模型的一种有前途的方法，同时保留了数据隐私，但其分布性质使其容易受到后门攻击的影响，尤其是在NLP任务中，而相关研究仍然有限。本文介绍了SDBA，这是一种新型的后门攻击机制，专为FL环境中的NLP任务而设计。我们跨LSTM和GPT-2模型的系统分析确定了后门注入最脆弱的层，并通过层梯度遮罩和这些层中的Top-k％梯度掩盖来实现隐形和持久耐用性 ...
基于及时的学习范式弥合了预训练和微调之间的差距，并在几次射击设置下有效地工作。但是，我们发现这种学习范式从训练阶段继承了漏洞，在该阶段可以通过将某些触发器插入文本中误导模型预测。在本文中，我们通过注射后门触发器或仅使用纯文本在预训练的语言模型上搜索对抗性触发器来探讨这种通用漏洞 ...
微调是一个重要的过程，可以提高特定领域中大语言模型（LLM）的性能，参数有效的微调（PEFT）由于其通过集成低级适配器而减少计算需求的能力而获得了受欢迎程度。这些轻巧的适配器（例如Lora）可以在开源平台上共享和使用。但是，对手可以利用这种机制将后部注入这些适配器，从而导致恶意行为，例如不正确或有害的产出，这对社区构成了严重的安全风险 ...
生成的大语言模型对于自然语言处理至关重要，但是它们容易受到后门攻击的影响，在这种情况下，微妙的触发者会损害其行为。尽管对LLM的后门攻击不断出现，但现有基准在足够的攻击，度量系统完整性，后门攻击对齐方面仍然有限。由于资源访问限制，现有的预训练后门攻击是理想化的 ...
近年来，大型语言模型（LLM），例如Chatgpt，Llama，Glm和Palm，在各种任务中表现出色。但是，LLMS在现实世界应用中面临两个主要挑战。一个挑战是，培训LLM会消耗大量的计算资源，从而阻止LLM被有限的计算资源的中小型企业采用 ...
联合学习系统容易受到恶意客户攻击的影响。由于系统中的中央服务器无法控制客户端的行为，因此Rogue客户端可以通过向服务器发送恶意模型更新来启动攻击，从而降低学习性能或执行目标模型中毒攻击（A.K. ...
数据中毒攻击越来越受到联合学习系统的威胁，在这些攻击中，恶意客户通过贡献篡改的更新来妥协全球模型。现有的防御措施通常依赖于不切实际的假设，例如访问中央测试数据集，或者未能跨越各种攻击类型，尤其是那些涉及多个恶意客户端工作的攻击类型。为了解决这个问题，我们提出了联合噪声引起的激活分析（FEDNIA），这是一个新颖的防御框架，旨在识别和排除对抗性客户，而无需依赖任何中央测试数据集 ...
大型语言模型（LLM）可以轻松产生偏见和歧视性响应。当LLMS挖掘出结果决策时（例如 ...
因果结构发现方法通常应用于已知因果变量并可以使用统计检验来评估因果关系的结构化数据。相比之下，从非结构化的自然语言数据（例如新闻文章）中恢复因果结构，由于缺乏已知变量或反事实数据以估计因果关系链接而面临许多挑战。大型语言模型（LLM）在这个方向上显示出令人鼓舞的结果，但也表现出局限性 ...