A Survey on Medical Large Language Models: Technology, Application, Trustworthiness, and Future Directions

随着大型语言模型（LLM）的出现，医疗人工智能（AI）经历了实质性的技术进步和范式转移，强调了LLMS可以简化医疗保健服务并改善患者结果的潜力。考虑到这一快速技术进步，在这项调查中，我们追踪了医学大语言模型（MED-LLMS）的最新进展，包括背景，关键发现和主流技术，尤其是从通用模型到医学专业应用程序的发展。首先，我们深入研究Med-llms的基础技术，表明如何逐步适应复杂的医疗任务 ...

BackdoorBench: A Comprehensive Benchmark of Backdoor Learning

后门学习是研究深度神经网络脆弱性（DNNS）的新兴而重要的话题。在快速武器竞赛的状态下，正在提出许多开创性的后门攻击和防御方法。但是，我们发现，新方法的评估通常是验证其主张和准确绩效的不可思议的，这主要是由于快速发展，不同的环境以及实施和可重复性的困难 ...

Backdoor Cleaning without External Guidance in MLLM Fine-tuning

多模式的大语言模型（MLLM）越来越多地部署在微调AS-AS-AS-AS-Service（FTAAS）设置中，其中用户提交的数据集将通用通用模型适应下游任务。但是，这种灵活性引入了严重的安全风险，因为恶意微调可以以最小的努力将后门植入MLLM。在本文中，我们观察到后门通过引起异常注意力集中在非语义区域的异常注意力来系统地破坏跨模式处理 - 这种现象我们称注意力崩溃 ...

Handling Spatial-Temporal Data Heterogeneity for Federated Continual Learning via Tail Anchor

联合持续学习（FCL）允许每个客户从任务流不断更新其知识，从而增强了在现实世界中联合学习的适用性。但是，FCL不仅需要解决客户之间的空间数据异质性，还需要解决任务之间的时间数据异质性。在本文中，经验实验表明，这种输入水平的异质性显着影响模型的内部参数和输出，从而导致严重的时空灾难性遗忘局部和先前的知识 ...

Analytic Federated Learning

在本文中，我们介绍了分析性联合学习（AFL），这是一种新的培训范式，将联邦学习（FL）社区带来分析（即封闭形式）解决方案 ...

Parallel Sequence Modeling via Generalized Spatial Propagation Network

我们提出了广义的空间传播网络（GSPN），这是一种针对固有捕获2D空间结构的视觉任务优化的新注意机制。现有的注意模型，包括 Transformer ，线性注意力和诸如Mamba的状态空间模型，作为1D序列的多维数据，损害空间相干性和效率。 GSPN通过直接在空间相干的图像数据上运行并通过线扫描方法形成密集的成对连接来克服这些局限性 ...

FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition

尽管经过微调后，在各种任务上的表现都出色，但由于对集中式培训方法中数据的隐私问题日益增长，预先培训的语言模型（PLM）仍面临重大挑战。在本文中，我们认为联合学习（FL）对PLM进行了微调。但是，PLM中的大量参数对于通信和计算资源有限的客户设备构成了重大困难 ...

TrojLLM: A Black-box Trojan Prompt Attack on Large Language Models

大型语言模型（LLM）逐渐被用作机器学习服务和用于各种应用程序的接口工具。但是，LLM的安全含义，尤其是与对抗和特洛伊木马攻击有关的，仍未得到充分检查。在本文中，我们提出了Trojllm，这是一种自动和黑盒框架，以有效地产生通用和隐形的触发器 ...

Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift

指令调整增强了大型视觉模型（LVLM），但由于开放设计而增加了他们对后门攻击的脆弱性。与静态环境中的先前研究不同，本文探讨了在不匹配的培训和测试域中调整LVLM指令中的后门攻击。我们介绍了一个新的评估维度，后门域的概括，以评估视觉和文本域移动下的攻击鲁棒性 ...

Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning

联邦学习中的数据异质性，其特征是本地和全球分布之间的严重未对准，导致局部优化方向不同，并阻碍了全球模型培训。现有研究主要集中于优化本地更新或全球聚合，但是这些间接方法在处理高度异构的数据分布时表明了不稳定，尤其是在标签偏斜和域偏斜并存的情况下。为了解决这个问题，我们提出了一种几何学引导的数据生成方法，该方法集中于在本地模拟全局嵌入分布 ...