通过将问题分解为顺序的步骤，模仿人类逻辑并减少错误，促使经营链（COT）提示了大语言模型（LLM）的推理。但是，具有庞大解决方案空间和模糊约束的复杂任务通常超过单个推理链的能力。受到交换代数和代数几何形状中最小自由分辨率（MFR）的启发，我们提出了思想的Syzygy（SOT） - 一种新颖的框架，通过引入辅助，相互关联的推理路径来扩展COT ...

专家的混合物（MOE）在推理过程中仅激活专家的一个子集，即使参数计数扩展，模型也可以维持低推理失败和潜伏期。但是，由于MOE会动态选择专家，因此所有专家都需要加载到VRAM中。它们的较大参数大小仍然限制了部署和卸载，后者仅在需要时才将专家加载到VRAM中，从而大大增加了推断潜伏期 ...

循环 Transformer 在参数效率，计算能力和推理任务的概括方面具有优势。但是，它们在功能近似方面的表达能力仍未得到充实。在本文中，我们通过定义序列到序列函数的连续性模量来建立循环 Transformer 的近似速率 ...

自然语言处理（NLP）最近在网络安全方面引起了广泛关注，尤其是网络威胁智能（CTI）和网络自动化。联系和自动化的增加彻底改变了世界的经济和文化基础设施，而它们在网络攻击方面引入了风险。 CTI是帮助网络安全分析师做出智能安全决策的信息，通常以自然语言文本的形式提供，必须通过自动化过程将其转换为机器可读格式，然后才能将其用于自动化安全措施 ...

llm）的最新进展在以数据为中心的应用程序领域取得了巨大成功。在大量文本数据集上训练的llm不仅表现出对上下文进行编码的能力，而且还能够为下游任务提供强大的理解。有趣的是，生成式预训练 Transformer 利用这种能力，使人工智能至少在以数据为中心的应用程序中更接近于替代人类... ...

开放网络威胁智能（OpenTCTI）信息可从互联网上的异构来源以非结构化格式获得。我们提出了Cyner，这是一个名为“实体识别”（NER）的网络安全库。 Cyner结合了用于提取网络安全相关实体的基于 Transformer 的模型，用于提取不同折衷指标的启发式方法以及通用实体类型的公开可用的NER模型 ...

跨客户分布的数据的异质性限制了通过联合学习训练的全球模型的性能，尤其是在具有高度不平衡的本地数据集的类别分布的设置中。近年来，个性化联合学习（PFL）已成为解决异质数据所面临的挑战的潜在解决方案。但是，现有的PFL方法通常以牺牲全球模型的准确性为代价来提高本地模型的性能 ...

Federated Learning（FL）是一种协作机器学习技术，其中多个客户与Central Server合作训练全球模型而无需共享其私人数据。但是，在非IID客户端数据集上的分布变化对这种单模型拟合的方法提出了一个挑战，该方法阻碍了全局模型有效适应每个客户端的唯一本地数据的能力。为了回应这一挑战，个性化的FL（PFL）旨在允许每个客户创建针对其私人数据量身定制的个性化本地模型 ...