本文对机器学习应用中数值优化算法的过去、现在和未来进行了回顾和评论。通过文本分类和深度神经网络训练的案例研究，我们讨论了机器学习中优化问题是如何出现的以及它们具有挑战性的原因。我们研究的一个主要主题是，大规模机器学习代表了一种独特的环境，其中随机梯度（SG）方法传统上发挥着核心作用，而传统的基于梯度的非线性优化技术通常会失效 ...
预训练语言模型 (PLM) 的提示通过弥合预训练任务和各种下游任务之间的差距，表现出了卓越的性能。在这些方法中，提示调优（冻结PLM并仅调整软提示）为大规模PLM适应下游任务提供了高效且有效的解决方案。然而，即时调整尚未得到充分探索 ...
社交平台上多模式错误信息的兴起给个人和社会带来了重大挑战。与文本错误信息相比，它的可信度更高，影响更广泛，使得检测变得复杂，需要跨不同媒体类型的强大推理和深厚的知识来进行准确验证。大视觉语言模型（LVLM）的出现为这一问题提供了潜在的解决方案 ...
在这项工作中，我们研究使用大型语言模型（LLM）来检测社交媒体上的谣言。然而， LLM 很难对包含新闻内容和大量评论的社交媒体上的整个传播信息进行推理，因为 LLM 可能无法集中精力在复杂的传播信息中的关键线索上，在面对海量和大量的信息时难以进行推理。冗余信息。因此，我们提出了一种由 LLM 授权的谣言检测（LeRuD）方法，其中我们设计提示来教 LLM 对新闻和评论中的重要线索进行推理，并将整个传播信息划分为传播链，以减少 LLM 的传播链负担 ...
人格检测旨在检测社交媒体帖子中潜在的人格特征。这项任务的一个挑战是缺乏从自我报告问卷中收集的真实人格特征。大多数现有方法通过在有限的个性标签的监督下微调预训练的语言模型来直接学习帖子特征 ...
BERT等预训练语言模型（PLM）彻底改变了自然语言处理（NLP）的格局。受其激增的启发，人们在预训练语言模型（PGM）方面投入了巨大的努力。由于PGM强大的模型架构，可以从大量标记和未标记的图数据中获取丰富的知识... ...
图自监督学习现在是预训练图基础模型的首选方法，包括图神经网络、图转换器和最新的基于大语言模型（LLM）的图模型。图的结构和属性中嵌入了多种可用于预训练的知识模式，但我们缺乏从图知识的角度对自监督预训练任务的系统概述。本文从基于知识的角度全面考察和分析图基础模型的预训练任务，包括微观知识（节点、链接等）和宏观知识（集群、全局结构等） ...
通过使用 BERT 等预训练语言模型 (PLM)，自然语言处理 (NLP) 发生了革命性的变化。尽管在几乎所有 NLP 任务中都创下了新记录，但 PLM 仍然面临着许多挑战，包括可解释性差、推理能力弱以及应用于下游任务时需要大量昂贵的注释数据。通过将外部知识集成到 PLM 中，\textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLM) 具有潜力以克服上述限制 ...
预训练的语言表示模型（例如 BERT）从大规模语料库中捕获通用语言表示，但缺乏特定领域的知识。专家在阅读领域文本时，会利用相关知识进行推断。为了让机器实现这种能力，我们提出了一种带有知识图（KG）的知识驱动语言表示模型（K-BERT），其中三元组作为领域知识注入到句子中 ...
随着将事实知识纳入预训练语言模型（例如 BERT）的新兴分支，大多数现有模型都考虑浅层、静态和单独预训练的实体嵌入，这限制了这些模型的性能提升。很少有作品探索注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它通过扩展的 MLM 目标联合学习语言和知识的语境化表示 ...