本文对机器学习应用中数值优化算法的过去、现在和未来进行了回顾和评论。通过文本分类和深度神经网络训练的案例研究，我们讨论了机器学习中优化问题是如何出现的以及它们具有挑战性的原因。我们研究的一个主要主题是，大规模机器学习代表了一种独特的环境，其中随机梯度（SG）方法传统上发挥着核心作用，而传统的基于梯度的非线性优化技术通常会失效 ...
本文调查并组织了自然语言处理新范式的研究工作，我们将其称为“基于提示的学习”。与传统的监督学习不同，传统的监督学习训练模型接受输入 x 并将输出 y 预测为 P(y|x)，基于提示的学习基于直接对文本概率进行建模的语言模型。为了使用这些模型执行预测任务，使用模板将原始输入x修改为具有一些未填充槽位的文本字符串提示x'，然后使用语言模型概率性地填充未填充的信息以获得最终字符串x ，从中可以得出最终输出 y ...
预训练语言模型 (PLM) 的提示通过弥合预训练任务和各种下游任务之间的差距，表现出了卓越的性能。在这些方法中，提示调优（冻结PLM并仅调整软提示）为大规模PLM适应下游任务提供了高效且有效的解决方案。然而，即时调整尚未得到充分探索 ...
社交平台上多模式错误信息的兴起给个人和社会带来了重大挑战。与文本错误信息相比，它的可信度更高，影响更广泛，使得检测变得复杂，需要跨不同媒体类型的强大推理和深厚的知识来进行准确验证。大视觉语言模型（LVLM）的出现为这一问题提供了潜在的解决方案 ...
在这项工作中，我们研究使用大型语言模型（LLM）来检测社交媒体上的谣言。然而， LLM 很难对包含新闻内容和大量评论的社交媒体上的整个传播信息进行推理，因为 LLM 可能无法集中精力在复杂的传播信息中的关键线索上，在面对海量和大量的信息时难以进行推理。冗余信息。因此，我们提出了一种由 LLM 授权的谣言检测（LeRuD）方法，其中我们设计提示来教 LLM 对新闻和评论中的重要线索进行推理，并将整个传播信息划分为传播链，以减少 LLM 的传播链负担 ...
人格检测旨在检测社交媒体帖子中潜在的人格特征。这项任务的一个挑战是缺乏从自我报告问卷中收集的真实人格特征。大多数现有方法通过在有限的个性标签的监督下微调预训练的语言模型来直接学习帖子特征 ...
BERT等预训练语言模型（PLM）彻底改变了自然语言处理（NLP）的格局。受其激增的启发，人们在预训练语言模型（PGM）方面投入了巨大的努力。由于PGM强大的模型架构，可以从大量标记和未标记的图数据中获取丰富的知识... ...
图自监督学习现在是预训练图基础模型的首选方法，包括图神经网络、图转换器和最新的基于大语言模型（LLM）的图模型。图的结构和属性中嵌入了多种可用于预训练的知识模式，但我们缺乏从图知识的角度对自监督预训练任务的系统概述。本文从基于知识的角度全面考察和分析图基础模型的预训练任务，包括微观知识（节点、链接等）和宏观知识（集群、全局结构等） ...
通过使用 BERT 等预训练语言模型 (PLM)，自然语言处理 (NLP) 发生了革命性的变化。尽管在几乎所有 NLP 任务中都创下了新记录，但 PLM 仍然面临着许多挑战，包括可解释性差、推理能力弱以及应用于下游任务时需要大量昂贵的注释数据。通过将外部知识集成到 PLM 中，\textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLM) 具有潜力以克服上述限制 ...
预训练的语言表示模型（例如 BERT）从大规模语料库中捕获通用语言表示，但缺乏特定领域的知识。专家在阅读领域文本时，会利用相关知识进行推断。为了让机器实现这种能力，我们提出了一种带有知识图（KG）的知识驱动语言表示模型（K-BERT），其中三元组作为领域知识注入到句子中 ...