Retrieval-Enhanced Machine Learning: Synthesis and Opportunities

在语言建模领域，使用检索组件增强的模型已成为解决自然语言处理 (NLP) 领域面临的若干挑战的有前景的解决方案，包括知识基础、可解释性和可扩展性。尽管主要关注 NLP，但我们认为检索增强的范式可以扩展到更广泛的机器学习 (ML) 领域，例如计算机视觉、时间序列预测和计算生物学。因此，这项工作通过综合 ML 各个领域的文献以及当前文献中缺少的一致符号，引入了这种范式的正式框架，即检索增强机器学习 (REML) ...

Combining Knowledge Graphs and Large Language Models

近年来，自然语言处理（NLP）在聊天机器人、文本生成和语言翻译等各种人工智能（AI）应用中发挥了重要作用。大型语言模型（LLM）的出现极大地提高了这些应用程序的性能，在语言理解和生成方面显示出惊人的结果。然而，它们仍然表现出一些缺点，例如幻觉和缺乏特定领域的知识，影响了它们在现实世界任务中的表现 ...

Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

大型语言模型 (LLM) 在涉及各种自然语言处理 (NLP) 任务中表现出令人印象深刻的复杂推理。知识推理是推理的一种主要类型，旨在从现有知识出发中推导出新知识。虽然它在知识图（KG）的背景下得到了广泛的研究，但LLM中的知识推理仍然没有得到充分的探索... ...

PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers

在本文中，我们进行了一项研究，利用LLM作为需要复杂数据分析的决策解决方案。我们将决策QA定义为针对决策问题$Q$、业务规则$R$和数据库$D$回答最佳决策$d_{best}$ 的任务。由于没有可以检查决策 QA 的基准，我们提出决策 QA 基准 DQA ... ...

A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications

图是表示社会和自然中各种实体及其复杂关系的基本数据模型，例如社交网络、交通网络、金融网络和生物医学系统。最近，大型语言模型（LLM）表现出了强大的泛化能力，可以处理各种自然语言处理和多模式任务，以回答用户的任意问题和特定领域的内容生成。与图学习模型相比， LLM 通过消除训练图学习模型的需要并降低手动注释的成本，在解决泛化图任务的挑战方面具有优越的优势 ...

Leveraging Large Language Models for Multimodal Search

多模态搜索在为用户提供自然有效的表达搜索意图的方式方面变得越来越重要。图像提供所需产品的细粒度细节，而文本则允许轻松合并搜索修改。然而，一些现有的多模式搜索系统不可靠并且无法解决简单的查询 ...

Retrieval-Augmented Generation-based Relation Extraction

信息提取 (IE) 是一个转换过程，它通过采用实体和关系提取 (RE) 方法将非结构化文本数据转换为结构化格式。识别一对实体之间的关系在此框架中起着至关重要的作用。尽管存在各种关系提取技术，但它们的功效在很大程度上依赖于对标记数据和大量计算资源的访问 ...

Synthesizing Realistic Data for Table Recognition

为了克服当前自动表格数据注释方法和随机表格数据合成方法的局限性和挑战，我们提出了一种专门为表格识别设计的合成注释数据的新方法。该方法利用现有复杂表格的结构和内容，有助于高效创建紧密复制目标域中发现的真实样式的表格。通过利用中国财务公告中表格的实际结构和内容，我们开发了该领域第一个广泛的表格注释数据集 ...

LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding

最近，利用大语言模型 (LLM) 或多模态大语言模型 (MLLM) 进行文档理解已被证明非常有前途。然而，之前使用LLM/MLLM进行文档理解的工作并没有充分探索和利用文档布局信息，而文档布局信息对于精确的文档理解至关重要。在本文中，我们提出了 LayoutLLM，一种基于 LLM/MLLM 的文档理解方法 ...

How Easily do Irrelevant Inputs Skew the Responses of Large Language Models?

通过利用从外部知识数据库检索信息，大型语言模型 (LLM) 展现出完成许多知识密集型任务的增强功能。然而，由于当前检索系统的固有缺陷，在检索排名靠前的段落中可能存在不相关的信息。在这项工作中，我们对 LLM 在各种条件下对不同类型的不相关信息的鲁棒性进行了全面的调查 ...