AutoAlpha: an Efficient Hierarchical Evolutionary Algorithm for Mining Alpha Factors in Quantitative Investment

多因素模型是量化投资中广泛使用的模型。多因素模型的成功很大程度上取决于模型中使用的 alpha 因素的有效性。本文提出了一种称为 AutoAlpha 的新进化算法，可以从海量股票数据集中自动生成有效的公式 alpha ...

Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models

对于传统的非生成深度学习模型来说，解释股票预测通常是一项艰巨的任务，其中解释仅限于可视化重要文本的注意力权重。如今，大型语言模型 (LLM) 提出了这个问题的解决方案，因为它们具有为决策过程生成人类可读解释的已知能力。然而，股票预测的任务对于 LLM 来说仍然具有挑战性，因为它需要能够权衡混乱的社会文本对股票价格的不同影响 ...

Approaching Human-Level Forecasting with Language Models

预测未来事件对于政策和决策非常重要。在这项工作中，我们研究语言模型（LM）是否可以达到与人类预测者竞争的水平。为了实现这一目标，我们开发了一种检索增强的 LM 系统，旨在自动搜索相关信息、生成预测和聚合预测 ...

Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning

大型语言模型 (LLM) 的激增彻底改变了自然语言处理，但针对特定任务对其进行微调通常会在平衡性能和保持一般指令跟踪能力方面遇到挑战。在本文中，我们认为任务数据集和 LLM 之间的分配差距是主要原因。为了解决这个问题，我们引入了自蒸馏微调（SDFT），这是一种新颖的方法，通过使用模型本身生成的蒸馏数据集进行微调以匹配其原始分布来指导微调，从而弥补分布差距 ...

Position Paper: Agent AI Towards a Holistic Intelligence

大型基础模型的最新进展显着增强了我们对开放世界环境中感官信息的理解。在利用基础模型的力量时，人工智能研究必须摆脱过度还原论，转而强调作为有凝聚力的整体的系统。具体来说，我们强调开发代理人工智能——一种将大型基础模型集成到代理操作中的具体系统 ...

Query Rewriting for Retrieval-Augmented Large Language Models

大型语言模型（LLM）在检索然后读取的管道中扮演强大的黑盒阅读器的角色，在知识密集型任务中取得了显着的进步。这项工作从查询重写的角度为检索增强的LLM引入了一个新的框架，Rewrite-Retrieve-Read，而不是之前的retrieve-then-read。与之前的研究侧重于适应检索器或读者不同，我们的方法关注搜索查询本身的适应，因为输入文本和检索所需的知识之间不可避免地存在差距 ...

Chain-of-Verification Reduces Hallucination in Large Language Models

生成看似合理但不正确的事实信息（称为幻觉）是大型语言模型中尚未解决的问题。我们研究语言模型仔细考虑其给出的响应以纠正错误的能力。我们开发了验证链 (CoVe) 方法，模型首先 (i) 起草初步响应；然后 (ii) 计划验证问题以对其草案进行事实核查； (iii) 独立回答这些问题，以便答案不会受到其他回答的影响； (iv) 生成最终经过验证的响应 ...