大型基础模型在预训练和微调框架内的快速扩展表明，较大的模型通常会产生更好的结果。但是，扩大大型基础模型的扩展导致了微调和参数存储的成本飞涨，从而使广泛的适应不切实际。这项挑战激发了参数有效的微调（PEFT）的开发，该挑战着重于优化选择参数的选项，同时保持其余部分固定，从而大大降低计算和存储开销 ...
参数有效的微调（PEFT）是调整预训练的大语言模型（LLM）的流行方法，尤其是随着模型的规模和任务的多样性的增加。低级适应性（LORA）基于这样的想法，即适应过程本质上是低维的，即 ...
低级适应性（LORA）是有效微调审计的大语言模型（LLMS）的关键方法，其性能在很大程度上受两个关键因素的影响：等级和初始化策略。已经提出了许多洛拉变体来通过解决这些因素来提高其性能。但是，这些变体通常会损害洛拉的可用性或效率 ...
大型语言模型（LLMS）的快速扩展强调了对参数有效的微调方法的需求，而Lora（低级别适应）作为一种流行的解决方案而出现。尽管洛拉（Lora）减少了可训练的参数的数量，但在基本模型之上服务多个（任务或用户特定）洛拉模块仍然会引起重大的存储挑战。为了解决这个问题，使用理论推导，我们引入了Lora-XS（具有极少数参数的低级适应性），这是一种新型的低级适应方法，可大大降低可训练的参数，同时表现出卓越或竞争性能 ...
低级适配器已成为有效微调大语言模型（LLM）的标准，但它们通常无法实现完整的微调的性能。我们建议使用精心设计的初始化策略在低级子空间内进行完整的微调，该方法是Lora Silver Bullet或Lora-SB。从理论上讲，我们证明了Lora-Xs的体系结构在B和A之间插入了可学习的（R X R）矩阵，同时还可以固定其他矩阵，它提供了此近似所需的精确条件 ...
我们表明，在各种大规模的深度学习方案中，梯度在短时间进行了训练后动态收敛到很小的子空间。子空间由Hessian的一些顶级特征向量（等于数据集中的类数）跨越，并且大多在长期训练中保存。然后，一个简单的论点表明，梯度下降可能主要发生在此子空间中 ...
大型语言模型（LLM）的快速发展已经迎来了一个时代，即AI生成的文本与人类生成的内容越来越没有区别。检测AI生成的文本对于打击错误信息，确保内容真实性和保护AI的恶意用途至关重要。在本文中，我们提出了一种新型的混合方法，该方法将传统的TF-IDF技术与先进的机器学习模型相结合，包括贝叶斯分类器，随机梯度下降（SGD），分类梯度增强（CATBOOST）和12个DEBERTA-V3-LARGE大型模型 ...
机器学习（ML）研究通过具有丰富的多模式内容的学术论文扩展，包括文本，图表和表格结果。但是，将这些多模式元素转换为可执行的代码仍然是一个具有挑战性且耗时的过程，需要大量的ML专业知识。我们介绍了``纸上的代码''（P2C），这是一项新型任务，将科学出版物的多模式内容转换为完全可执行的代码存储库，该内容扩展到了代码生成的现有表述，仅将文本描述转换为孤立的代码sbippets ...
尽管机器学习研究的迅速增长，但相应的代码实施通常无法实现，这使研究人员重现结果并在先前的工作基础上进行劳动密集型。同时，最近的大型语言模型（LLMS）在了解科学文档并生成高质量代码方面表现出色。受此启发的启发，我们介绍了PaperCoder，这是一个多代理LLM框架，将机器学习论文转换为功能代码存储库 ...
有效的指令调整是优化代码LLM，将模型行为与用户期望保持一致的必不可少的，并在现实世界应用程序中提高模型性能。但是，大多数现有的方法都集中在代码片段上，这些代码段仅限于特定功能和刚性结构，从而限制了合成数据的复杂性和多样性。为了解决这些局限性，我们介绍了一个受抽象语法树（AST）启发的基于特征树的合成框架 ...