基本信息 - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation

arxiv PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation

阅读

Star 0

名称: PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation

首页: https://yiyibooks.cn/arxiv/2401.11316v1/index.html

原始地址: https://arxiv.org/abs/2401.11316

描述

随着大型预训练语言模型 (PLM) 的激增，微调所有模型参数变得越来越低效，特别是在处理需要大量训练和存储成本的大量下游任务时。已经提出了几种旨在实现参数高效微调（PEFT）的方法。其中，低秩适应（LoRA）作为一种原型方法脱颖而出，它将可训练的秩分解矩阵合并到每个目标模块中 ...