基本信息 - AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning

arxiv AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning

阅读

Star 0

名称: AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning

首页: https://yiyibooks.cn/arxiv/2403.09113v2/index.html

原始地址: https://arxiv.org/abs/2403.09113

描述

大规模预训练以及针对特定任务的微调在各种 NLP 任务中取得了巨大成功。由于微调大型预训练模型的所有参数会带来巨大的计算和内存挑战，因此开发了几种有效的微调方法。其中，低秩适应（LoRA）在冻结预训练权重的基础上对低秩增量更新矩阵进行微调，已被证明特别有效 ...