CodeSCM: Causal Analysis for Multi-Modal Code Generation

在本文中，我们提出了CodeSCM，即一种结构性因果模型（SCM），用于使用大语言模型（LLMS）分析多模式代码生成。通过将干预措施应用于CODESCM，我们衡量了模型上不同及时模态（例如自然语言，代码和输入输出示例）的因果关系。 CODESCM引入了潜在的调解器变量，以将多模式代码生成提示的代码和自然语言语义分开 ...

LaTCoder: Converting Webpage Design to Code with Layout-as-Thought

将网页设计转换为代码（设计到代码）在前端开发人员的用户界面开发（UI）开发中起着至关重要的作用，从而弥合了视觉设计和功能实现之间的差距。尽管最近的多模式大型语言模型（MLLM）在设计对代码任务上显示出很大的潜力，但它们通常无法准确保留代码生成期间的布局。为此，我们从人类认知中的经营链（COT）推理中汲取了灵感，并提出了LatCoder，这是一种新颖的方法，可以增强在代码生成期间通过以下布局（LAT）的代码生成中的布局保存 ...

GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

低级适应性（LORA）是一种流行的生成模型参数效率微调（PEFT）的方法，以其简单性和有效性而重视。尽管最近有所提高，但洛拉仍然受到基本限制：扩大瓶颈时过度适应。它的表现最好以32-64的排名，但其准确性停滞不前或下降较高，但仍未达到完整的微调（FFT）表现 ...

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning

低级适应（LORA）推动了研究，以使其性能与完整的微调保持一致。但是，仍然存在重大挑战：（1）简单地增加洛拉的等级规模并不能有效地捕获高级信息，从而导致性能瓶颈。（2）Moe式的Lora方法实质上增加了参数和推论潜伏期，与有效的微调和应用程序的应用相反 ...

LoRA Dropout as a Sparsity Regularizer for Overfitting Control

由洛拉（Lora）代表的参数有效的微调方法在调整大规模的预训练模型中对下游任务起着至关重要的作用。但是，微调的洛拉系列模型也面临着在培训数据集上过度拟合的风险，但是仍然缺乏控制过度适合基于洛拉的PEFT方法的理论指导和实用机制。在本文中，我们通过将随机噪声引入可学习的低级矩阵并增加参数稀疏性，为基于洛拉的方法提出了洛拉辍学机制 ...

Reparameterization Gradient for Non-differentiable Models

我们提出了一种用于随机变化推断的新算法，该算法靶向具有非差异密度的模型。随机变异推断的主要挑战之一是提出对变分目标梯度的低变化估计器。我们通过概括重新聚集技巧来应对挑战，这是解决可区分模型的差异问题的最有效技术之一，因此该技巧也适用于非差异性模型 ...

RMNet: Equivalently Removing Residual Connection from Networks

尽管残留连接使培训非常深的神经网络，但由于其多分支拓扑，它对在线推断并不友好。这鼓励许多研究人员在推理时设计无剩余连接的DNN。例如，在部署时，repvgg将多分支拓扑重新分配到类似VGG的（单分支）模型，当网络相对较浅时表现出色 ...

Multimodal Instruction Tuning with Conditional Mixture of LoRA

多模态大型语言模型 (MLLM) 在不同领域的各种任务中表现出了卓越的熟练程度，并且越来越注重提高其对未见过的多模态任务的零样本泛化能力。多模态指令调优已成为通过指令对不同多模态任务上的预训练模型进行微调来实现零样本泛化的成功策略。随着 MLLM 的复杂性和规模不断增长，对参数高效的微调方法的需求变得至关重要，例如低秩适应 (LoRA)，它可以使用最少的参数集进行微调 ...

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation

这项研究提出了一种简单而有效的洛拉合并方法，以实现低资源语言生成任务的LLM适应。 Lora合并技术集成了经过不同任务训练的多个LORA模块，它已成为一种有效，有效的方法，以适应LLMS来定位任务。但是，以前的方法在使洛拉参数冻结时受到限制 ...

LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning

大型预训练模型通常使用参数有效的微调方法（例如低级别适应性（LORA））来适应下游任务，该方法注入了小型可训练的低级矩阵，而不是更新所有权重。虽然洛拉（Lora）大大减少了可训练的参数，但开销很小，但它的准确性仍然不足，并且通常会更慢地收敛。我们介绍了Loft，这是一种新型的低级适应方法，它通过将优化器的内部动力与更新所有模型权重的那些动态保持一致，从而表现得像完整的微调 ...