arxiv Householder Pseudo-Rotation: A Novel Approach to Activation Editing in LLMs with Direction-Magnitude Perspective

名称
Householder Pseudo-Rotation: A Novel Approach to Activation Editing in LLMs with Direction-Magnitude Perspective
首页
https://yiyibooks.cn/arxiv/2409.10053v2/index.html
原始地址
https://arxiv.org/pdf/2409.10053
描述
激活编辑涉及直接编辑大型语言模型(LLM)的内部表示以改变其行为并实现所需的属性,已成为一个有前途的研究领域。现有的工作主要将 LLM 的激活视为空间中的点,并通过添加转向向量来修改它们。然而,这种方法在保持激活幅度必要的一致性的同时实现更大的性能改进的能力受到限制 ...