得分信号
综述 · 机器遗忘 · 2025
A Survey of LoRA-based Machine Unlearning for LLMsMethods, Taxonomy, and Evaluation
冻结模型主干，聚焦轻量适配器：遗忘如何发生，又需要验证什么？
University of Technology Sydney · University of Southern Queensland · Edith Cowan University
128 / 256 适配器参数 / 完整更新参数
W₀ 固定 BA 随 r 变化
交互代数示意，使用合成的 16×16 矩阵。秩改变 BA 与参数量；这个示意不测量遗忘效果或模型质量。
01 统一算子视角
一次更新，
五个干预位置。
综述按照方法怎样构建、变换、约束和稀疏化适配器更新，建立统一视角。
Δφ = M ∘ C ∘ P ∘ G (s)
算子从右向左依次作用。选择一个算子，查看它在更新中的作用。 ←
预条件变换
利用曲率等信息重新调整更新方向。
投影
把更新限制在选定的适配器子空间。
约束
通过裁剪、信赖域或有界动力学限制更新。
掩码
在稀疏方法中选择性地将适配器参数置零。
适配器空间算子视角 · 并非每种方法都会使用全部算子。
02 方法图谱
六类方法，
六种编辑思路。
比较作用机制及其潜在问题。高亮位置表示分类时的侧重点，并不代表完整实现。
sGPCM
梯度方法
直接调整遗忘与保留损失。
在适配器空间中混合遗忘目标与保留目标，实现直接更新。方法容易实现，但过大的步长可能损害无关任务的能力。
需要关注 / 更新过度，以及保留能力下降。
sGPCM
影响函数方法
近似移除数据后的重训练变化。
利用逆 Hessian 一类的近似，估计删除数据会怎样改变适配器参数。估计成本与近似质量都很重要。
需要关注 / 曲率估计成本与近似质量。
sGPCM
Fisher 信息方法
根据参数敏感度引导更新。
利用 Fisher 信息选择或约束更新方向，使适配器容量更好地对应遗忘集。
需要关注 / Fisher 近似的质量与可获得的模型访问。
sGPCM
结构与持续遗忘
为重复删除请求安排结构。
利用多个适配器、路由与近似正交性，减少不同删除事件之间的干扰。组合策略仍需要生命周期管理。
需要关注 / 任务干扰、路由与适配器累积。
sGPCM
有界动力学
约束参数能够移动的范围。
利用显式边界、裁剪或有约束的重参数化稳定删除步骤，帮助保护保留集上的能力。
需要关注 / 在遗忘程度与保留能力之间选择约束。
sGPCM
剪枝与稀疏方法
移除选定的适配器容量。
根据重要性估计，对适配器参数施加掩码或进行剪枝。结构性移除可以更紧凑，但更难回滚。
需要关注 / 重要性估计中的噪声，以及有限的可逆性。
03 评测
遗忘效果，
不能只看一个分数。
TOFU 一类的评测需要同时观察目标行为、可用能力、隐私泄漏，以及重复请求下的表现。
目标行为是否确实改变？
测量遗忘集上的回答表现，并与仅使用保留集重训练的参考模型比较。回答概率降低，本身不能证明隐私泄漏已经消除。
0.2108Prune / Sparse · forget_Q_A_Prob
所比较的遗忘方法中，遗忘集回答概率最低。
0.4030GA · forget_Q_A_ROUGE
相同评测器与预算下，ROUGE 指标最低。
哪些有用能力得以保留？
在相同主干、LoRA 配置、优化预算和评测器下，报告保留集上的表现。
0.4261结构性正交组合
两种结构性组合方法中，五轮终点的保留能力最高。
被删除的信息是否仍可被推断？
在行为指标之外，使用 PrivLeak 等泄漏诊断。回答质量变差，并不必然意味着信息更私密。
−29.73Fisher · PrivLeak
所比较的单次遗忘方法中，PrivLeak 最接近零。
下一个删除请求到来时会怎样？
沿多个删除轮次追踪遗忘程度与保留能力，同时检查干扰、路由、合并策略和检查点历史。
5删除轮次
持续遗忘实验比较适配器累积与近似正交组合。
综述中的统一评测设置
Llama-3.2-1B-Instruct → LoRA → TOFU forget05 / retain95 → 统一评测器
04 部署与治理
删除请求，
也有生命周期。
适配器检查点让模型编辑便于迁移。可靠部署还需要路由、合并、证据保存与退役策略。
01 追踪编辑产物+
共同保存适配器增量、删除请求日志与检查点沿革，使已部署更新可以被检查。
02 管理重复编辑+
明确路由与合并策略，监测不同删除事件间的干扰，避免盲目累积适配器。
03 说明隐私边界+
编辑适配器本身不能证明冻结主干中的信息已被删除。需要说明访问假设，并针对预期威胁模型开展测试。
@misc{li2025loraunlearningsurvey,
title = {A Survey of LoRA-based Machine Unlearning for LLMs: Methods, Taxonomy, and Evaluation},
author = {Delong Li and Guangsheng Yu and Xu Wang and Yanna Jiang and Wencheng Yang and Bin Liang and Wei Ni},
year = {2025},
howpublished = {SSRN preprint},
doi = {10.2139/ssrn.5866522},
url = {https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5866522}
}