重要!!! 什么是梯度方差 ; AdaLoRA中的Fisher信息矩阵:核心作用与通俗举例

Source

什么是梯度方差(Fisher信息近似)

AdaLoRA中的Fisher信息矩阵:核心作用与通俗举例

在这里插入图片描述

在这里插入图片描述
Fisher矩阵的本质:通过参数梯度的方差,量化参数对任务的敏感程度(方差越大,参数越重要)。

一句话总结

Fisher信息矩阵是衡量模型参数对任务重要性的“温度计”,AdaLoRA用它识别哪些参数需要**“小心保护”(避免过度更新)**,哪些可以“大胆调整”。

🍉 通俗例子:炒菜放盐的“重要性”

假设你要炒一盘菜,盐的用量(对应模型参数)对味道影响极大(高Fisher值)&#x