目录

• • 什么是梯度方差（Fisher信息近似）
  • AdaLoRA中的Fisher信息矩阵：核心作用与通俗举例
  • • • 一句话总结
      • 🍉 通俗例子：炒菜放盐的“重要性”
      • 🧠 具体原理与示例（文本分类任务）
      • 🔍 为什么有效？
      • 🌰 玩具数据演示
    • 通过梯度方差量化参数重要性：一个玩具级计算示例
    • • 步骤1：定义数据与损失
      • 步骤2：计算每个样本的梯度（以$w_1$为例）
    • 1. **Z的含义与公式参数**
    • 2. **L（损失值）的含义与公式参数**
    • • 步骤3：计算梯度方差（Fisher信息近似）
      • 步骤4：对比参数重要性
      • 步骤5：AdaLoRA如何利用方差？
    • 关键结论：为什么方差=重要性？
    • 真实场景类比：考试复习