LoRA (Low-Rank Adaptation)

AyaAbout 4 min

是一種輕量化的模型調整技術，廣泛應用於大模型（如 Stable Diffusion 或 Transformer 類模型）的微調，尤其在資源有限或需要快速適配新任務的情況下。

LoRA 的核心概念

LoRA 的核心目標是通過引入低秩矩陣分解的方式，實現對模型的參數高效調整，而無需微調整個模型的全部參數。

cross-attention層裡的權重保存在矩陣中，而 LoRA 模型做 fine-tune 時，便是將其自身的權重加到這些矩陣上。

權重分解：
- 原始模型的權重矩陣 $ W $ 被分解為兩個小矩陣 $ A $ 和 $ B $： $W^{'} = W + Δ W = W + A \cdot B$
  - $ W $: 原始模型權重。
  - $ \Delta W $: 引入的微小更新。
  - $ A $: $ r \times d $ 的矩陣（其中 $ r \ll d $）。
  - $ B $: $ d \times r $ 的矩陣。
- 通過分解，微調所需的參數數量大幅減少，從而降低計算和存儲開銷。
sd-lora-matrix
只更新 LoRA 層：
- LoRA 方法固定了原始模型的參數，僅更新插入的 $ A $ 和 $ B $ 矩陣，實現對模型能力的增強。

輕量化：
- 大幅減少參數量，降低顯存佔用和訓練成本。
- 在大型模型上（如 Stable Diffusion 或 GPT-3），無需重新微調所有參數。
靈活性：
- 支持針對多個不同任務或風格快速適配，不需要重新訓練整個模型。
可疊加性：
- 多個 LoRA 層可以組合使用，以實現複雜的功能，如在不同風格之間進行轉換。
效率高：
- LoRA 的引入幾乎不影響推理速度，因為權重的修改可以與原始模型並行計算。

風格訓練與微調：
- LoRA 可以用來將 Stable Diffusion 模型微調到特定的藝術風格、角色、物品或場景。
- 例如：訓練一個特定畫家的風格，或者生成某種類型的服裝設計。
資源高效的定制：
- 不需要重新訓練整個 Stable Diffusion 模型，只需引入少量 LoRA 層即可達到微調效果。
控制多樣性：
- 通過調節 LoRA 層的權重，可以控制生成圖像中 LoRA 訓練效果的強弱，從而靈活適配不同需求。

LoRA 是一種高效的模型微調技術，通過引入低秩矩陣分解，能夠在大幅減少資源需求的同時，實現強大的圖像生成效果。在 Stable Diffusion 中，LoRA 尤其適合快速適配新風格或內容生成需求，是當前模型微調的一個重要工具。