LoRA 原理与应用

• LoRA (Low-Rank Adaptation) 原理
• LoRA 模型训练
  • 1. 训练前准备
  • 2. 环境安装
  • 3. 模型训练

参考资料

1. GitHub LoRA repo

2. LoRA 论文

3. PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods

4. LoRA 代码实现

5. Using LoRA for Efficient Stable Diffusion Fine-Tuning

6. Stable Difussion模型/LORA分享

7. LoRA 论文阅读

8. 微软 LoRA 代码实现

9. 微软 LoRA 代码阅读

10. LoRA: 大型语言模型的低秩适配器