LoRA 微调实战：用最少资源微调大模型

LoRA（Low-Rank Adaptation）

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
lora_config = LoraConfig(r=8, lora_alpha=16, target_modules=["q_proj", "v_proj"], lora_dropout=0.1)
peft_model = get_peft_model(model, lora_config)

from peft import LoraConfig, get_peft_model

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")

lora_config = LoraConfig(r=8, lora_alpha=16, target_modules=["q_proj", "v_proj"], lora_dropout=0.1)

peft_model = get_peft_model(model, lora_config)

参数调优：r（秩）、lora_alpha、target_modules

QLoRA：4-bit 量化 + LoRA，3090 上微调 65B 模型

r=8 在很多任务上就能达到与全量微调接近的效果。