LoRA ile Parametre Verimliliği: Teoriden Uygulamaya

Büyük dil modelleri (LLM) birçok görevde etkileyici başarılar sergilese de, onları alanınıza özgü şekilde fine-tune etmek ciddi hesaplama kaynakları gerektiriyor. LoRA (Low-Rank Adaptation), bu problemi çözmek için önerilen verimli ve hafif bir çözümdür. Bu yazıda, LoRA’nın nasıl çalıştığını matematiksel olarak açıklayacak, Hugging Face 🤗 Transformers ile nasıl uygulanacağını göstereceğiz.

LoRA Neden Gereklidir?

Klasik fine-tuning sırasında modelin tüm ağırlıkları güncellenir:

• Yüksek VRAM ihtiyacı

• Yavaş eğitim süreci

• Büyük veri gereksinimi

LoRA, bu süreci yalnızca belirli parametreleri low-rank matrislerle güncelleyerek çok daha verimli hâle getirir.

Temel Matematik: Low-Rank Approximation

Standart bir Transformer katmanında, örneğin bir W_q ağırlık matrisi Rd×k boyutundadır.

LoRA, bu matrisin güncellemesini şöyle tanımlar:

ΔW=AB  A∈Rd×r, B∈Rr×k, r≪d,k

Yani,
W′=W+α⋅AB
Burada α bir ölçekleme faktörüdür ve genellikle küçük bir sabittir (8, 16).

Böylece:

• W değişmez (frozen) kalır,

• Yalnızca A ve B öğrenilir (toplam parametre r · (d + k)).

Hugging Face ile LoRA Kullanımı

Aşağıda, peft kütüphanesiyle Hugging Face LLM'lerine nasıl LoRA entegre edileceğini gösteren minimal bir örnek var:

1. Ortam Kurulumu

pip install transformers accelerate datasets peft bitsandbytes

2. Model ve Tokenizer Yükleme

from transformers import AutoModelForCausalLM, AutoTokenizer
base_model = "tiiuae/falcon-7b" tokenizer = AutoTokenizer.from_pretrained(base_model) model = AutoModelForCausalLM.from_pretrained( base_model, load_in_8bit=True, device_map="auto" )

3. LoRA ile PEFT Ayarları

from peft import get_peft_model, LoraConfig, TaskType
peft_config = LoraConfig( r=8, lora_alpha=16, target_modules=["query_key_value"], lora_dropout=0.1, bias="none", task_type=TaskType.CAUSAL_LM)
model = get_peft_model(model, peft_config) model.print_trainable_parameters()

4. Eğitim

from transformers import Trainer, TrainingArguments
training_args = TrainingArguments( output_dir="./lora-output", per_device_train_batch_size=4, gradient_accumulation_steps=4, num_train_epochs=3, learning_rate=2e-4, fp16=True, logging_steps=10, save_strategy="epoch" )
trainer = Trainer( model=model, args=training_args, train_dataset=your_dataset, tokenizer=tokenizer )
trainer.train()

Performans Kazançları

• Falcon-7B gibi modelleri 8 GB VRAM ile eğitmek mümkün

• Eğitim süreci klasik fine-tuning'e göre 10-20 kat kısa

• LoRA ağırlıkları (adapter_model.bin) sadece MB seviyesinde

• Kolayca başka sistemlerde kullanılabilir veya paylaşılabilir

Sonuç

LoRA, devasa modelleri kişiselleştirmenin en uygun yollarından biri. Düşük kaynak gereksinimiyle çok etkili sonuçlar elde etmek mümkün.