Dil modeli parametrelerine dokunmadan, sadece gizli katmana bir vektör eklemek yeterli.
Orijinal başlık: Minimally Invasive Steering of Language Models
KISACA
- Tek cümlede
- Araştırmacılar MISVO'yu tanıttı: dondurulmuş modeli gizli katmana vektör ekleyerek yönlendirdi.
- Bulgu
- 6/7 görevde en yüksek ortalama ödül alarak, çeşitlilik ve tutarlılık skorları Best‑of‑N'e yakın kaldı.
- Neden önemli?
- Bu, modeli yeniden eğitmeden yönlendirmeyi mümkün kılıyor.
Ne oldu?
MISVO adlı yeni yöntem, dondurulmuş bir dil modelinin parametrelerini değiştirmeden, son gizli katmanlarına vektör ekleyerek modeli test anında bir ödüle göre yönlendiriyor. Kısıtsız ödül optimizasyonu çıktı dağılımını bozup üretim kalitesini düşürebiliyor; MISVO bu müdahaleyi KL geometrisi üzerinden cezalandırarak minimumda tutuyor. Yaklaşık 1B-14B parametreli modellerde, tercih ve kod üretimi görevlerinin yedi model-görev ayarından altısında en yüksek ortalama ödülü aldı; çeşitlilik ve tutarlılık skorları Best-of-N'e yakın kaldı.
Yönlendirme, model parametreleri değişmeden yapılabiliyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Dil modeli parametrelerine dokunmadan, sadece gizli katmana bir vektör eklemek yeterli.”, Notes for Data Science, 25 Eylül 2026.