Eğitim‑çıkarım farkını kapatmak, verimliliği yıkmaz!
Orijinal başlık: Score Centering Stabilizes Off-policy Reinforcement Learning
KISACA
- Tek cümlede
- Araştırmacılar, LLM’lerdeki eğitim‑çıkarım farkını inceledi ve bir çözüm geliştirdi.
- Bulgu
- Kayma (drift) sorunun kökü; 'score centering' yöntemiyle bu kayma düzeltildi.
- Neden önemli?
- Stabilizasyon, rollout verimliliğini düşürmeden daha güvenilir modeller anlamına geliyor.
Ne oldu?
Büyük dil modellerinin pekiştirmeli öğrenmeyle eğitimi, eğitim ve çıkarım motorları arasındaki küçük farklara (training-inference mismatch) aşırı duyarlı. Bu farkı tamamen ortadan kaldırmak rollout verimliliğine ciddi zarar vereceği için pratik değil. Araştırmacılar, bu kararsızlığın asıl nedeninin bir 'kayma' (drift) olduğunu gösteriyor ve 'score centering' adını verdikleri yöntemle bu kaymayı düzelterek off-policy pekiştirmeli öğrenmeyi rollout verimliliğinden ödün vermeden stabilize ediyor.
Artık off‑policy pekiştirmeli öğrenme, performans kaybı olmadan kullanılabilir.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Eğitim‑çıkarım farkını kapatmak, verimliliği yıkmaz!”, Notes for Data Science, 18 Eylül 2026.