Dil modelleri, sadece çıkış katmanının gradyanlarıyla veri seçebiliyor!
Orijinal başlık: LESSER: Post-Training Data Selection with Output-Layer Gradients
KISACA
- Tek cümlede
- Araştırmacılar, bu yöntemi LESSER adıyla tanıttı ve post‑trainingde veri seçiyor.
- Bulgu
- Sadece çıkış katmanının gradyanlarıyla, tam geri yayılım ihtiyacını ortadan kaldırıyor.
- Neden önemli?
- Bu sayede hangi verinin modeli gerçekten iyileştirdiği, çok daha düşük hesaplama maliyetiyle belirlenebiliyor.
Ne oldu?
Araştırmacılar, büyük dil modellerinin son eğitim (post-training) aşamasında hangi verinin kullanılacağını seçmek için LESSER adında yeni bir yöntem geliştirdi. Mevcut gradyan tabanlı veri seçim yöntemleri, her bir örnek için modelin tüm parametreleri üzerinden pahalı bir geri yayılım (backward pass) hesabı gerektiriyor ve bu büyük veri kümelerinde pratik değil. LESSER, bunun yerine yalnızca modelin çıkış katmanındaki gradyanları kullanarak bu maliyeti büyük ölçüde azaltıyor. Böylece hangi eğitim örneklerinin modelin performansını gerçekten iyileştirdiği, çok daha düşük hesaplama maliyetiyle belirlenebiliyor.
LESSER, yapay zekanın daha verimli öğrenmesini sağlarken kaynak kullanımını yeniden tanımlıyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Dil modelleri, sadece çıkış katmanının gradyanlarıyla veri seçebiliyor!”, Notes for Data Science, 5 Ekim 2026.